Tuyển tập Báo cáo Hội nghị Sinh viên Nghiên cứu Khoa học lần thứ 8 Đại học Đà Nẵng năm 2012 XÂY DỰNG HỆ THỐNG CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN CHƯƠNG ĐỘNG HỌC CHẤT ĐIỂM VỚI SỰ HỖ TRỢ CỦA PHẦN MỀM VITESTA BUILDING THE SYSTEM OF MULTIPLE CHOICE QUESTIONS FOR THE CHAPTER OF KINETICS OF PARTICLE WITH THE SUPPORT OF THE VITESTA SOFTWARE SVTH: Đặng Thị Hương Lớp 08SVL, Khoa Vật lý, Trường Đại học Sư phạm, Đại học Đà Nẵng. GVHD: PGS.TS Nguyễn Bảo Hoàng Thanh Khoa Vật lý, Trường Đại học Sư phạm, Đại học Đà Nẵng. TÓM TẮT Trong bài báo này, tác giả xin được trình bày kết quả việc phân tích đánh giá câu hỏi trắc nghiệm khách quan chương Động học chất điểm Vật lý 10 Nâng cao theo lý thuyết IRT (Item Response Theory) với sự hỗ trợ của phần mềm Vitesta. Phần mềm này không chỉ cho chúng ta những con số cụ thể, chính xác, nhanh chóng mà còn giúp cho người sử dụng có thể hình dung trực quan về câu hỏi trắc nghiệm, đề trắc nghiệm, năng lực của học sinh và quan hệ giữa các yếu tố đó dưới dạng văn bản và đồ thị. Từ khoá: Vitesta, Động học chất điểm, lý thuyết Ứng đáp câu hỏi. ABSTRACT This paper presents the results of the analysis and evaluation of multiple choice questions for the chapter of kinetics of particle in the Grade 10 Advanced Physics book based on Item Response Theory with the support of the Vitesta software. This software does not only give us the specific, accurate and fast numbers but also helps users visualize the multiple choice questions, multiple choice tests, the capacity of the candidates and the relationship of these factors indicated in texts and graphs. Key words: Vitesta, Kinetics of particle, Item Response Theory. 1. Đặt vấn đề Trắc nghiệm là một phương pháp của khoa học về đo lường trong giáo dục. Vì vậy những năm gần đây, trắc nghiệm khách quan (TNKQ) được đưa vào trong các kỳ thi tốt nghiệp phổ thông và tuyển sinh đại học nên sự quan tâm của các trường học Đại học Sư phạm, các cơ sở quản lý giáo dục và đội ngũ giáo viên về phương pháp giảng dạy này ngày một tăng lên. Một ưu điểm nổi bật của phương pháp trắc nghiệm là việc sử dụng các phần mềm để xử lý số liệu của câu hỏi trắc nghiệm (CHTN), đề trắc nghiệm (ĐTN) đã mang lại hiệu quả cao. Do đó việc vận dụng phần mềm Vitesta để phân tích, đánh giá CHTN, ĐTN là cần thiết. 2. Lý thuyết Ứng đáp câu hỏi Để có thể tạo ra được ngân hàng câu hỏi (NHCH) đảm bảo chất lượng đúng với mục tiêu dạy học và đánh giá đúng năng lực của học sinh theo chuẩn kiến thức, kỹ năng thì phải nắm vững được qui trình viết CH, phân tích đánh giá từng CHTN cũng như ĐTN. Tuyển tập Báo cáo Hội nghị Sinh viên Nghiên cứu Khoa học lần thứ 8 Đại học Đà Nẵng năm 2012 Quá trình phân tích CHTN và ĐTN có thể nói là rất quan trọng vì nó quyết định cho việc chọn hay không chọn để đưa vào NHCH nên lý thuyết trắc nghiệm (TN) ra đời, đã và đang từng bước hoàn thiện. Từ đầu thế kỷ XX, lý thuyết TN cổ điển ra đời nhưng chưa hoàn thiện nên đến những năm của thập niên 70 thì lý thuyết trắc nghiệm IRT (Item Response Theory) ra đời. IRT được xây dựng dựa trên việc nghiên cứu mọi cặp tương tác nguyên tố “học sinh – câu hỏi” (HS-CH). Mỗi HS đứng trước một CH sẽ ứng đáp như thế nào, điều đó phụ thuộc vào năng lực tiềm ẩn của HS và các đặc trưng của CH. Hành vi ứng đáp này được mô tả bằng một hàm đặc trưng CH cho biết xác suất trả lời đúng CH P(  ) tùy theo tương quan giữa năng lực HS  và các tham số đặc trưng cho CH. Hiện nay có 3 mô hình toán học phổ biến nhất trong IRT: mô hình 1 tham số (mô hình Rasch) chỉ xét đến độ khó b của CH, mô hình 2 tham số có xét đến độ phân biệt a của CH, và mô hình 3 tham số xét thêm mức độ đoán mò c của HS khi trả lời CH. Dạng toán cụ thể của mô hình 3 tham số: exp ( ) ( ) (1 ) 1 exp ( ) ab P c c ab         . So với lý thuyết TN cổ điển, lý thuyết IRT ưu việt hơn nhiều. Trong lý thuyết TN cổ điển độ khó, độ phân biệt của các CH tính được phụ thuộc vào mẫu HS được chọn để thử nghiệm và năng lực xác định được của HS phụ thuộc vào ĐTN cụ thể mà HS làm. Với IRT, các tham số đặc trưng của CH (liên quan đến độ khó, độ phân biệt, mức độ đoán mò) không phụ thuộc mẫu thử để định cỡ CH và năng lực đo được của HS không phụ thuộc vào một ĐTN cụ thể, tức là phải như nhau cho dù đo bằng bất kỳ ĐTN nào được lấy từ NHCH đã được cùng định cỡ. Theo IRT, mỗi CH có các thuộc tính đặc trưng cho nó và mỗi HS ở một trình độ nào đó có một năng lực tiềm ẩn xác định, các thuộc tính và đặc trưng này không phụ thuộc vào phép đo. 3. Xử lý số liệu bằng phần mềm Vítesta Sau khi soạn thảo CH theo đúng quy trình gồm 4 giai đoạn theo 10 bước và tiến hành cho HS kiểm tra, các phiếu trả lời sẽ được đưa vào máy quét hoặc nhập từng bài TN vào máy tính. Vitesta sẽ tiến hành xử lý và sau đây là những chức năng chính của nó: Định cỡ đề trắc nghiệm theo các mô hình IRT với 1, 2 và 3 tham số từ đó cung cấp tường minh các đường cong đặc trưng, hàm thông tin của từng CHTN và ĐTN; thực hiện phép biến đổi thông qua đường cong điểm thực của ĐTN nhằm thu được điểm số của từng HS theo một thang điểm mong muốn nào đó (trên 10, trên 20, trên 100 v v…); độ khó, độ phân biệt của CHTN theo lý thuyết cổ điển; cung cấp thông tin về tương quan giữa ĐTN và mẫu HS, sơ đồ bài làm của từng HS; biến đổi điểm thô thành điểm thực theo thang điểm tuỳ chọn Để minh họa về tính năng của phần mềm VITESTA, sau đây chúng tôi sử dùng chúng để phân tích kết quả bài làm chương Động học chất điểm Vật lý 10 Nâng cao sau khi tiến hành thực nghiệm Sư phạm trên 8 lớp ở 4 trường THPT với 375 HS ở thành phố Đà Nẵng và dùng phần mềm VITESTA phân tích theo mô hình 3 tham số, ta thu được kết quả qua một số minh họa như sau: BÁO CÁO VỀ ĐỀ THI ĐÁP ÁN: 2221411122134313442134234434332242311314 TỔNG SỐ HỌC SINH: 375 Tuyển tập Báo cáo Hội nghị Sinh viên Nghiên cứu Khoa học lần thứ 8 Đại học Đà Nẵng năm 2012 TỔNG SỐ CÂU HỎI: 40 ĐỊNH CỠ ĐỀ THI SAI SỐ THAM SỐ CHO PHÉP 0,001 SỐ VÕNG LẶP ƯỚC LƯỢNG MỖI THAM SỐ: 50 MÔ HÌNH: 3 THAM SỐ ĐỘ TIN CẬY PHÂN TÍCH NĂNG LỰC (PERSON SEPARATION RELIABILITY): 0,9994528 GIÁ TRỊ TRUNG BÌNH MỨC NĂNG LỰC: 0 GIÁ TRỊ TRUNG BÌNH ĐỘ KHÓ: 0,378 Bảng 1: Các chỉ số thống kê của từng câu hỏi ========================================================================= Câu số: 13 Bỏ qua: 0 Độ phân biệt (cổ điển): 0,15164 Độ khó (cổ điển): 0,53333 Độ phân biệt IRT(a): 0,12863 Độ khó IRT(b): -0,18016 Độ phỏng đoán IRT(c): 0,04786 Các phương án: A B C D* Số TS chọn: 119 26 30 200 Tỉ lệ TS chọn PA (%) 31,73 6,93 8,00 53,33 Tương quanđiểm nhị phân:-0,07781 -0,02414 -0,12275 0,15164 Giá trị t: -1,50739 -0,46630 -2,38873 2,96283 Giá trị p: 0,06628 0,32064 0,00870 0,00162 ========================================================================= Câu số: 38 Bỏ qua: 0 Độ phân biệt (cổ điển): 0,26768 Độ khó (cổ điển): 0,41067 Độ phân biệt IRT(a): 0,32812 Độ khó IRT(b): 0,70554 Độ phỏng đoán IRT(c): 0,00361 Các phương án: A B C* D Số TS chọn: 67 100 154 54 Tỉ lệ TS chọn PA (%) 17,87 26,67 41,07 14,40 Tương quanđiểmnhịphân: -0,04281 -0,10294 0,26768 -0,19871 Giá trị p: 0,20423 0,02318 0,00000 0,00005 ======================================================================== Từ các số liệu ở bảng trên chúng ta có thể chọn các CHTN theo độ khó, độ phân biệt, độ đoán mò, cũng như các phương án nhiễu để lưu vào ngân hàng câu hỏi(NHCH), như ở câu 13 cho thấy: độ khó 0,53, độ phân biệt kém, độ khó IRT -0.18, mức độ đoán mò Tuyển tập Báo cáo Hội nghị Sinh viên Nghiên cứu Khoa học lần thứ 8 Đại học Đà Nẵng năm 2012 hơi cao gần 0.048 chúng tỏ số học sinh may rủi nhiều trong phương án đúng này mặc dù có đến 53% số HS chọn. Nhiễu A tốt hơn nhiễu B vì lôi cuốn được nhiều HS chọn, độ phân biệt bé hơn và giá trị p nhỏ hơn nhiều (p<0.05 là tốt). Nhiễu C tuy ít HS chọn nhưng khá hay nhưng tất cả không đạt vì độ phân biệt quá thấp. Tóm lại câu này chưa tốt, để đưa vào NHCH phải điều chỉnh sửa lại. Câu 38 ta thấy: độ khó 0.41, độ phân biệt tốt, độ khó theo IRT 0.7 vượt mức năng lực trung bình 0, độ đoán mò thấp 0.00361, các phương án nhiễu có độ phân biệt âm và lôi cuốn nhiều HS tham gia, tốt nhất là nhiễu D vì độ phân biệt và giá trị p khá tốt. Vì vậy câu này tốt. Hình 1: Ma trận đường cong đặc trưng và hàm thông tin của từng câu hỏi (câu 1 đến 14) Từ ma trận đường cong đặc trưng CH giúp ta nhanh chóng phát hiện ra những câu có vấn đề, có thể nhìn thấy ngay các câu 3, 4, 11, 13 có độ dốc nhỏ, tức là tham số a bé thậm chí có độ khó âm cụ thể như ở câu 13 có độ phân biệt: 0,12863, độ khó: -0,18016. Những câu này phải xem xét lại trước khi đưa vào ĐTN chính thức. Tương tự ma trận đường cong hàm thông tin cho ta phép đo chính xác của CH nằm trong khoảng nào, có thể thấy được rằng, ở câu 3, 11, 13 không cung cấp được thông tin của từng CH nhiều vì vậy những câu này kém chất lượng cần phải chỉnh sửa lại. Ví dụ trong HTT câu 1 cho biết: câu này dễ so với năng lực trung bình vì phép đo chính xác nằm dưới mức trung bình, độ phỏng đoán hơi cao và độ phân biệt khá tốt. Như vậy, từ ma trận này ta có thể thiết kế một ĐTN ở các mức độ khó, dễ hay bất cứ một mức độ nào tuỳ theo mục đích sử dụng của đề thi, kiểm tra. Hình 2: Đường cong đặc trưng của ĐTN Đường cong này là tổng hợp tất cả đường cong đặc trưng của từng CH, nó biểu diễn quan hệ hàm số giữa điểm thực và thang năng lực của HS và có dạng một hàm đồng biến. Tiệm cận phải khi   có giá trị bằng tổng số CH N, tiệm cận trái khi   có giá trị bằng tổng giá trị các tham số đoán mò. Hình 3: Đồ thị phân bố điểm Đồ thị phân bố điểm vẽ lại các điểm dữ Tuyển tập Báo cáo Hội nghị Sinh viên Nghiên cứu Khoa học lần thứ 8 Đại học Đà Nẵng năm 2012 liệu từ thực tế trên cơ sở các HS và CH đã được đánh giá. Mỗi điểm màu xanh là một hoặc nhóm các HS có cũng điểm thô và cùng mức năng lực thu được từ quá trình ước lượng. Bảng 2: Bảng giá trị ước lượng năng lực học sinh. ¦ STT¦ SBD ¦Năng lực ¦ Sai số chuẩn¦ Đúng/Tổng ¦Điểm quy đổi| + + + + + + | ¦ 1¦ 0000004204¦ 0,06114 ¦ 0,33228 ¦ 19/40 ¦ 506,11| ¦ 2¦ 0000004206¦ -1,00712 ¦ 0,35840 ¦ 13/40 ¦ 399,29| ¦ 3¦ 0000004205¦ 0,70245 ¦ 0,33404 ¦ 22/40 ¦ 570,24| ¦ 4¦ 0000004201¦ 0,75495 ¦ 0,33478 ¦ 23/40 ¦ 575,50| ¦ 5¦ 0000004202¦ 1,11315 ¦ 0,34222 ¦ 26/40 ¦ 611,31| ¦ 6¦ 0000004207¦ -1,18283 ¦ 0,36597 ¦ 12/40 ¦ 381,72| ¦ 7¦ 0000004208¦ -1,46916 ¦ 0,38011 ¦ 10/40 ¦ 353,08| ¦ 8¦ 0000004209¦ 0,12916 ¦ 0,33183 ¦ 19/40 ¦ 512,92| ¦ 9¦ 0000004210¦ 0,73595 ¦ 0,33450 ¦ 22/40 ¦ 573,60| ¦ 10 ¦ 0000004211 ¦ 2,02687 ¦ 0,38062 ¦ 29/40 ¦ 702,69| Dựa vào bảng này ta có thể biết HS đang ở trường nào, lớp nào, năng lực của họ là bao nhiêu cùng với số câu mà họ trả lời đúng. Nhưng quan trọng hơn hết trong bảng này là điểm quy đổi. Từ Bảng 3 có thể rút ra một nhận xét: có những HS đạt điểm thô như nhau (tức số CH trả lời đúng bằng nhau) nhưng lại có điểm quy đổi khác nhau. Lý do là vì mỗi CH mà các HS đó làm được sẽ cung cấp cùng 1 điểm thô nhưng chúng lại có độ khó khác nhau. Điều nhận xét trên cho thấy rõ điểm thô không đánh giá đúng năng lực của HS. Ví dụ: HS có SBD 04 và 09 trả lời đúng 19/40 nhưng HS 09 có điểm số cao hơn vì năng lực lớn hơn nghĩa là số câu hỏi đã làm được trong 19 câu này khó hơn 19 câu kia. Với lý thuyết cổ điển thì số điểm bằng nhau. Hình 4: Đồ thị phân bố độ khó và năng lực học sinh. Đồ thị này cho phép bước đầu đánh giá về mức độ phù hợp của đề thi so với năng lực HS. Năng lực HS và độ khó CH được đặt trên cùng thang đo. Chỉ số trên mỗi cột màu xanh là số thứ tự câu hỏi trong đề thi, chỉ số trên mỗi cột màu đỏ là số lượng HS, vị trí của mỗi cột màu xanh trên trục hoành là độ khó CH, vị trí của mỗi cột màu đỏ trên trục hoành là năng lực HS. Như vậy đồ thị trên ta thấy rằng đề này có độ khó vượt khỏi năng lực của HS mà cụ thể là: Nếu mức năng lực trung bình là 0 thì độ khó trung bình là 0,378 tức đề này hơi khó so với năng lực của HS. Hinh 4: Hàm thông tin đề thi-Đường cong sai số chuẩn. Mô hình 3 tham số. Tuyển tập Báo cáo Hội nghị Sinh viên Nghiên cứu Khoa học lần thứ 8 Đại học Đà Nẵng năm 2012 Đường màu đỏ: Đường cong hàm thông tin đề thi. Đường đen nhạt: Đường cong sai số chuẩn. Đường cong hàm thông tin trên cho thấy đề này có khả năng đo chính xác nhất ở trong khoảng năng lực cao hơn mức trung bình. Hình 5: Sơ đồ bài làm của từng HS (thứ 1) Sơ đồ bài làm cho phép HS suy nghĩ và đối chiếu những câu hỏi làm được và không làm được, cả những câu khó và dễ, những suy đoán về nguyên nhân thành công hay thất bại của họ. Giáo viên cũng có thể dùng sơ đồ này để theo dõi HS, biết được năng lực và những phần kiến thức HS chưa nắm được trong quá trình nhận thức môn học. Nữa mặt phẳng bên trái chỉ các CH mà HS làm đúng, nữa mặt phẳng bên phải chỉ các CH mà HS làm sai, vị trí của mỗi CH xác định độ khó của CH, tăng dần từ dưới lên theo trục thẳng đứng. Với bài làm của HS STT 01 có 9 câu dễ, 10 câu khó làm được điều này cần kiểm tra lại, 8 câu dễ và 13 câu khó không làm được điều này phù hợp. Sơ đồ này giúp chúng ta thấy được rằng ĐTN có số CH khó nhiều hơn CH dễ và giúp mỗi HS có thể xem lại kết quả, khả năng học tập của mình theo các chủ đề kiến thức ứng với từng CH. Ứng với 10/19 CH trả lời đúng thực sự là do HS có được kiến thức đó hay quay cóp, đoán mò và một CH đặt ra cho HS này là nguyên nhân nào mà 10 câu khó làm đúng trong khi 8 câu dễ không làm được. Nếu là HS ở trong lớp học mà GV đó dạy thì có thể điều tra, nắm được ngay tình hình học tập của HS để từ đó có kế hoạch hỗ trợ và điều chỉnh kịp thời không chỉ một em trên mà với tất cả HS mà GV đó giảng dạy. 4. Kết luận Với ví dụ minh hoạ trên có thể kết luận rằng: VITESTA cho phép ước lượng kết quả đạt độ chính xác tương đương nhưng thực hiện nhanh chóng, dễ sử dụng và cung cấp tiện ích hơn nhiều so với 1 số phần mềm hiện nay và dựa trên việc phân tích đánh giá đó lựa chọn các câu CH có độ khó, độ phân biệt và giá trị nội dung đạt yêu cầu để lưu vào Tuyển tập Báo cáo Hội nghị Sinh viên Nghiên cứu Khoa học lần thứ 8 Đại học Đà Nẵng năm 2012 NHCH. Như vậy, trong 40 câu có một số câu cần phải chỉnh sửa lại như câu 3, 11, 13, 18 còn lại 9 câu ở mức độ nhận biết, 8 câu ở mức độ thông hiểu và 19 câu ở mức độ vận dụng lưu vào ngân hàng CH. Chúng tôi nghĩ cần phải sớm phổ biến kỹ thuật xây dựng câu hỏi trắc nghiệm theo hướng này. Nếu ngân hàng câu hỏi đủ lớn, được soạn thảo và phân tích cẩn thận bao trùm toàn bộ chương trình, các bài kiểm tra luôn thay đổi nội dung sẽ tác dụng tốt đến quá trình tự học, làm giảm sự may rủi, học tủ, học lệch, hạn chế được nạn quay cóp buộc HS phải học từ đầu. Từ đó, nó không chỉ giúp cho HS thay đổi phương pháp học một cách tích cực, sáng tạo mà còn giúp giáo viên và nhà quản lý giáo dục có một phương pháp dạy và quản lý hiệu quả hơn. TÀI LIỆU THAM KHẢO [1] Lâm Quang Thiệp (2011), Đo lường trong giáo dục, lý thuyết và ứng dụng, Nhà xuất bản Đại học quốc gia Hà Nội. [2] Lâm Quang Thiệp, Lâm Ngọc Minh, Lê Mạnh Tấn, Vũ Đình Bổng (2007), “Phần mềm Vitesta và việc phân tích số liệu trắc nghiệm”, Tạp chí giáo dục, số 176, 11/2007. [3] Nguyễn Bảo Hoàng Thanh (2011), Kiểm tra đánh giá trong giáo dục, Nhà xuất bản Đà Nẵng. [4] Nguyễn Bảo Hoàng Thanh (2008), “Sử dụng phần mềm Quest để phân tích câu hỏi trắc nghiệm khách quan”, Tạp chí khoa học và công nghệ Đại học Đà Nẵng số 2(25)2008. . tập Báo cáo Hội nghị Sinh viên Nghiên cứu Khoa học lần thứ 8 Đại học Đà Nẵng năm 2012 XÂY DỰNG HỆ THỐNG CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN CHƯƠNG ĐỘNG HỌC. khách quan chương Động học chất điểm Vật lý 10 Nâng cao theo lý thuyết IRT (Item Response Theory) với sự hỗ trợ của phần mềm Vitesta. Phần mềm này không