GS.TSKH LM QUANG THIP ĐO LƯờNG TRONG GIáO DụC Lý thuyết ứng dụng Nhà xuất đại học quốc gia Hµ néi MỤC LỤC LỜI NĨI ĐẦU GIỚI THIỆU CẤU TRÚC VÀ CÁCH SỬ DỤNG CUỐN SÁCH PHẦN I MỘT SỐ KHÁI NIỆM BAN ĐẦU VỀ TRẮC NGHIỆM VÀ ĐO LƯỜNG TRONG GIÁO DỤC 15 Chương VỀ TRẮC NGHIỆM VÀ ĐO LƯỜNG TRONG GIÁO DỤC 16 1.1 NHU CẦU ĐO LƯỜNG TRONG CUỘC SỐNG VÀ KHOA HỌC VỀ ĐO LƯỜNG NÓI CHUNG 16 1.2 ĐO LƯỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC 17 1.3 PHÂN LOẠI CÁC MỤC TIÊU GIÁO DỤC 19 1.4 PHÂN LOẠI CÁC PHƯƠNG PHÁP ĐO LƯỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC 23 1.5 CÁC KIỂU CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN 26 1.6 SO SÁNH CÁC PHƯƠNG PHÁP TRẮC NGHIỆM KHÁCH QUANVÀ TỰ LUẬN29 1.6.1 Các đặc điểm phương pháp TL: 29 1.6.2 Các đặc điểm phương pháp TNKQ: 29 1.7 SỰ KẾT HỢP TRẮC NGHIỆM KHÁCH QUAN VỚI TỰ LUẬN TRONG ĐÁNH GIÁ 37 1.8 SỬ DỤNG CÁC CÂU HỎI TRẮC NGHIỆM ĐỂ ĐÁNH GIÁ CÁC MỨC ĐỘ NHẬN THỨC KHÁC NHAU 37 1.9 CÁCH CHẾ TÁC CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN 41 1.10 QUY TRÌNH XÂY DỰNG MỘT NGÂN HÀNG CÂU HỎI HOẶC MỘT ĐỀ TRẮC NGHIỆM TIÊU CHUẨN HÓA 42 1.10.1 Mục tiêu giảng dạy, ma trận kiến thức đề kiểm tra 42 1.10.2 Quy trình thiết kế đề kiểm tra tiêu chuẩn hóa NHCH 43 Chương MỘT SỐ KHÁI NIỆM BAN ĐẦU VỀ THỐNG KÊ VÀ KHÁI QUÁT VỀ TRẮC NGHIỆM CỔ ĐIỂN 51 2.1 MỘT SỐ KHÁI NIỆM VÀ ĐỊNH LUẬT QUAN TRỌNG TRONG THỐNG KÊ HỌC 51 2.1.1 Xác suất 51 2.1.2 Luật số lớn 52 2.1.3 Tổng thể mẫu 52 2.1.4 Phân bố 53 2.1.5 Tương quan 57 2.2 CÁC THAM SỐ ĐẶC TRƯNG CHO MỘT CÂU HỎI TRẮC NGHIỆM VÀ MỘT ĐỀ TRẮC NGHIỆM 59 2.2.1 Độ khó CH 59 2.2.2 Độ phân biệt CH 60 2.2.3 Độ tin cậy ĐTN 62 2.2.4 Độ giá trị ĐTN 64 2.3 ĐÁNH GIÁ MỘT ĐỀ TRẮC NGHIỆM 66 2.3.1 Phân tích CH trắc nghiệm 66 2.3.2 Tính độ tin cậy ĐTN 68 2.3.3 Xem xét độ giá trị ĐTN 70 2.4 CÁC LOẠI ĐIỂM TRẮC NGHIỆM 71 2.4.1 Điểm thô 71 2.4.2 Điểm tiêu chuẩn tuyệt đối 72 2.4.3 Các loại điểm tương đối dựa vào phân bố chuẩn 72 2.4.4 Về thang điểm sử dụng nước ta 75 2.5 CÁC HẠN CHẾ CỦA LÝ THUYẾT TRẮC NGHIỆM CỔ ĐIỂN VÀ KỲ VỌNG ĐỐI VỚI MỘT LÝ THUYẾT TRẮC NGHIỆM MỚI 76 PHẦN II TRẮC NGHIỆM HIỆN ĐẠI - LÝ THUYẾT ỨNG ĐÁP CÂU HỎI 81 Chương HÀM ĐẶC TRƯNG CÂU HỎI – TẾ BÀO CỦA LÝ THUYẾT ỨNG ĐÁP CÂU HỎI 82 3.1 VỀ CÁC PHÉP ĐO LƯỜNG 82 3.1.1 Về quy trình xây dựng phép đo lường 82 3.1.2 Các số loại thang đo 83 3.1.3 Về phép đo lường tâm lý giáo dục 85 3.2 VỀ ĐƯỜNG CONG ĐẶC TRƯNG CÂU HỎI 86 3.2.1 Các mối tương tác nguyên tố tính đơn chiều 86 3.2.2 Xây dựng thang đo để biểu diễn tương tác 87 3.2.3 Ví dụ mơ hình đường cong đặc trưng câu hỏi đơn chiều, nhị phân, tham số (mơ hình Rasch) 88 Chương CÁC MƠ HÌNH ĐƯỜNG CONG ĐẶC TRƯNG CỦA CÂU HỎI NHỊ PHÂN 92 4.1 BA MƠ HÌNH ĐƯỜNG CONG ĐẶC TRƯNG CỦA CÂU HỎI NHỊ PHÂN DẠNG LOGISTIC 92 4.1.1 Mơ hình đường cong đặc trưng câu hỏi hai tham số 92 4.1.2 Mơ hình đường cong đặc trưng câu hỏi ba tham số 94 4.2 MỘT VÀI LƯU Ý VỀ CÁC MƠ HÌNH KIỂU KHÁC VỀ ĐẶC TRƯNG CỦA CÂU HỎI 96 4.2.1 Mơ hình đặc trưng câu hỏi dạng đường cong tích lũy vòm chuẩn 97 4.2.2 Về mơ hình Rasch vai trò 98 Chương ƯỚC LƯỢNG CÁC THAM SỐ CỦA CÂU HỎI TRẮC NGHIỆM 102 5.1 QUY TRÌNH ƯỚC LƯỢNG CÁC THAM SỐ CỦA CÂU HỎI 102 5.2 VỀ TÍNH BẤT BIẾN CỦA CÁC THAM SỐ CÂU HỎI ĐỐI VỚI MẪU THÍ SINH 105 Chương ĐIỂM THỰC - ĐƯỜNG CONG ĐẶC TRƯNG CỦA ĐỀ TRẮC NGHIỆM 117 6.1 ĐIỂM THỰC VÀ ĐƯỜNG CONG ĐẶC TRƯNG CỦA ĐỀ TRẮC NGHIỆM 117 6.1.1 Quan niệm điểm thực CTT 117 6.1.2 Xác định điểm thực theo IRT 118 6.1.3 So sánh điểm thô, điểm thực điểm lực 122 6.2 MỘT SỐ PHÉP CHUYỂN ĐỔI 124 6.2.1 Vài phép chuyển đổi tuyến tính 124 6.2.2 Vài phép chuyển đổi phi tuyến 125 Chương HÀM THÔNG TIN CỦA CÂU HỎI VÀ CỦA ĐỀ TRẮC NGHIỆM 129 7.1 HÀM THÔNG TIN CỦA CÂU HỎI TRẮC NGHIỆM 129 7.2 HÀM THÔNG TIN VÀ SAI SỐ TIÊU CHUẨN CỦA ĐỀ TRẮC NGHIỆM 132 7.2.1 Hàm thông tin đề trắc nghiệm 132 7.2.2 Sai số tiêu chuẩn đề trắc nghiệm 134 7.2.3 Hàm hiệu suất tỷ đối 135 Chương ƯỚC LƯỢNG NĂNG LỰC CỦA THÍ SINH VÀ ĐỊNH CỠ ĐỀ TRẮC NGHIỆM 137 8.1 QUY TRÌNH ƯỚC LƯỢNG GIÁ TRỊ NĂNG LỰC CỦA THÍ SINH 137 8.1.1 Các nguyên tắc chung quy trình 138 8.1.2 Một ví dụ đơn giản ước lượng nhờ đồ thị 140 8.1.3 Một ví dụ việc sử dụng phương pháp tính lặp để tìm cực đại 142 8.1.4 Về sai số ước lượng giá trị lực 145 8.2 ĐỊNH CỠ ĐỀ TRẮC NGHIỆM: ƯỚC LƯỢNG ĐỒNG THỜI THAM SỐ CỦA CÂU HỎI VÀ NĂNG LỰC CỦA THÍ SINH 146 8.2.1 Về việc ước lượng tham số câu hỏi 146 8.2.2 Ước lượng đồng thời tham số câu hỏi lực thí sinh: định cỡ đề trắc nghiệm 146 8.2.3 Vấn đề metric 148 8.3 TÍNH BẤT BIẾN CỦA VIỆC ƯỚC LƯỢNG NĂNG LỰC THÍ SINH ĐỐI VỚI CÁC ĐỀ TRẮC NGHIỆM 149 8.4 VÍ DỤ VỀ ĐỊNH CỠ ĐỀ TRẮC NGHIỆM, TÍNH HÀM THƠNG TIN, HÀM ĐẶC TRƯNG CỦA ĐỀ TRẮC NGHIỆM 150 Chương ĐÁNH GIÁ SỰ PHÙ HỢP GIỮA SỐ LIỆU VÀ MƠ HÌNH 161 9.1 CÁC PHƯƠNG PHÁP ĐÁNH GIÁ SỰ PHÙ HỢP GIỮA SỐ LIỆU VÀ MƠ HÌNH 161 9.1.1 Đảm bảo tính đơn chiều 162 9.1.2 Kiểm tra tính bất biến 162 9.1.3 Kiểm tra dự đốn mơ hình 163 9.2 VÍ DỤ VỀ ĐÁNH GIÁ SỰ PHÙ HỢP GIỮA SỐ LIỆU VÀ MƠ HÌNH 164 9.2.1 Kiểm tra tính bất biến tham số CH mẫu TS khác 164 9.2.2 Kiểm tra tính bất biến lực TS ĐTN khác 166 9.2.3 Đánh giá phù hợp số liệu thực nghiệm mơ hình qua giá trị thặng dư tiêu chuẩn hóa 168 Chương 10 THIẾT KẾ CÁC ĐỀ TRẮC NGHIỆM 171 10.1 SO SÁNH CTT VÀ IRT TRONG VIỆC THIẾT KẾ CÁC ĐỀ TRẮC NGHIỆM 171 10.2 CÁCH TIẾP CẬN CƠ BẢN ĐỂ THIẾT KẾ ĐỀ TRẮC NGHIỆM 172 10.3 MỘT SỐ LOẠI ĐỀ TRẮC NGHIỆM VÀ CÁCH THIẾT KẾ 174 10.4 ẢNH HƯỞNG CỦA MƠ HÌNH ĐƯỜNG CONG ĐTCH VÀ SỐ LƯỢNG CÂU HỎI LÊN ĐỀ TRẮC NGHIỆM 175 Chương 11 SO BẰNG CÁC ĐIỂM TRẮC NGHIỆM 178 11.1 CÁC PHƯƠNG PHÁP SO BẰNG TRONG CTT 178 11.2 CÁC PHƯƠNG PHÁP SO BẰNG – KẾT NỐI – XÁC LẬP THANG ĐO THEO IRT 181 11.2.1 Một số trường hợp thực định cỡ xác lập thang đo 182 11.2.2 Xác định số thiết lập thang đo 186 11.3 VÍ DỤ VỀ SO BẰNG – KẾT NỐI – XÁC LẬP THANG ĐO THEO IRT 191 Chương 12 TRẮC NGHIỆM NHỜ MÁY TÍNH 203 12.1 ĐẶC ĐIỂM CỦA TRẮC NGHIỆM NHỜ MÁY TÍNH VÀ CÁC HỆ THỐNG HỖ TRỢ 203 12.1.1 Một số đặc điểm trắc nghiệm nhờ máy tính 203 12.1.2 Đòi hỏi phầm mềm hỗ trợ trắc nghiệm nhờ máy tính 204 12.2 MỘT SỐ MƠ HÌNH TRIỂN KHAI TRẮC NGHIỆM NHỜ MÁY TÍNH 206 12.2.1 Các trắc nghiệm cố định nhờ máy tính 206 12.2.2 Các trắc nghiệm di chuyển thẳng nhờ máy tính 207 12.2.3 Các trắc nghiệm thích ứng nhờ máy tính dựa vào câu hỏi 207 12.2.4 Các trắc nghiệm thích ứng nhờ máy tính dựa vào phân đề 210 12.2.5 Các trắc nghiệm thích ứng nhờ máy tính cấu trúc đa giai đoạn 210 12.3 VÍ DỤ VỀ TRẮC NGHIỆM THÍCH ỨNG NHỜ MÁY TÍNH 215 Chương 13 CÁC MƠ HÌNH TRẮC NGHIỆM ĐA PHÂN 219 13.1 MỘT SỐ MƠ HÌNH TRẮC NGHIỆM ĐA PHÂN 219 13.1.1 Mơ hình định giá phần 220 13.1.2 Mơ hình định giá phần tổng quát 231 13.2 CÁC VÍ DỤ VỀ ỨNG DỤNG TRẮC NGHIỆM ĐA PHÂN 232 13.2.1 Phân tích kiểm tra gồm CH tự luận nhờ phần mềm CONQUEST 232 13.2.2 Phân tích kiểm tra gồm hỗn hợp CH trắc nghiệm khách quan tự luận nhờ phần mềm CONQUEST 242 13.2.3 Phân tích kiểm tra gồm hỗn hợp CH trắc nghiệm khách quan tự luận nhờ phần mềm PARSCALE 251 Chương 14 KHÁI NIỆM VỀ TRẮC NGHIỆM ĐA CHIỀU 256 14.1 MỘT SỐ MƠ HÌNH TRẮC NGHIỆM ĐA CHIỀU 256 14.1.1 Mô hình trắc nghiệm đa chiều nhờ hàm logistic tuyến tính theo số liệu từ CH nhị phân 256 14.1.2 Một cách tiếp cận xây dựng mơ hình tổng quát cho trắc nghiệm nhị phân, đa phân, chiều, đa chiều 262 14.1.3 Về cách biểu tính đa chiều: CH CH 265 14.2 VÀI VÍ DỤ VỀ ÁP DỤNG TRẮC NGHIỆM ĐA CHIỀU 266 14.2.1 Phân tích kiểm tra gồm CH nhị phân đa phân đo lường chiều lực biểu riêng CH 266 14.2.2 Phân tích kiểm tra gồm CH nhị phân đo lường chiều lực biểu hỗn hợp CH 268 Các tài liệu dẫn tham khảo 289 LỜI NĨI ĐẦU Trong khoa học giáo dục có nhánh quan trọng khoa học đo lường tâm lý giáo dục, thường gọi tâm trắc học (psychometrics) Khoa học phương Tây bắt đầu phát triển mạnh từ cuối kỷ XIX đạt nhiều thành tựu vào cuối kỷ XX Tuy nhiên Liên Xơ cũ gặp số trắc trở nên khoa học phát triển chậm, điều ảnh hưởng đến nước ta, thập niên 90 kỷ XX nước ta chưa tiếp cận với khoa học này, trừ vài ba chuyên gia phía Nam đào tạo từ phương Tây trước năm 1975 Nhìn thấy khiếm khuyết lớn nói việc xây dựng giáo dục bền vững cho đất nước, làm công tác quản lý Bộ Giáo dục Đào tạo vào thập niên 90 kỷ trước, tác giả tập sách đề nghị Bộ Giáo dục Đào tạo gửi hàng chục giảng viên đại học học thạc sỹ tiến sỹ khoa học nước tiên tiến Nhiều người học xong làm việc rải rác trường đại học, có người tiếp tục làm việc nước Tuy nhiên, thực tế đáng buồn việc tiếp cận ứng dụng khoa học vào thực tiễn giáo dục nước ta yếu Trong chương trình đào tạo giáo viên cấp khơng có mơn học thích đáng giúp sinh viên tiếp cận khoa học này; kỳ thi quan trọng cấp quốc gia, khoa học chưa thực áp dụng Ngay trường đại học lớn sư phạm giáo dục chưa có nhóm nghiên cứu sâu đo lường tâm lý giáo dục, chưa có giáo trình giới thiệu thành tựu đại khoa học Những thiếu sót nói chứng tỏ việc lấp lỗ hổng nhánh khoa học giáo dục nước ta chậm, điều tất yếu ảnh hưởng đến phát triển bền vững toàn hệ thống giáo dục Vì thấy tầm quan trọng khoa học đo lường tâm lý giáo dục qua hoạt động thực tiễn, vẻ đẹp bên thân nó, tác giả dành thời gian tiếp cận lý luận áp dụng thực tiễn khoa học nêu mười năm qua Cuốn sách tay bạn đọc nhằm đóng góp thúc đẩy phát triển nhanh chóng khoa học nước ta Cuốn sách sử dụng làm sở ban đầu để giảng dạy chương trình đại học sau đại học trường có ngành sư phạm giáo dục, đặc biệt để tạo cho bạn giáo viên sinh viên trẻ quan tâm đường tương đối ngắn để tiếp cận khoa học so với đường mà tác giả phải qua Từ năm 2007 đến nay, Viện Khoa học Giáo dục Việt Nam tạo hội cho tác giả tham gia phân tích kết trắc nghiệm khách quan tự luận từ việc khảo sát kết học tập số môn học lớp 5, lớp lớp nước ta, nhờ tác giả có số liệu thơ để minh họa kỹ thuật phân tích trắc nghiệm sách, tác giả trân trọng cảm ơn Viện hội nói Một cơng cụ dùng để phân tích kết trắc nghiệm sách phần mềm phân tích trắc nghiệm VITESTA xây dựng nước ta theo Lý thuyết Ứng đáp Câu hỏi Công ty Khoa học Công nghệ Giáo dục (EDTECH-VN) cung cấp kỹ sư giúp tác giả xây dựng thành công phần mềm nói trên, tác giả chân thành cảm ơn Cơng ty hỗ trợ Tác giả cảm ơn Trường Đại học Giáo dục thuộc Đại học Quốc gia Hà Nội hỗ trợ làm thủ tục in sách Cuối tác giả tỏ lòng biết ơn anh Dương Quang Minh, nghiên cứu sinh tâm trắc học Viện Đại học Bang Michigan đọc thảo sách đóng góp nhiều ý kiến quý báu Một sách lẽ phải giảng viên có hội tiếp cận đầy đủ chương trình đào tạo tiến sỹ nước tiên tiến viết ra, chờ đợi hàng chục năm qua chưa thấy chịu khó làm việc nên tác giả đành phải cố gắng thực Một mảng khoa học đại rộng lớn, phát triển nhanh chóng có nhiều ứng dụng đa dạng, giới thiệu thu gọn sách tương đối nhỏ khơng tránh khỏi thiếu sót Tác giả hoan nghênh ý kiến đóng góp sách xin bạn đọc gửi địa lqthiep@gmail.com Hà Nội, tháng 10 năm 2010 TÁC GIẢ GIỚI THIỆU CẤU TRÚC VÀ CÁCH SỬ DỤNG CUỐN SÁCH Cuốn sách gồm phần lớn Phần I có chương, chương giới thiệu khái niệm chung trắc nghiệm đo lường giáo dục; chương giới thiệu khái quát lý thuyết trắc nghiệm cổ điển Phần II trọng tâm sách, có 12 chương, tập trung vào trắc nghiệm đại, đặc biệt Lý thuyết Ứng đáp Câu hỏi (Item Response Theory – IRT) Để bạn đọc dễ theo dõi, đầu chương có nêu vấn đề đề cập đến chương lưu ý người đọc nên tập trung vào vấn đề gì, cuối chương có câu hỏi tự kiểm tra tập, hai Người đọc quen với trắc nghiệm cổ điển qua sách trắc nghiệm GS Dương Thiệu Tống [1] cần đọc lướt phần I để nhớ lại khái niệm dùng đến phần II Ở phần II, IRT trình bày theo trình tự từ điểm xuất phát cần thiết để xây dựng phép đo lường giáo dục nói chung Diễn tả khái niệm IRT hàm đặc trưng câu hỏi (biểu qua đường cong đặc trưng câu hỏi), mô tả ứng đáp thí sinh lên câu hỏi, mối tương tác xảy “tế bào” bao gồm cặp “thí sinh – câu hỏi”, mà tác giả gọi “mối tương tác nguyên tố” Mối tương tác viên gạch để xây dựng tồn tòa nhà IRT, sở khoa học đo lường đại tâm lý giáo dục Chương dành để giới thiệu mơ hình đường cong đặc trưng câu hỏi khác nhau, mơ hình 1, tham số dạng logistic, giới thiệu mối quan hệ chúng với dạng đường cong tích lũy vòm chuẩn sử dụng nhiều khứ Vai trò mơ hình Rasch (mơ hình tham số) IRT nói chung bàn đến chương Từ chương đến chương 12 phần II tập trung trình bày mơ hình trắc nghiệm nhị phân (dichotomous) đơn chiều (unidimentional) Sau giới thiệu hàm đặc trưng câu hỏi, chương mơ tả định tính quy trình ước lượng tham số câu hỏi để bạn đọc hiểu thực chất quy trình này, chương trở lại giới thiệu định lượng quy trình ước lượng giá trị lực thí sinh ước lượng đồng thời tham số câu hỏi lực thí sinh, tức định cỡ đề trắc nghiệm Những bạn đọc ngại vào tính tốn định lượng đọc chương đủ để hình dung khái qt cách dựa vào mơ hình để tính tốn kết mong đợi cuối – tham số đặc trưng câu hỏi giá trị lực thí sinh Bắt đầu chương trình bày rõ chương tính chất quan trọng, đá tảng thể ưu việt IRT, tính bất biến tham số câu hỏi lực thí sinh phép đo trắc nghiệm Tính bất biến (invariance) hay diễn đạt cụm từ “không phụ thuộc vào câu hỏi” (itemfree), “không phụ thuộc vào mẫu thử” (sample-free) Các chương trước hết giới thiệu thêm công cụ quan trọng phản ánh tính chất câu hỏi trắc nghiệm hàm thông tin câu hỏi trắc nghiệm, sau giới thiệu cơng cụ tổng hợp mơ tả tính chất tồn đề trắc nghiệm, hàm đường cong đặc trưng đề trắc nghiệm (đường cong điểm thực) hàm đường cong thơng tin đề trắc nghiệm Chương trình bày vấn đề quan trọng, cách đánh giá phù hợp số liệu mơ hình IRT Chỉ mức độ phù hợp số liệu mơ hình chấp nhận ưu điểm liên quan đến IRT phát huy đầy đủ chất lượng phép đo lường đảm bảo Ba chương nêu phương pháp ứng dụng thực tế cụ thể lý thuyết trắc nghiệm Chương 10 trình bày phương pháp thiết kế đề trắc nghiệm dựa vào lý thuyết trắc nghiệm cổ điển đặc biệt dựa vào IRT Chương 11 trình bày phương pháp liên quan đến nhu cầu quan trọng hoạt động đánh giá thực tế: so sánh điểm trắc nghiệm thu từ đề trắc nghiệm khác so sánh tham số câu hỏi trắc nghiệm thu từ mẫu định cỡ khác Nhu cầu giải phương pháp so điểm trắc nghiệm Chương 12 giới thiệu mơ hình trắc nghiệm nhờ máy tính, đặc biệt phương pháp trắc nghiệm thích ứng 10 TRẢ LỜI BÀI TẬP (Một số tập tập sách trích từ tài liệu tham khảo [11]) Chương Bài tập: Độ khó theo CTT: nhóm TS lực thấp p=3/15=0,20; nhóm TS lực cao p=12/15= 0,8 Độ phân biệt theo CTT (có thể tính theo Exel hệ số tương quan vectơ “điểm ứng đáp CH” “điểm từ ĐTN”): nhóm TS lực thấp r=0,68; nhóm TS lực cao r=0,39 Qua kết tính tốn rõ ràng tham số tính phụ thuộc mạnh vào mẫu TS Chương Bài tập 1: Theo giá trị a, b, c cho Bảng 4.1 tính giá trị P(θ) CH giá trị θ cho Kết trình bày Bảng 1: Bảng θ -3 -2 -1 0,000 0,000 0,002 0,045 0,500 0,955 0,998 0,008 0,027 0,085 0,233 0,500 0,767 0,915 0,250 0,250 0,252 0,284 0,625 0,966 0,998 0,205 0,236 0,412 0,788 0,964 0,995 0,999 0,000 0,006 0,045 0,265 0,735 0,955 0,994 0,165 0,239 0,369 0,550 0,731 0,861 0,935 CH 277 CH4 dễ từ mức θ = -1,0 trở xác suất ứng đáp cao CH khác CH6 có độ phân biệt thấp giá trị P(θ) tăng chậm theo θ TS với lực θ =0 có xác suất ứng đáp CH cao 0,788; xác suất ứng đáp sai 1-P(θ)=1-0,788=0,212 Bài tập 2: Ma trận 2x2 ứng đáp sai CH cho có dạng Bảng 2: Bảng CH Sai CH1 Đúng Sai 8(A) 20(B) 28 Đúng 8(C) 4(D) 12 16 24 40 Để kiểm nghiệm tính độc lập CH, từ bảng tính tham số thống kê χ2 : χ2 = N(AD-BC)2 / (A+B)(B+D)(D+C)(C+A)= 40(8.4 – 20.8)2 /(8+20)(20+4)(4+8)(8+8)=5,08 Đối chiếu với giá trị χ2 từ bảng: độ tự 2-1=1, mức ý nghĩa α=0,5 χ2=3,843 Như giá trị χ2 tính lớn lơn giá trị cho bảng, phủ định giả thiết độc lập CH với mức ý nghĩa 0,05 Kết luận số liệu khơng phù hợp với mơ hình đơn chiều Chương Bài tập: Độ khó cổ điển CH tính theo mẫu TS gồm dòng đầu Bảng 5.1 chương p=3/20=0,15; theo mẫu TS gồm dòng cuối bảng p = 17/20=0,85 Độ phân biệt cổ điển (tính theo Exel) CH tính theo mẫu TS gồm dòng đầu r= 0,612; theo mẫu TS gồm dòng cuối r= 0,44 278 Tính b a theo IRT dựa vào biểu thức (5.3): Từ mẫu TS gồm dòng đầu lập phương trình ứng với điểm đầu điểm cuối: ln(0,1/0,9) = a(-1,716) - ab ln (0,2/0,8) = a(-1,129) - ab, chúng cho nghiệm a= 1,381 b=-0,126; Từ mẫu TS gồm dòng cuối lập phương trình ứng với điểm đầu điểm cuối: ln(0,8/0,2)=a(0,919)-ab ln(0,9/0,1)=a(1,1516)-ab, chúng cho nghiệm a=1,358 b= 0,102 Rõ ràng tham số độ khó độ phân biệt cổ điển phụ thuộc mạnh vào mẫu TS, tham số b a theo IRT biến đổi (tuy mẫu thử để tính nhỏ) Chương Bài tập: Các giá trị θ khoảng (-4,4) chuyển đổi thành thang bách phân, chẳng hạn: tuyến tính: y=100(4+θ) y phi tuyến: 100 n  Pi ( ) n i 1 Chương Bài tập: Dựa vào biểu thức (7.4) (7.7) chương tính giá trị hàm thơng tin ĐTN gồm CH, trình bày Bảng 3: Bảng θ ĐTN(1,2,3) ĐTN(1,2,4) ĐTN(1,3,4) ĐTN(2,3,4) -2 0,219 0,219 0,187 0,054 -1 1,361 1,339 0,965 0,540 2,918 2,681 1,486 2,250 1,738 1,215 1,907 2,172 0,492 0,667 1,059 1,076 279 Từ giá trị thông tin ĐTN cho Bảng thấy khoảng lực θ=1,0 ĐTN gồm CH 2,3 cho giá trị thơng tin lớn nhất, ĐTN tốt để đo mức đạt chuẩn điểm chuẩn θ=1,0 Chương 8: Bài tập 1: Hàm biến cố hợp lý cực đại TS có vectơ ứng đáp (1,0,1,0,0) L(u|)= P1 Q P3 Q 4Q5, dạng logarit: lnL(u|) = LnP1+ ln(1-P2)+lnP3+ln(1-P4)+ln(1-P5) Để xác định biểu thức trên, CH phải tuân theo giả thiết độc lập địa phương Đồ thị biểu diễn hàm lnL có dạng vẽ Hình 1: Hình Hàm lnL đạt cực đại giá trị cỡ -0,65, giá trị ước lượng θ theo biến cố hợp lý cực đại Bài tập 2: 280 a) I ( )  D  (a PiQi ) , D2 = 1,72 = 2,89 Theo giá trị b a CH cho Bảng 8.4, tính giá trị I θ= 1,5: I (θ= 1,5) = 5,19 Từ đó:  (  1,5)  =0,44 5,19 b) Khoảng tin cậy 95% giá trị θ: θ= 1,5 ± 1,96*0,44 = 1,5 ± 0,86 = (0,64, 2,36) Bài tập 3: Giả thiết ứng đáp TS với lực θ1, θ2, θ3 độc lập với nhau, ấy: P(U1, U2, U3 / θ1, θ2, θ3) = P(U1/ θ1)P(U2/ θ2)P(U3/ θ3) Từ lập hàm biến cố hợp lý ứng đáp TS (0,0,1): L= Q1 Q2P3 = 1, (1 b )  1    e  1  e1, ( 1 b )  1  e1, (  b )   e1, (1 b )    Từ tính L theo giá trị b, kết trình bày Bảng đây: Bảng b L 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0 0,357 0,386 0,411 0,432 0,447 0,455 0,458 0,454 0,444 0,429 0,409 Theo Bảng 4, giá trị hàm L cực đại khoảng b~0,6, ước lượng b theo biến cố hợp lý cực đại Bài tập 4: a) Với mô hình tham số, a=1, ước lượng giá trị độ khó b, hàm thơng tin sai số tiêu chuẩn viết sau: I(b)=D2  P(θ )Q(θ ) i i σ(b)= I(b) b) Với giá trị θ b tập 3, ta tính được: I(b) = 2,89(0,062.0,938 + 0,265.0,735 + 0,644.0,336) = 1,376 281 σ(b) = 0,85 Chương 9: Bài tập 1: Độ khó cổ điển mức lực: θ=-2: p=0,20; θ=-1: p=0,25; θ=0: p=0,40; θ=1: p=0,75; θ=2: p=0,90 Xác suất trả lời mức lực: P(θ=-2)=0,25; P(θ=-1)=0,27; P(θ=0)=0,38; P(θ=1)=0,72; P(θ=2)=0,95 Hàm đặc trưng thống kê cải tiến: m Q1 =  j=1 + N j  Pj -E(Pj )  20(0,20-0,25) 20(0,25-0,27) 20(0,40-0,38) = + + 0,25 0,75 0,27 0,73 0,38 0,62 E(Pj ) 1-E(Pj )  20(0,75-0,72) 20(0,90-0,95) + = 1,48; 0,72 0,28 0,95 0,05 Mức độ tự m-k=5-3=2 χ 22;0,5 (ở độ tự mức ý nghĩa 5%) = 5,99 (từ bảng χ 2) Vì giá trị tính tốn khơng vượt q giá trị tương ứng bảng, kết luận mơ hình tham số phù hợp với số liệu CH Bài tập 2: m a) Q1 = j=1 N j  Pj -E(Pj )  E(Pj ) 1-E(Pj )  - Đối với mơ hình tham số: 1= 20(0,20-0,02)2 0,02 0,98 20(0,90-0,96) 0,96 0,04 + 20(0,25-0,12) 0,12 0,88 + = 38,52; Mức độ tự m-k=5-1=4 282 20(0,40-0,43) 0,43 0,57 + 20(0,75-0,80) 0,80 0,20 + - Đối với mơ hình tham số: Q1= + 20(0,20-0,11)2 20(0,25-0,25) 20(0,40-0,46) 20(0,75-0,69) + + + 0,11 0,89 0,25 0,75 0,46 0,54 0,69 0,31 20(0,90-0,85) = 2,67; 0,85 0,15 Mức độ tự m-2=5-1=3 Đối chiếu với số liệu Bảng χ ta có: mơ hình tham số χ 24;0,5= 9,488; mơ hình tham số χ 23;0,5= 7,815 Như mơ hình tham số khơng phù hợp với số liệu, mơ hình tham số phù hợp với số liệu Trong mơ hình, mơ hình tham số phù hợp với số liệu tốt nhất, mơ hình tham số phù hợp khá, mơ hình tham số không phù hợp Trong trường hợp này, xét đến mặt tiện lợi khác, chọn mơ hình tham số có lẽ thích hợp Chương 10: Bài tập 1: Giá trị thông tin “ĐTN” gồm CH lực θ=1,0: I(θ=1,0) =1,10+0,50+2,20 =3,8; Từ σ(θ=1,0) = =0,51 3,8 Khi σ(θ=-1,0)=0,40 có I(θ=-1,0) ~ 6,25 Muốn có giá trị hàm thông tin điểm θ=-1,0 cần (6,25/0,6) ~11 CH cho giá trị thông tin điểm θ=-1,0 giống CH5 Bài tập 2: Các giá trị thông tin “ĐTN” vị trí θ tính trình bày Bảng đây: Bảng Giá trị thông tin “ĐTN” θ “ĐTN” 0,0 1,0 2,0 (CH2, CH3) 0,35 1,6 0,65 (CH1, CH6) 0,6 2,35 0,48 283 b) Hiệu suất tỷ đối “ĐTN1” so với “ĐTN2” mức lực cho trình bày Bảng 6: Bảng Hiệu suất tỷ đối θ 0,0 1,0 2,0 0,58 0,68 1,35 Hiệu suất tỷ đối RE(θ)=I1(θ)/ I2(θ) “ĐTN1” có hiệu suất thấp “ĐTN2” mức lực θ=0,0 θ=1,0 (hiệu suất tỷ đối RE(θ) tương ứng cỡ 0,58 0,68); có hiệu suất cao mức lực θ = 2,0 (hiệu suất tỷ đối RE(θ) = 1,35) Khi σ(θ=-1,0)=0,40 có I(θ=-1,0) ~ 6,25 Muốn đạt giá trị hàm thông tin điểm θ=-1,0 cần (6,25/0,6) ~11 CH cho giá trị thông tin điểm θ=-1,0 giống CH5 Ở mức lực θ=1,0 “ĐTN2” cho giá trị thông tin cao “ĐTN1” lượng (2,35-1,60 = 0,75), cần thêm vào “ĐTN1” số CH cho thông tin tương tự CH5 (0,75/0,2) ~ Bài tập 3: Đối với “ĐTN” gồm CH ta có: I(θ=-1,0) = 1,45+0,60 = 2,05; σ(θ=-1,0)~0,70 Chương 11: Bài tập: Theo tập, có ĐTN, ĐTN có số CH chung bắc cầu, gọi ĐTN A Xc ĐTN B Yc Cho nhóm TS làm ĐTN trình xác định tham số độ khó b nhờ Xc Yc cho giá trị trung bình tương ứng MX =4,2; MY=3,5 độ lệch chuẩn tương ứng sX =2,2 sY=1,8 Theo phương pháp trung bình sigma tính số chuyển thang đo: α = sY/sX=1,8/2,2= 0,82; β = MY - α MX= 3,5 – 0,82.4,2 = 0,06 Từ giá trị b a thang Y chuyển thang X: b*= 0,82.(-1,4) + 0,06 = -1,09; a*= 0,9/0,82=1,1 284 Chương 12: Bài tập: Theo tập, TS ứng đáp CH 3, 12, (theo Bảng 12.l) với vectơ ứng đáp tương ứng (1, 1, 0) Sau CH chọn để ứng đáp tiếp theo, TS ứng đáp sai, lực ước lượng θ=0,45 Có thể tính giá trị hàm thơng tin CH lại mức lực θ đó, biểu diễn Bảng Bảng CH I(θ=0,45) 10 11 13 0,50 0,66 0,03 0,19 0,18 1,06 0,48 0,45 0,16 CH cho giá trị thông tin lớn mức θ=0,45 CH 9, chọn cho bước ứng đáp _ 285 BẢNG ĐỐI CHIẾU MỘT SỐ THUẬT NGỮ ANH VIỆT Affective domain Lĩnh vực cảm xúc, thái độ Automatic Test Asembly - ATA Tạo đề tự động Calibration Định cỡ Chi-square goodness-of-fit index Chỉ số trùng khớp tốt Chi-bình phương Classical Test Theory - CTT Lý thuyết trắc nghiệm cổ điển Cognitive domain Lĩnh vực nhận thức Computer Adaptive Test – CAT Trăc nghiệm thích ứng nhờ máy tính Computer-based-testing - CBT Trắc nghiệm nhờ máy tính Computerized Fixed Tests - CFT Các trắc nghiệm cố định nhờ máy tính Criterion-referenced Đánh giá theo tiêu chí Dichotomous Nhị phân Differential item functioning - DIF Ứng đáp câu hỏi khác biệt Difficuilty Độ khó Dimension Chiều Discrimination Độ phân biệt Equating So Essay test Trắc nghiệm tự luận Formative assessement Đánh giá tiến trình Generalised partial credit model -GPCM Mơ hình định giá phần tổng qt Invariant Tính bất biến Item banking Xây dựng ngân hàng CH Item Characteristic Curve - ICC Đường cong đặc trưng câu hỏi 286 Item Characteristic Function - ICF Hàm đặc trưng câu hỏi Item information function Hàm thông tin câu hỏi Item-free Không phụ thuộc vào câu hỏi Item Response Theory - IRT Lý thuyết Ứng đáp Câu hỏi Linear-on-the-Fly Test - LOFT Trắc nghiệm di chuyển thẳng nhờ máy tính Linking Kết nối Local independent Độc lập địa phương Matching item Câu ghép đôi Maximum likelyhood estimation - MLE Ước lượng theo biến cố hợp lý cực đại Multidimentionality Đa chiều Multiple choise question- MCQ Câu nhiều lựa chọn Norm-referenced Đánh giá theo chuẩn Objective test Trắc nghiệm khách quan Paper-and-pencil test - PAP Trắc nghiệm giấy Partial credit model - PCM Mơ hình định giá phần Polytomous Đa phân Psychomotor domain Lĩnh vực tâm lý vận động (kỹ năng) Questionnaire Bảng hỏi Rating scale model Mơ hình thang đánh giá Raw score Điểm thô Sample-free Không phụ thuộc vào mẫu Scaling Xác lập thang đo Short answer item Câu trả lời ngắn Student-produced response Thí sinh tự tạo ứng đáp 287 Summative assessment Đánh giá tổng kết Supply item Câu điền khuyết Structured Computer Adaptive Trắc nghiệm thích ứng nhờ máy tính Multistage Tests cấu trúc đa giai đoạn Test information function Hàm thông tin đề trắc nghiệm Testlet Phân đề True score Điểm thực Unidimentionality, unidimentional Đơn chiều, tính đơn chiều Yes/no question Câu sai 288 CÁC TÀI LIỆU DẪN VÀ THAM KHẢO CHÍNH Dương Thiệu Tống Trắc nghiệm đo lường thành học tập (phương pháp thực hành) Nhà xuất Khoa học Xã hội, 2005 Thurstone, L.L A method of scaling psychological and educational tests Journal of Educational Psychology, 16(7), 1925 Rasch, G Probablistic Models for Some Intelligence and Attainment Tests Copenhagen, Denmark: Danish Institute for Educational Research, 1960 Birnbaum, A Some latent trade models and their use in inferring an examinee's ability Trong F.M Lord and M.R Novick (Eds), Statistical Theories of Mental Test Scores Reading, M.A: AddisonWesley, 1968 Lord, F.M Applications of Item Response Theory to Practical Testing Problems Lawrence Erbaum Associates, Publishers, 1980 Lord, F.M.; Novick, M.R Statistical Theories of mental test scores Reading, MA: Addison-Wesley, 1968 Allen, M J.; Yen, W M Introduction to Measurement Theory Monterey, California: Brooks/Cole Publishing Company, 1979 Barker, F.B Item Response Theory - Parameter Estimation Techniques, Marcel Dekker, Inc, 1992 Haley, D.C Estimation of the dosage mortality relationship when the dose is subject to error, (Technical Report N0 15) Stanford, C.A: Stanford Univerrsity, Applied Mathematics and Statistics Labolatory, 1952 10 Wright, B D.; Mark H.S Best Test Design, University of Chicago, MESA PRESS, 1979 289 11 Hambleton, R.K.; Swaminathan, H.; Jane Roges, H Fundamentals of Item Response Theoty SAGE Publications, 1991 12 Van der Linden, W J.; Hambleton, R.K (editors) Handbook of Modern Item Response Theory Springer, 1997 13 Brenman, R L Educational Measurement, ACE/PRAEGER series on Higher Education, 2006 4th edition, 14 Yen, M.W Using simulation results to choose latent trait model Applied Psychological Measurement, 5, 1981 15 Linn R.L.; Harnisch D.L Interactions betweem item content and group membership on achievement test items Journal of Educational Measurement, 18 1981 16 Haebara, T Equating logistic ability scales by weighted least squares method Japanese Psychological Research, 22, 1980 17 Stocking M.L.; Lord, F.M Developing a common metric in item response theory, Applied Psychological Measurement, 7, 1983 18 Kolen, M.J.; Brennan, L (editors) Test Equating, Scaling and Linking, Spinger, 2004 19 Lâm Quang Thiệp, Lâm Ngọc Minh, Lê Mạnh Tấn, Vũ Đình Bổng Phần mềm VITESTA việc phân tích số liệu trắc nghiệm Tạp chí Giáo dục, số 176, 11/2007 20 McDonald, R.P Non-linear factor analysis Psychometric Monograph, No 15, 1967 21 Samejima, F Estimation of latent ability using response pattern of graded scores Psychometric Monograph, No 17, 1969 22 Samejima, F Normal ogive model on the continious response level in the multidimentional latent space Psychometrika 39, 1974 23 Andersen, E B Sufficient statistics and latent trait models Psychometrica 42, 1977 24 Andrich, D A rating formulation for ordered response categories Psychometrica 43, 1978 290 25 Master, G.N A Rasch model for partial credit scoring Psychometrica 47, 1982 26 Muraki, E A generalised partial credit model: Application of an EM algorithm Psychometrica 16, 1992 27 Bock, R.D Estimating item parameters and latent ability when responses are scored in two or more nominal categories Psychometrika 37, 1972 28 Thissen D.;Steinberg L A response model for multiple choice items Psychometrica 49, 1984 29 Yen, W.M Scaling performance assessment: Strategies for managing local item dependence Journal of Educational Measurement, 30(3), 1993 30 http://assess.com/xcart/product.php?productid=220&cat=1&page=1 31 Wu, M.L.; Adams, R J., Wilson, M R.; Handane, S A “ACER CONQUEST, Version 2.0”, ACER Press, 2007 32 Bloom, B.S and Krathwohl, D R (1956) “Taxonomy of Educational Objectives”: The Classification of Educational Goals, by a committee of college and university examiners Handbook I: Cognitive Domain NY, NY: Longmans, Green 33 Anderson, L W and Krathwohl, D.R (Eds.) “A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom's Taxonomy of Educational Objectives” Allyn & Bacon Boston, MA (Pearson Education Group), 2001 34 Bộ Giáo dục Đào tạo “Báo cáo khảo sát kết học tập môn Toán tiếng Việt học sinh lớp năm học 2006 - 2007” 291