1 MỞ ĐẦU Lý chọn đề tài Hiện chất lượng giáo dục trở thành mối quan tâm chung toàn xã hội, đặc biệt chất lượng giáo dục đại học Trong nguồn lực sở đào tạo hạn chế, chưa đủ đáp ứng kịp thời việc tăng nhanh quy mô loại hình đào tạo vấn đề chất lượng đào tạo giáo dục đại học điểm nóng cần quan tâm Một nội dung quan trọng nhằm nâng cao chất lượng giáo dục đại học việc đổi phương pháp giảng dạy, có việc đổi phương pháp kiểm tra đánh giá kết học tập người học Công đổi phương pháp giảng dạy trường đại học đặc biệt quan tâm, giảng viên tập huấn đổi phương pháp giảng dạy, phương pháp kiểm tra đánh giá, nhiên hiệu chưa cao Sử dụng ngân hàng câu hỏi thi trắc nghiệm khách quan trường khuyến khích, nhiên đa số câu hỏi trắc nghiệm khách quan giảng viên tự biên soạn chưa theo quy trình, đặc biệt câu hỏi sau sử dụng không phân tích, đánh giá nên đề thi/ kiểm tra chưa chuẩn chất lượng không cao Trước tình vậy, tơi chọn đề tài luận văn: “Đánh giá quy trình thiết kế đề thi trắc nghiệm khách quan Khoa Khoa học Tự nhiên Xã hội (nay trường Đại học Khoa học) – Đại học Thái Nguyên” Kết nghiên cứu luận văn tài liệu cần thiết góp phần vào trình nâng cao chất lượng hiệu việc biên soạn thiết kế đề thi trắc nghiệm khách quan đơn vị, đồng thời giúp đưa giải pháp nhằm nâng cao kỹ giảng viên việc thiết kế câu hỏi 2 Mục đích nghiên cứu đề tài • Đánh giá quy trình hiệu việc thiết kế sử dụng đề thi trắc nghiệm khách quan Nhà trường; • Đưa quy trình chuẩn thiết kế đề thi trắc nghiệm khách quan • Đưa giải pháp nhằm nâng cao kỹ thiết kế đề thi TNKQ giảng viên Nhiệm vụ nghiên cứu đề tài Để thực mục đích trên, đề tài có nhiệm vụ sau: - Khảo sát thực trạng quy trình, cách thức thiết kế đề thi trắc nghiệm khách quan giảng viên Trường - Phân tích câu hỏi trắc nghiệm khách quan đề thi sử dụng (căn vào kết trả lời trắc nghiệm SV) - Đưa quy trình chuẩn thiết kế đề thi trắc nghiệm khách quan Giới hạn, phạm vi nghiên cứu • Đề tài nghiên cứu phương pháp, cách thức thiết kế đề thi trắc nghiệm khách quan giảng viên Trường; • Nghiên cứu, đánh giá câu hỏi trắc nghiệm khách quan số đề thi TNKQ sử dụng Trường, từ đề xuất quy trình chuẩn thiết kế đề thi TNKQ Câu hỏi nghiên cứu/ giả thuyết nghiên cứu đề tài 5.1 Giả thuyết nghiên cứu • Việc thiết kế đề thi TNKQ Nhà trường hồn tồn theo tính chủ quan giảng viên • Chất lượng câu hỏi, đề thi TNKQ giảng viên biên soạn không cao, không đánh giá xác lực sinh viên 5.2 Câu hỏi nghiên cứu • Hiện giảng viên Trường thiết kế đề thi TNKQ sở nào? Theo quy trình nào? • Các giảng viên có nắm quy trình thiết kế đề thi TNKQ? • Đề thi giảng viên có đáp ứng yêu cầu kiểm tra đánh giá thành học tập hay không? Khách thể đối tượng nghiên cứu 6.1 Khách thể nghiên cứu • Các giảng viên giảng dạy Trường áp dụng hình thức thi TNKQ cho kỳ thi Nhà trường • Các thi TNKQ (kết thi TNKQ sinh viên) 6.2 Đối tượng nghiên cứu • Nghiên cứu cách thức, quy trình thiết kế đề thi TNKQ giảng viên Trường Phương pháp nghiên cứu 7.1 Nghiên cứu lý thuyết • Nghiên cứu tài liệu đo lường đánh giá giáo dục 7.2 Nghiên cứu thực nghiệm • Quan sát: quan sát trình thực đổi KTĐG giảng viên, trình thử nghiệm xây dựng ngân hàng câu hỏi TNKQ • Điều tra: phiếu hỏi vấn để tìm hiểu quy trình thiết kế đề thi TNKQ giảng viên Trường • Phân tích tổng kết kinh nghiệm 7.3 Phương pháp Tốn học • Sử dụng phần mềm SPSS phân tích số liệu thống kê • Sử dụng phần mềm chuyên dụng Quest, ConQuest Cấu trúc luận văn Mở đầu Chương Cơ sở lý luận tổng quan Chương Thực trạng quy trình thiết kế đề thi TNKQ trường Đại học Khoa học – Đại học Thái Nguyên Chương Một số biện pháp nâng cao hiệu quy trình thiết kế đề thi TNKQ trường Đại học Khoa học Kết luận kiến nghị Tài liệu tham khảo Phụ lục CHƯƠNG CƠ SỞ LÍ LUẬN VÀ TỔNG QUAN 1.1 Lịch sử vấn đề nghiên cứu 1.1.1 Trên giới 1.1.2 Việt Nam 1.2 Các khái niệm đo lường đánh giá giáo dục • Đo lường (Measurement) • Đánh giá (Evaluation) • Lượng giá (Assessment) • Kiểm tra (Testing) • Thi (Examination) • Kết học tập (Study achievement): 1.3 Phương pháp trắc nghiệm kiểm tra đánh giá 1.3.1 Kiểm tra đánh giá kết học tập 1.3.2 Mục đích, ý nghĩa việc kiểm tra, đánh giá KQHT 1.3.3 Phương pháp trắc nghiệm kiểm tra đánh giá 1.4 Quy trình xây dựng đề thi ngân hàng câu hỏi TNKQ 1.4.1 Quy trình xây dựng đề thi TNKQ Bước 1: Xác định mục đích sử dụng đề thi/ kiểm tra Bước 2: Chọn mẫu Bước 3: Xác định mục tiêu, phân tích nội dung chi tiết xây dựng bảng trọng số Bước 4: Viết câu hỏi thi Bước 5: Xem lại câu hỏi thi lần Bước 6: Thử nghiệm Bước 7: Phân tích câu hỏi thi Bước 8: Xem lại câu hỏi thi lần Bước 9: Chỉnh sửa câu hỏi Bước 10: Tập hợp câu hỏi thi 1.4.2 Ngân hàng câu hỏi TNKQ 1.5 Kỹ thuật xây dựng câu hỏi TNKQ 1.5.1 Loại – sai (True or False) 1.5.2 Loại ghép đôi (Matching items) 1.5.3 Loại điền khuyết (Supply item) 1.5.4 Loại nhiều lựa chọn (Multi choice questions) 1.5.5 So sánh trắc nghiệm khách quan trắc nghiệm tự luận 1.6 Phân tích đánh giá câu hỏi trắc nghiệm khách quan 1.6.1 Mục đích phân tích câu hỏi trắc nghiệm khách quan 1.6.2 Phương pháp phân tích câu hỏi theo lý thuyết khảo thí đại 1.6.3 Một số yêu cầu thống kê câu hỏi TNKQ • Độ khó độ phân biệt câu trắc nghiệm • Độ tin cậy • Độ giá trị • Độ phù hợp với mơ hình trắc nghiệm khách quan 1.7 Kết luận chương Trong chương trình bày vấn đề sau: - Khái quát vấn đề nghiên cứu giới Việt Nam; - Một số vấn đề lý luận đo lường đánh giá GD; - Quy trình xây dựng đề thi TNKQ; - Các kỹ thuật xây dựng câu hỏi TNKQ; - Cách phân tích đánh giá câu hỏi thi TNKQ CHƯƠNG THỰC TRẠNG QUY TRÌNH THIẾT KẾ ĐỀ THI TNKQ TẠI TRƯỜNG ĐẠI HỌC KHOA HỌC – ĐHTN 2.1 Vài nét trường Đại học Khoa học – Đại học Thái Nguyên 2.2 Thông tin chung giảng viên tham gia khảo sát 2.3 Thực trạng quy trình thiết kế đề thi TNKQ đơn vị 2.3.1 Thực trạng sử dụng phương pháp KTĐG • Về số lượng phương pháp: Theo kết điều tra từ giảng viên, để kiểm tra đánh giá KQHT sinh viên trường, giảng viên sử dụng phương pháp KTĐG để đánh giá KQHT sinh viên như: Viết (tự luận), vấn đáp, thực hành, tiểu luận trắc nghiệm khách quan Trong tổng số 163 đề thi kết thúc học phần khảo sát có tới 129 đề thi giảng viên sử dụng phương pháp thi tự luận vấn đáp (chiếm 79%, đó: tự luận 46,6%, vấn đáp 32,4%) Một số giảng viên sử dụng phương pháp trắc nghiệm khách quan (gần 10%) để đánh giá KQHT cho sinh viên • Nhận thức GV hiệu phương pháp: Tất GV cho họ lựa chọn phương pháp KTĐG có liên quan đến nội dung mục tiêu môn học mà họ đảm nhận họ nhận thức hiệu phương pháp đó, muốn đánh giá kỹ người học nên chọn phương pháp thực hành; muốn kết đánh giá khách quan, chấm nhanh, xử lý kết thuận lợi đề thi bao phủ chương trình học sử dụng phương pháp TNKQ; muốn đánh giá khả diễn giải đề tự luận… 2.3.2 Thực trạng quy trình thiết kế đề thi TNKQ Để biết thực trạng thiết kế đề thi TNKQ nào, ta cần nghiên cứu vấn đề sau: • Xác định mục tiêu đánh giá, phân tích nội dung xây dựng bảng trọng số Có nhiều GV không xác định rõ mục tiêu đề thi/ kiểm tra học phần dạy Nói cách khác, GV thường không lập bảng trọng số mục tiêu kiến thức nội dung học phần để đề thi, dẫn đến có nội dung đề cập nhiều ngược lại, làm ảnh hưởng đến độ giá trị đề thi Phỏng vấn sâu GV biết, họ xác định mục tiêu đánh giá xây dựng bảng trọng số trước viết câu hỏi thi, GV cho điều khơng cần thiết trình dạy học biên soạn đề họ biết phần quan trọng Có nhiều GV cho rằng, việc xây dựng bảng trọng số cần thiết GV trẻ, kinh nghiệm • Về độ bao phủ, độ khó, độ phân biệt, độ tin cậy, độ giá trị thời gian thi, kiểm tra Trong thi kiểm tra, câu hỏi thường mức độ nhận thức biết hiểu chính, câu hỏi mức độ vận dụng ít, lại có thi có câu hỏi lại thường đánh giá người học mức độ vận dụng nhiều Bởi việc ĐGKQHT chưa thật khoa học công bằng, đồng thời độ xác khơng cao Bài thi với câu hỏi mức độ vận dụng mà khơng có câu hỏi mức độ biết hiểu, sinh viên đạt kết khơng cao khơng đánh giá xác khả lực sinh viên có đạt mục tiêu kiến thức kỹ học phần đề hay không? Nếu GV thiết kế câu hỏi đo mức độ nhớ hiểu sinh viên học tủ học theo kiểu ghi nhớ máy móc điểm cao, sinh viên học theo kiểu tư lại điểm trung bình Theo kết điều tra có nhiều GV nhận thức việc biên soạn đề thi TNKQ cho kết đánh giá khách quan cơng bằng, nhiên lý khác mà GV sử dụng phương pháp TNKQ để đánh giá KQHT sinh viên • Lý GV sử dụng phương pháp TNKQ - GV gặp khó khăn thiết kế câu hỏi TNKQ đạt yêu cầu kỹ thuật GV Khoa khác gặp khó khăn biên soạn câu hỏi TNKQ chuẩn khác Có 66% GV khoa gặp khó khăn 34% GV khơng gặp khó khăn biên soạn câu hỏi TNKQ chuẩn - GV chưa bồi dưỡng cách xây dựng đề thi TNKQ Thực tế nhà trường chưa tổ chức buổi tập huấn cho GV kỹ thuật xây dựng đề thi TNKQ, qua phiếu điều tra vấn sâu cho thấy tập huấn tiếp cận với hình thức thi TNKQ sớm họ áp dụng hình thức thi để ĐGKQHT cho SV Mặt khác, có nhiều GV trẻ trường cơng tác, chưa có kiến thức kinh nghiệm nhiều nên lý mà GV không lựa chọn phương pháp TNKQ - Thiếu thời gian soạn câu hỏi TNKQ Phần lớn GV cho để biên soạn đề thi TNKQ cần nhiều thời gian, có khoảng 21% GV cho có thời gian biên soạn câu hỏi TNKQ Giải thích cho tỷ lệ đề thi TNKQ bao gồm nhiều câu hỏi, câu hỏi địi hỏi bao phủ tồn nội dung chương trình mơn học, nữa, để soạn câu hỏi TNKQ, GV phải nắm vững kỹ thuật viết: cách lựa chọn dạng câu hỏi, độ khó, độ phân biệt, thời gian thi… cho phù hợp với nội dung chương trình học phần Bởi để soạn đề thi TNKQ nhiều công sức thời gian - Thiếu kỹ phân tích, ngại thay đổi: Một số GV cho họ khơng có kỹ phân tích đề thi phân tích kết thi Một số GV khác lại có tâm lý ngại thay đổi, họ cho đề thi tự luận họ hồn tồn đánh giá xác lực SV nên họ không muốn không cần phải thiết kế đề thi TNKQ… Có GV tự nghiên cứu xây dựng đề thi TNKQ, chưa có kinh nghiệm thiết kế nên họ không chắn vào chất lượng biên soạn đề thi • Về thang điểm đề thi Theo kết điều tra GV cho rằng, với câu hỏi tự luận, câu hỏi vấn đáp GV thường cho điểm câu, ý chi tiết câu hỏi, GV cho điểm tùy theo nội dung làm SV tâm trạng GV chấm thi Nếu điểm lớp tương đối thấp SV viết trả lời ý đạt số điểm định mà chưa cần phân tích, bình luận Cịn điểm lớp tương đối cao SV khơng điểm cao khơng phân tích bình luận ý Mặt khác, với thi hai GV chấm thi khác cho kết khác Điều dẫn đến thiếu khách quan công Như vậy, qua phân tích thấy với quy trình thiết kế đề thi TNKQ phần lớn khoa môn trường ĐHKH khơng đánh giá xác lực SV 10 2.3.3 Thực trạng phân tích xử lý kết thi • Phân tích kết thi Kết điều tra cho thấy khoảng 34% GV cho họ có phân tích câu hỏi thi sau chấm 66% khơng phân tích Đây điều đáng quan tâm sau chấm thi GV không quan tâm xem đề thi có phù hợp với mục tiêu học phần đề hay khơng? Có bao phủ nội dung chương trình đào tạo? Có đảm bảo khách quan công phù hợp với lực SV không? Thực trạng cho thấy việc đề việc kiểm tra đánh giá cho SV cịn nhiều bất cập • Phân tích độ khó Có tới 70% GV không phân tích độ khó sau thi, tương ứng với 30% GV thường xun phân tích độ khó đề thi Điều chứng tỏ GV coi nhẹ việc phân tích đề thi, họ cho việc làm không cần thiết tốn thời gian • Phân tích độ phân biệt Có khoảng 60% giáo viên khơng phân tích độ phân biệt đề thi Điều giải thích chấm thi xong GV thường khơng quan tâm xem với SV giỏi SV trung bình yếu có kết thi Kết hợp với vấn sâu thu số lý sau: Thứ nhất, GV phải dạy nhiều Thứ hai, số GV cho đề thi họ chắn đạt chất lượng nên khơng cần phải phân tích đề thi Thứ ba, số GV cho việc khơng có quy định nên họ khơng làm • Phân tích, xử lý câu hỏi thi 11 Kết điều tra cho thấy thực trạng đa số GV trường ĐHKH sau đề, coi thi, chấm thi xong không phân tích câu hỏi thi thi Nguyên nhân vấn đề chưa đào tạo, bồi dưỡng kiến thức, mặt khác vấn đề thời gian kinh phí cho vấn đề 2.3.4 Thực trạng chất lượng đề thi Để biết chất lượng đề thi nào, việc nghiên cứu đề thi sử dụng, cần phân tích kết làm SV Trong khn khổ luận văn này, tập trung nghiên cứu phân tích vài đề thi TNKQ để phần minh họa chất lượng đề thi trường • Đề thi Xã hội học đại cương: Theo kết thi TNKQ, học phần Xã hội học đại cương với 60 câu hỏi MCQ với thời gian thi 60 phút (xem thông tin chi tiết Phụ lục 2.2) với lớp 50 thí sinh Trung bình thời gian trả lời câu hỏi 1phút/ 1câu Theo kết thu được, có 26% sinh viên đạt điểm trung bình 66% sinh viên đạt điểm trung bình Có sinh viên đạt điểm thấp điểm có sinh viên đạt điểm cao điểm Như thấy đề thi không phù hợp so với lực sinh viên Điều phù hợp với thông tin thu tiến hành vấn sâu sinh viên, sinh viên cho đề thi khơng khó nhiên nội dung nhiều, thời gian làm khơng đủ Có thể kết luận thời gian thi không phù hợp với số lượng nội dung câu hỏi thi Với sinh viên có lực cao làm 70% số lượng câu hỏi thi hết thời gian làm • Đề thi học phần Giải tích A1: Với 20 câu hỏi TNKQ dạng MCQ, đề thi học phần Giải tích A1 có thời gian làm 90 phút (xem thông tin chi tiết phụ lục 2.3) 12 Kết phân tích cho thấy đa số sinh viên cho đề thi vừa phải, nhiên thời gian làm tương đối nhiều (90 phút) nên hầu hết sinh viên làm hết câu hỏi thi Điều cho thấy thời gian thi không cân độ khó số lượng câu hỏi (4,5 phút/1 câu) Có 60% sinh viên đạt điểm (7 đến điểm), 18% sinh viên đạt điểm giỏi (9 đến 10 điểm) có 22% sinh viên đạt điểm trung bình (5 điểm) Điểm thấp sinh viên học phần điểm điểm cao 10 điểm Kết cho thấy đề thi có nhiều câu dễ không đánh giá lực sinh viên giỏi không phân loại sinh viên • Phân tích đề thi TNKQ học phần “Khoa học mơi trường đại cương” lý thuyết khảo thí đại: Đây đề thi TNKQ giảng viên Khoa Khoa học Môi trường tự biên soạn để đánh giá KQHT sinh viên năm thứ ngành Cử nhân KHMT, học kỳ II năm học 2008-2009 Đề thi kết thúc học phần Khoa học môi trường đại cương bao gồm 50 câu hỏi, thời gian thi 60 phút (xem chi tiết phụ lục 2.4) Sau chấm thi, nhập số liệu phân tích kết phần mềm Quest, vào mục 1.6.3 chương 1, thấy rằng: SD = 1.53 lớn, không đạt Reliability of estimate = 0.63 thấp Infit Mean Square có SD = 0.28 không tốt Căn vào phân bố 50 câu hỏi cho thấy: có 15/50 câu hỏi khơng mơ hình chúng khơng tạo thành cấu trúc Các câu hỏi có độ khó nằm khoảng -3.5 đến 3.2 thang logit lực thí sinh nằm khoảng -0.8 đến 2.8 thang logit Có 19 câu hỏi: 3, 15, 21, 2, 6, 10, 30, 7, 8, 16, 48, 12, 40, 36, 34, 23, 28, 46 dễ so với lực thí sinh (chiếm 13 38%)) Cần bổ sung thêm câu hỏi có độ khó nằm khoảng từ đến 1.8 thang logit (vì có nhiều thí sinh có lực khoảng này.) Qua việc phân tích đề thi TNKQ học phần Khoa học mơi trường đại cương lý thuyết khảo thí đại, thấy đề thi chưa phù hợp với lực thí sinh, câu hỏi thi chưa tạo thành cấu trúc có nhiều cá thể ngoại lai Độ tin cậy đề thi không cao, dẫn đến độ giá trị đề thi thấp, hay nói cách khác, đề thi chưa đạt yêu cầu đề thi TNKQ 2.4 Kết luận chương Việc phân tích thực trạng quy trình thiết kế đề thi TNKQ trường ĐHKH tồn vấn đề sau: - Đề thi khó có khả bao phủ chương trình học, tiêu chí đánh giá chưa rõ ràng, quy trình chấm điểm chưa đảm bảo Thậm chí có đề thi cịn chưa phù hợp với chương trình học (về nội dung, độ khó, thời gian thi…) - Các đề thi biên soạn phần lớn dựa theo kinh nghiệm chủ quan cá nhân chưa theo quy trình - Chưa trọng đến chất lượng đề thi Với thực trạng trên, để nâng cao hiệu việc thiết kế đề thi TNKQ đơn vị, cần có biện pháp cụ thể để khắc phục Qua thăm dò ý kiến GV, họ mong muốn nhà trường bồi dưỡng kiến thức việc biên soạn đề thi TNKQ, việc phân tích xử lý kết thi TNKQ CHƯƠNG 3: MỘT SỐ BIỆN PHÁP NÂNG CAO HIỆU QUẢ QUY TRÌNH THIẾT KẾ ĐỀ THI TNKQ TẠI TRƯỜNG ĐHKH 3.1 Nguyên tắc đề xuất biện pháp 14 3.2 Một số biện pháp nâng cao hiệu quy trình thiết kế đề thi TNKQ đơn vị Trong khuôn khổ luận văn đề xuất số biện pháp sau: Biện pháp 1: Nâng cao nhận thức GV tầm quan trọng việc KTĐG thơng qua hình thức thi TNKQ Biện pháp 2: Bồi dưỡng GV quy trình kỹ thuật xây dựng đề thi TNKQ, cách xử lý kết thi Biện pháp 3: Tổ chức cho GV tự xây dựng thử nghiệm đề thi TNKQ cho SV 3.3 Tổ chức thử nghiệm biện pháp Tiến trình thử nghiệm cụ thể sau: Thứ nhất: Nâng cao nhận thức GV tầm quan trọng việc KTĐG thơng qua hình thức thi TNKQ (biện pháp 1): Thứ hai: Bồi dưỡng GV quy trình kỹ thuật xây dựng đề thi TNKQ, cách xử lý kết thi (biện pháp 2) - Tổ chức bồi dưỡng cho 12 CBGV Khoa Toán Tin, Sinh học, Khoa học môi trường (xem chi tiết phụ lục 3.1) Thứ ba: Tổ chức cho GV tự xây dựng thử nghiệm đề thi TNKQ cho SV (biện pháp 3) • Tổ chức cho giảng viên Khoa Sinh học xây dựng thử nghiệm câu hỏi TNKQ cho học phần “Sinh lý thực vật” (phụ lục 3.2) Để thiết kế đề thi TNKQ chuẩn cần phải đảm bảo quy trình (xem mục 1.4.1), gồm 10 bước sau: Bước 1: Xác định mục đích sử dụng đề thi/ kiểm tra: Bước 3: Xác định mục tiêu, phân tích nội dung chi tiết xây dựng bảng trọng số: 15 Các GV khoa Sinh học xây dựng cấu trúc đề thi trắc nghiệm học phần Sinh lý thực vật gồm 50 câu hỏi bao phủ nội dung chương học phần Thời gian thi dự kiến 60 phút (trung bình 1,2 phút/ câu) với thang điểm 10 (tương đương 0,2 điểm/ câu) Bước 4: Viết câu hỏi thi: Bước 5: Xem lại câu hỏi thi lần 1: Bước 6: Thử nghiệm: Tổ chức thử nghiệm đề thi, yêu cầu: - 59 sinh viên chia làm 02 phòng, phịng có 02 cán coi thi giám sát việc làm thí sinh - Những quy định yêu cầu làm thi cán coi thi hướng dẫn cụ thể, rõ ràng - Mỗi sinh viên bố trí ngồi bàn phát đề trắc nghiệm phiếu trả lời - Hết thi, toàn đề phiếu trả lời thu nhằm tránh bị lộ Bước 7: Phân tích câu hỏi thi: - Với số lượng 50 câu hỏi cho thấy số lượng câu hỏi vừa đủ lớn để đảm bảo độ tin cậy hợp lý - Số lượng câu hỏi phân bố cho tất chương tất mục tiêu cần đánh giá Sinh viên xem nhẹ phần nào, học tủ, học lệch - Số lượng câu hỏi phạm vi kiến thức rộng nên sinh viên khơng có hội thời gian quay cóp trao đổi thi - Đề phát cho SV, khơng cho SV nhìn trao đổi - Thời gian làm trung bình 1,2 phút/ 01 câu - Câu trả lời tính theo thang điểm quy định, câu trả lời sai điểm 16 Phân tích, đánh giá câu hỏi thi trắc nghiệm Sau thu lại toàn làm thí sinh, chúng tơi tiến hành làm bước sau: - Nhập số liệu vào SPSS - Làm số liệu: kiểm tra lại xem có nhập sai bỏ sót số liệu hay khơng - Lựa chọn phần mềm chuyên dụng: Sử dụng phần mềm QUEST Phân tích liệu mơ hình Rasch: Sau sử dụng phần mềm Quest, ta có báo cáo thống kê đặc tính test sau: a Độ phù hợp với mơ hình câu hỏi độ tin cậy test - Độ phù hợp với mơ hình: Một dẫn chứng quan trọng để nói câu hỏi GV biên soạn tốt xác định tất câu hỏi tạo thành cấu trúc Kết phân tích phần mềm Quest dựa mơ hình Rasch cho thấy tất câu hỏi có Infit MNSQ nằm khoảng từ 0.77 đến 1.30 Kiểm tra phù hợp thống kê với mơ hình Rasch câu hỏi (Fit statistics) Infit Mean Square có Mean = 1.00 (Rất tốt) SD = 08 (Tốt) Kết luận: Dựa vào số liệu thu bảng 3.3 hình 3.2 rút kết luận rằng, liệu 50 câu hỏi trắc nghiệm hồn tồn phù hợp với mơ hình Rasch độ tin cậy đề thi đạt yêu cầu (0.87) b Độ khó câu hỏi Độ khó câu hỏi đặc tính quan trọng câu hỏi nói lên độ tin cậy độ giá trị câu hỏi thi/ kiểm tra Đồng thời cho phép so sánh độ khó câu hỏi so với lực thí sinh Để phân tích 17 độ khó câu hỏi phần mềm Quest cung cấp cho ma trận (biểu đồ) so sánh lực thí sinh với độ khó câu hỏi trắc nghiệm Nhận xét: Ma trận cho thấy phân bố độ khó câu hỏi với lực thí sinh phân bố chuẩn hay độ khó câu hỏi phù hợp với hầu hết lực thí sinh - Các thí sinh có lực mức khác c Các số thống kê khác - Độ phân biệt: Có 18% (9/50) câu hỏi có độ phân biệt Disc ≥ 0.4, câu tốt, bao gồm câu hỏi số 7, 24, 27, 28, 35, 36, 38, 43, 49 Có gần 60% (29/50) câu hỏi có Disc ≥ 0.2, câu tốt tốt, thỏa mãn độ phân biệt - Độ khó: Những câu có độ khó P > 70% câu trắc nghiệm dễ Trong đề thi có 10 câu (5, 9, 10, 12, 15, 16, 18, 20, 31, 43), chiếm 20% nhiên không cần điều chỉnh lại câu có số thí sinh có lực thấp Những câu có độ khó vừa phải (40% ≤ P ≤ 70%), gồm 27 câu hỏi Những câu có độ khó P < 40% câu trắc nghiệm khó, đề thi có câu, chiếm 12% (là câu 4, 22, 27, 32, 37, 39) Những câu có độ khó < 20% câu khó, dùng để đo thí sinh có lực cao, đề thi có câu câu 14 41 (tương ứng với P = 15.3% P = 10.2%) Bước 8: Xem lại câu hỏi thi lần 2: Khi có số liệu phân tích cần kiểm tra lại câu hỏi xem có vấn đề khơng? Nếu câu hỏi chưa tốt cần chỉnh sửa loại bỏ Bước 9: Chỉnh sửa câu hỏi: 18 Xác định câu hỏi cần sửa chữa đề xuất cách sửa: Dựa vào độ phân biệt: Dựa vào độ phân biệt (Disc) xác định câu hỏi cần sửa chữa sau: Disc < 0.2: có câu (chiếm 16%) Các câu phần lớn rơi vào câu khó khó, để lập ngân hàng đề thi cần phải sử dụng câu hỏi nên không cần loại bỏ a Dựa vào độ khó câu hỏi: Phân tích độ khó câu trắc nghiệm cho ta thấy giá trị P câu chưa khẳng định câu hỏi tốt hay khơng, nói lên độ khó tương đối câu hỏi số thí sinh tham gia làm trắc nghiệm Những câu có độ khó < 20% câu khó, dùng để đo thí sinh có lực cao, đề thi có câu câu 14 41 (tương ứng với P = 15.3% P = 10.2%) Như phân tích nên câu hỏi khó dễ giữ lại để đo thí sinh có lực khác Do câu hỏi đề nhìn chung đảm bảo yêu cầu độ khó nên khơng cần chỉnh sửa Tuy nhiên có số câu cần xem lại phương án lựa chọn (vì số thí sinh lựa chọn phương án nhiễu ít, chí khơng có thí sinh lựa chọn), cụ thể sau: + Câu nên viết lại bỏ câu lựa chọn số 4; + Câu 10 nên viết lại bỏ lựa chọn số 2, 3; + Câu 12 nên viết lại bỏ lựa chọn số 1, 2; + Câu 20 nên viết lại bỏ lựa chọn số 1; 19 Kết luận câu sửa phương án nhiễu có câu hỏi tốt, đồng thời độ tin cậy test tăng lên b Dựa vào độ giá trị trắc nghiệm Nói đến độ giá trị trắc nghiệm nói đến độ giá trị mặt nội dung nó, nghĩa câu hỏi trắc nghiệm có khả bao trùm nội dung môn học Đề thi bao gồm 50 câu hỏi phân bổ chương môn học với mục tiêu thể bảng trọng số, điều chứng tỏ đề thi đạt độ giá trị Bước 10: Tập hợp câu hỏi thi: Sau phân tích đề xuất chỉnh sửa số câu hỏi, GV khoa Sinh học đồng ý cần phải chỉnh sửa câu hỏi để câu hỏi tốt Sau xây dựng thử nghiệm đề thi TNKQ học phần Sinh lý thực vật cho sinh viên, rút số kết luận sau: - Qua tập huấn, GV bám sát vào mục tiêu môn học để biên soạn 50 câu hỏi trắc nghiệm đa lựa chọn Bộ câu hỏi bao trùm toàn nội dung học phần Sinh lý thực vật - Đề thi TNKQ cho học phần Sinh lý thực vật thiết kế thử nghiệm thành công Qua phân tích, câu hỏi TNKQ đạt yêu cầu tiêu chuẩn kỹ thuật, độ phù hợp với mơ hình, độ khó, độ phân biệt, độ giá trị test… 3.4 Đánh giá chung GV tính khả thi hiệu biện pháp triển khai Sau thử nghiệm, so sánh đề thi TNKQ thử nghiệm với đề thi TNKQ GV tự thiết kế trước đây, tiến hành khảo sát lấy ý kiến GV tính khả thi việc áp dụng quy trình chuẩn để thiết kế đề thi TNKQ, kết thu được: 20 100% giảng viên cho cần phải có quy trình chuẩn để biên soạn thiết kế đề thi TNKQ; 100% giảng viên cho cần phải tập huấn đầy đủ thử nghiệm thiết kế đề thi; 92% giảng viên cho cần phải xác định mục đích kỳ thi/ kiểm tra cần phải xây dựng bảng trọng số thiết kế đề thi TNKQ; 74% giảng viên khẳng định kỹ thiết kế đề thi TNKQ họ nâng lên rõ rệt sau tập huấn; 70% giảng viên cho họ tự xây dựng đề thi TNKQ cho học phần mà họ giảng dạy theo quy trình chuẩn tập huấn; 35% giảng viên cho việc phân tích đề thi cần thiết phải thực liên tục; 100% giảng viên Khoa Sinh học cho rằng: đề thi TNKQ xây dựng theo quy trình chuẩn vừa thử nghiệm đảm bảo yêu cầu thống kê phân tích trên; bảo đảm bao trùm nội dung mơn học mà giảng viên giảng dạy, có khả chống tượng học tủ, học lệch, gian lận thi cử; đề thi có thời gian hợp lý, phù hợp với trình độ sinh viên đảm bảo tính khách quan, cơng chấm thi; Đa số giảng viên cho rằng, sử dụng đề thi TNKQ để kiểm tra đánh giá kết học tập sinh viên hợp lý đề thi thiết kế theo quy trình chuẩn, thử nghiệm kỹ 3.5 Kết luận chương Dựa vào nguyên tắc bản, tác giả đưa biện pháp nhằm nâng cao hiệu quy trình thiết kế đề thi TNKQ đơn vị: • Biện pháp 1: Nâng cao nhận thức GV tầm quan trọng việc KTĐG thơng qua hình thức thi TNKQ 21 • Biện pháp 2: Bồi dưỡng GV quy trình kỹ thuật xây dựng đề thi TNKQ, cách xử lý kết thi • Biện pháp 3: Tổ chức cho GV tự xây dựng thử nghiệm đề thi TNKQ cho SV Sau đề xuất biện pháp, tiến hành thử nghiệm nhằm kiểm tra tính khả thi biện pháp đề xuất Qua tổ chức thử nghiệm thấy việc tổ chức cho giảng viên tự xây dựng đề thi TNKQ sau thử nghiệm đề thi GV tự biên soạn cần thiết Thông qua việc xử lý kết thi cách khoa học, so sánh chất lượng đề thi trước sau thử nghiệm giúp cho GV biết cách đọc kết phân tích, thấy chất lượng đề thi thiết kế nâng cao, biết câu hỏi tốt hay tồi cần giữ lại hay loại bỏ cần chỉnh sửa nào… biết độ khó đề thi so với lực sinh viên, từ điều chỉnh hoạt động dạy học nhằm nâng cao chất lượng KẾT LUẬN VÀ KIẾN NGHỊ KẾT LUẬN 1.1 Về mặt lý luận Luận văn tổng hợp hệ thống phần vấn đề nghiên cứu đo lường đánh giá giáo dục nói chung Lịch sử vấn đề nghiên cứu giới Việt Nam trình bày theo giai đoạn phát triển ngành khoa học Luận văn hệ thống hóa vấn đề lý luận có liên quan như: khái niệm bản, mục đích ý nghĩa khoa học đo lường đánh giá; phương pháp kỹ thuật xây dựng công cụ ĐLĐG thơng qua hình thức TNKQ; quy trình xây dựng thiết kế đề thi 22 TNKQ chuẩn cách phân tích, xử lý đánh giá trắc nghiệm 1.2 Về mặt thực tiễn Luận văn làm sáng tỏ thực trạng quy trình thiết kế đề thi TNKQ trường Đại học Khoa học – Đại học Thái Nguyên, từ rút số kết luận sau: - Thực trạng biên soạn, thiết kế đề thi TNKQ đơn vị nhiều bất cập, chưa đảm bảo độ tin cậy nhiều lý khác nhau: đề thi thiết kế chưa đảm bảo chất lượng GV chưa có thiếu kinh nghiệm đề GV xác định mục tiêu đánh giá chưa phù hợp với mục tiêu đề Việc xây dựng bảng trọng số chưa hợp lý chưa coi trọng mức Đề thi chưa bao phủ hết nội dung chương trình đào tạo, chí có đề thi khơng phù hợp mục tiêu đề - Kết điều tra cho thấy thực trạng trường ĐHKH phần lớn giảng viên sau đề, chấm thi xong khơng phân tích xử lý kết thi Đồng thời, có nhiều GV chưa bồi dưỡng việc biên soạn đề thi TNKQ cách phân tích, xử lý kết thi Họ mong muốn nhà trường tổ chức tập huấn bồi dưỡng cho họ vấn đề Từ thực trạng chúng tơi thấy cần phải có biện pháp cụ thể để nâng cao chất lượng biên soạn thiết kế đề thi TNKQ, góp phần đổi nâng cao chất lượng đào tạo Nhà trường Với thực trạng trên, Luận văn đề xuất biện pháp nhằm nâng cao chất lượng hiệu việc thiết kế đề thi TNKQ tiến hành thử nghiệm thành công 23 - Biện pháp 1: Giúp cán bộ, giảng viên nhận thức đắn tầm quan trọng việc KTĐG thơng qua hình thức thi TNKQ Đồng thời khuyến khích GV sử dụng kết đánh giá để điều chỉnh hoạt động dạy học - Biện pháp 2: Luận văn phân tích bước quy trình xây dựng đề thi TNKQ hoàn chỉnh, kỹ thuật xây dựng câu hỏi TNKQ, minh họa cụ thể cách xử lý phân tích câu hỏi thi TNKQ theo yêu cầu thống kê để nâng cao chất lượng đề thi - Biện pháp 3: Tổ chức cho GV tự xây dựng thử nghiệm thiết kế đề thi TNKQ theo quy trình chuẩn, đảm bảo yêu cầu thống kê Với kết thử nghiệm, biện pháp giúp cho GV nâng cao nhận thức tầm quan trọng hình thức thi TNKQ, nắm rõ quy trình kỹ thuật xây dựng câu hỏi TNKQ, GV tự thiết kế đề thi TNKQ theo quy trình đảm bảo chất lượng đề thi Đồng thời giúp GV đọc kết phân tích xử lý kết thi, dựa kết đó, GV có điều chỉnh để nâng cao chất lượng đề thi nói riêng chất lượng dạy học nói chung Qua phân tích liệu so sánh kết lớp trước sau thử nghiệm, thấy việc sử dụng biện pháp góp phần nâng cao chất lượng đề thi, tăng tính khách quan, độ tin cậy, độ giá trị đề thi; giúp giảng viên tự biên soạn đề thi TNKQ đảm bảo chất lượng theo yêu cầu thống kê Thông qua việc phân tích xử lý kết thi cách khoa học giúp GV điều chỉnh, nâng cao chất lượng đề thi, từ nâng cao chất lượng dạy học Có thể khẳng định rằng, biện pháp sử dụng chắn có tính khả thi mang lại hiệu cao việc thiết kế đề thi TNKQ Mặt khác, GV sử dụng biện pháp cách có hệ thống, chúng hỗ trợ bổ sung cho 24 làm tăng thêm tính hiệu tính khả thi Thơng qua biện pháp giúp cho GV xem xét lại chương trình mục tiêu, nội dung chính, từ có điều chỉnh bổ sung phù hợp nhằm nâng cao chất lượng giảng dạy Với kết thu được, luận văn khẳng định biện pháp mà giảng viên sử dụng nhằm nâng cao chất lượng biên soạn thiết kế đề thi TNKQ, đồng thời, luận văn khẳng định việc vận dụng biện pháp hoàn toàn khả thi mang lại hiệu tốt Từ kết thử nghiệm khẳng định luận văn thực mục đích, nhiệm vụ nghiên cứu giả thuyết bước đầu kiểm nghiệm KIẾN NGHỊ Từ kết luận nêu trên, đề xuất số kiến nghị sau để nâng cao hiệu biên soạn thiết kế đề thi TNKQ đơn vị sau: Tiếp tục nâng cao nhận thức cho cán bộ, giảng viên sinh viên tầm quan trọng việc KTĐG thơng qua hình thức thi TNKQ Tạo điều kiện cho GV học tập bồi dưỡng phương pháp TNKQ, lý thuyết khảo thí đại nói riêng lý thuyết đánh giá nói chung, qua hình thành đội ngũ GV có trình độ kiến thức, kỹ kinh nghiệm lĩnh vực khoa học Trường nên có kế hoạch đầu tư cho giảng viên việc xây dựng ngân hàng câu hỏi TNKQ, tiếp tục tổ chức lớp tập huấn thiết kế đề thi để nâng cao hiệu chất lượng thiết kế đề thi TNKQ cho GV cách phân tích kết thi cách nghiêm túc khoa học  ... Thực trạng quy trình thi? ??t kế đề thi TNKQ trường Đại học Khoa học – Đại học Thái Nguyên Chương Một số biện pháp nâng cao hiệu quy trình thi? ??t kế đề thi TNKQ trường Đại học Khoa học Kết luận kiến... thức thi? ??t kế đề thi trắc nghiệm khách quan giảng viên Trường; • Nghiên cứu, đánh giá câu hỏi trắc nghiệm khách quan số đề thi TNKQ sử dụng Trường, từ đề xuất quy trình chuẩn thi? ??t kế đề thi TNKQ... Mục đích nghiên cứu đề tài • Đánh giá quy trình hiệu việc thi? ??t kế sử dụng đề thi trắc nghiệm khách quan Nhà trường; • Đưa quy trình chuẩn thi? ??t kế đề thi trắc nghiệm khách quan • Đưa giải pháp