HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - LÊ THỊ MINH HẰNG PHÁT TRIỂN HỆ THỐNG HỖ TRỢ RA ĐỀ VÀ CHẤM THI TRẮC NGHIỆM TẠI TRUNG TÂM NGOẠI NGỮ TIN HỌC TỈNH YÊN BÁI CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 60.48.15 LUẬN VĂN THẠC SỸ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS TRẦN ĐÌNH QUẾ HÀ NỘI, THÁNG 10 NĂM 2012 Luận văn hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: PGS.TS Trần Đình Quế Phản biện 1: …………………………………………………………… Phản biện 2: …………………………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thông Vào lúc: ngày tháng năm 2012 Có thể tìm hiểu luận văn tại: Thư viện Học viện Cơng nghệ Bưu Viễn thơng PHẦN MỞ ĐẦU Thi trắc nghiệm trở thành vấn đề nhà nghiên cứu xã hội quan tâm chất lượng thi, tin cậy tính chất xác Nhằm giúp Sở giáo dục đào tạo tỉnh Yên Bái nói chung Trung tâm Ngoại ngữ - Tin học tỉnh Yên Bái nói riêng kiểm tra đánh giá chất lượng học học viên, học sinh qua khoá bồi dưỡng kiến thức đợt kiểm tra chất lượng định kỳ hàng năm, tác giả chọn đề tài “Phát triển hệ thống hỗ trợ đề chấm thi trắc nghiệm trung tâm ngoại ngữ - tin học tỉnh yên bái” giúp hỗ trợ việc khởi tạo, quản lý sử dụng ngân hàng câu hỏi, để kiểm tra đánh giá giúp cho Trung tâm giảm tải mặt thời gian, chi phí cho việc tổ chức thi đồng thời đảm bảo tính khoa học, xác Luận văn gồm chương Chương 1: Tổng quan hệ thống thi trắc nghiệm Chương tập trung tìm hiểu vấn đề liên quan việc kiểm tra đánh giá hình thức thi trắc nghiệm như: Khái niệm, đặc điểm phân loại câu hỏi trắc nghiệm, câu hỏi trắc nghiệm khách quan; đặc trưng câu trắc nghiệm đề thi trắc nghiệm Chương 2: Kiến trúc hệ thống thi trắc nghiệm Chương tập chung giới thiệu kiến trúc hệ thống phương pháp chấm điểm cho hệ thống trắc nghiệm Chương 3: Cài đặt thử nghiệm Thử nghiệm hệ thống thực tế đưa số hình ảnh hệ thống hoạt động CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG THI TRẮC NGHIỆM 1.1 Đo lường, kiểm tra đánh giá giáo dục 1.1.1 Đo lường (Measurement) giáo dục: 1.1.2 Kiểm tra/ Lượng giá (Assessment) giáo dục Căn vào thơng tin định tính định lượng (số đo) để đánh giá lực phẩm chất sản phẩm đào tạo trình giáo dục T Kubiszyn G.Borich (Educational Testing and Measurement (classroom application and practice) – 6th Ed, J.Wiley & Sons,Inc, 2000) phân biệt tiến hành trắc nghiệm (testing) kiểm tra/lượng giá (assessment) sau: Tiến hành Trắc nghiệm Kiểm tra/Lượng giá (testing) (assessment) Các trắc nghiệm Thông tin thu thập từ thực trắc nghiệm công cụ đo lớp học cho điểm số khác Các kết trắc nghiệm Các thông tin đ ợc đánh giá cách có phê phán sử dụng để đề phối hợp với thơng tin khác định q trình đào tạo bối cảnh người học, giảng dạy Sự phối hợp kết trắc nghiệm thơng tin khác chương trình vấn phân tích cách có phê phán đề giáo dùng để đề định dục khác người học, giảng dạy, chương trình vấn đề giáo dục khác Bảng 1.1 Kiểm tra/ Lượng giá giáo dục 1.1.3 Đánh giá (Evaluation) giáo dục Trong giáo dục, có loại đánh giá chính: Hình 1.1 Sơ đồ đánh giá giáo dục 1.2 Các phương pháp kiểm tra đánh giá Người ta phân chia phương pháp trắc nghiệm làm ba loại: Quan sát, Vấn đáp 1.2.1 Phương pháp quan sát 1.2.2 Phương pháp vấn đáp 1.2.3 Phương pháp kiểm tra viết 1.2.3.1 Trắc nghiệm tự luận Phương pháp có từ đến nhiều đề HS ngồi gần không chép Các đề thi GV trực tiếp dạy nên thường sát với nội dung thi Phương pháp thi viết sử dụng rộng rãi kỳ thi Các kiểm tra, thi HS phải viết gồm có hai loại: Loại tự luận khách quan Cả hai loại gọi trắc nghiệm, nhiên chúng có điểm khác biệt 1.2.3.2.Trắc nghiệm khách quan 1.3 Tổng quan đào tạo trực tuyến 1.3.1 Đào tạo trực tuyến gì? 1.3.2 Sự khác biệt đào tạo truyền thống với đào tạo trực tuyến 1.3.2.1 Phương pháp đào tạo truyền thống 1.3.2.2 Phương pháp đào tạo trực tuyến 1.4 Hệ thống trắc nghiệm kiến thức trực tuyến 1.4.1 Các khái niệm 1.4.1.1 Trắc nghiệm ? 1.4.1.2 Định nghĩa hệ thống trắc nghiệm trực tuyến 1.4.1.3 Các phương pháp trắc nghiệm thông thường Tự luận - Sát hạch trắc nghiệm lý thuyết dùng giấy thi - Thực hành máy chấm điểm chỗ - Thực hành máy chấm điểm sau 1.4.1.4 Ưu nhược điểm phương pháp trắc nghiệm trực tuyến - 1.4.2 Các loại câu hỏi trắc nghiệm khách quan 1.4.2.1 Câu hỏi – sai (Yes/No Questions) - Trước câu dẫn xác định (thông thường câu hỏi), học sinh đưa nhận định lựa chọn hai phương án trả lời Đúng Sai Ưu điểm trắc nghiệm Đúng – Sai: Là loại câu hỏi đơn giản dùng để trắc nghiệm khách quan kiến thức kiện, viết loại câu hỏi tương đối dễ dàng, phạm lỗi, mang tính khách quan chấm Nhược điểm trắc nghiệm Đúng – Sai: Học sinh đốn mị độ tin cậy thấp Học sinh Giỏi khơng thoả mãn buộc phải chọn Đúng – Sai câu hỏi viết chưa kỹ 1.4.2.2 Câu hỏi lựa chọn có nhiều phương án (Multiple choise questions) Đây loại trắc nghiệm thơng dụng Loại thường có hai phần: Phần đầu gọi phần dẫn, nêu vấn đề, cung cấp thông tin cần thiết nêu câu hỏi Phần sau phương án để chọn thường đánh dấu chữ A, B, C, D số 1, 2, 3, Trong phương án chọn có phương án phương án phương án khác đưa vào với tác dụng gây nhiễu gọi câu mồi Khi soạn thảo loại trắc nghiệm thường người soạn cố gắng làm cho phương án nhiễu “hợp lý” “hấp dẫn” phương án Ngoài phần dẫn câu bỏ lửng phần sau đoạn bổ sung để phần dẫn trở nên hợp lý 1.4.2.3 Câu hỏi điền khuyết (Supply items) trả lời ngắn (Short Answer) Đây dạng trắc nghiệm khách quan có câu trả lời tương đối tự Thường nêu mệnh đề có khuyết phận, học sinh nghĩ nội dung trả lời thích hợp để điền vào chỗ trống, thường câu trả lời có nội dung ngắn gọn vài từ 1.4.2.4 Câu hỏi ghép đôi (Matching items) Có thể xem dạng đặc biệt dạng trắc nghiệm khách quan nhiều lựa chọn, dạng câu hỏi thường gồm hai cột thông tin, cột câu hỏi (hay câu dẫn) cột câu trả lời (hay gọi câu lựa chọn), yêu cầu học sinh phải tìm cách ghép câu trả lời cột với câu hỏi cột khác sau cho hợp lý 1.4.2.5 Câu hỏi tự vào tay 1.5 Kỹ thuật thiết kế đề thi trắc nghiệm khách quan 1.5.1 Quy trình xây dựng hình thức trắc nghiệm khách quan Chuẩn bị câu hỏi trắc nghiệm Ra đề: Tiến hành kiểm tra Chấm thi 1.5.2 Cơ sở kỹ thuật 1.5.2.1 Câu hỏi trắc nghiệm điền khuyết 1.5.2.2 Câu hỏi trắc nghiệm đúng/sai 1.5.2.3 Câu hỏi trắc nghiệm ghép đôi 1.5.2.4 Câu hỏi trắc nghiệm nhiều lựa chọn 1.5.2.5 Câu hỏi trắc nghiệm tình (diễn giải) 1.6 Đặc trưng câu trắc nghiệm đề thi trắc nghiệm 1.6.1 Các đặc trưng câu trắc nghiệm đề thi trắc nghiệm Để đánh giá chất lượng câu trắc nghiệm toàn đề thi trắc nghiệm, người ta thường dùng hai đại lượng đặc trưng: độ khó độ phân biệt Hai đại lượng đặc trưng khác, gắn với trắc nghiệm với câu hỏi, độ tin cậy độ giá trị đề trắc nghiệm 1.6.1.1 Độ tin cậy 1.6.1.2 Độ giá trị 1.6.2 Phân tích, đánh giá câu trắc nghiệm đề thi trắc nghiệm 10 1.8 Kết luận chương Chương tập trung tìm hiểu vấn đề liên quan việc kiểm tra đánh giá hình thức thi trắc nghiệm như: Khái niệm, đặc điểm phân loại câu hỏi trắc nghiệm, câu hỏi trắc nghiệm khách quan; đặc trưng câu trắc nghiệm đề thi trắc nghiệm 11 CHƯƠNG 2: KIẾN TRÚC HỆ THỐNG THI TRẮC NGHIỆM 2.1 Kiến trúc hệ thống 2.1.1 Mô tả yêu cầu toán Hệ thống cho phép đảo đề tự động quản lý phiên đề thi Một phiên đề hoán vị câu hỏi đáp án đề Các phần đề giữ nguyên thứ tự câu hỏi phần không bị chuyển sang phần khác Hệ thống tự động tạo phiên khác người dùng làm đề thi nhiều lần Người dùng chủ động tạo, đặt tên phiên xuất dạng Microsoft Word để sử dụng kì thi, kiểm tra truyền thống Hệ thống có chức tạo đề tự động từ cấu trúc đề cho trước Một cấu trúc đề mô tả đề thi nêu phần đề thi ràng buộc cho phần Có ba loại ràng buộc: Ràng buộc chủ đề: Yêu cầu phải có lượng câu hỏi định chủ đề cho trước Ràng buộc điểm số: Yêu cầu phải có lượng câu hỏi định với điểm số cho trước, điểm số phải nằm giới hạn Ràng buộc độ khó: Yêu cầu phải có lượng câu hỏi định với độ khó cho trước Một phần cấu trúc đề bắt buộc phải có ràng buộc, có nhiều ràng buộc loại khơng có ràng buộc thuộc loại cố định Sau sinh tự động người dùng tùy ý thay đổi đề thi theo nhu cầu 12 Hệ thống có chức hỗ trợ chấm Giáo viên tạo “bài kiểm tra”, kiểm tra gồm “bài làm” thí sinh khác nhau, thực phiên đề thi có sẵn Để tạo “bài làm”, giáo viên chọn phiên đề thi nhập câu trả lời thí sinh Sau nhập xong hệ thống đưa kết có chức kết dạng excel 2.1.2 Mơ hình tổng thể hệ thống Hình 2.1 Mơ hình tổng thể hệ thống 2.1.3 Quy trình nghiệp vụ hệ thống thi trắc nghiệm 2.1.3.1 Quy trình tạo đề thi Hình 2.2 Quy trình nghiệp vụ quản lý câu hỏi 13 2.1.3.2 Quy trình thêm mới, cập nhật đề thi Hình 2.3 Quy trình quản lý đề thi 2.1.3.3 Quy trình phê duyệt đề thi 2.1.3.4 Quy trình tạo đợt thi 2.1.3.5 Quy trình chấm điểm đợt thi 2.1.3.6 Quy trình cập nhật người thi 2.2 Xây dựng biểu đồ Use case 2.2.1 Xây dựng tác nhân Use case hệ thống 2.2.1.1 Nhận diện Tác nhân Mơ hình tác nhân Hình 2.6 Danh sách tác nhân hệ thống 14 2.2.1.2 Xác định Use case hệ thống 2.2.2 Xây dựng biểu đồ Use Case 2.2.2.1 Biểu đồ Use Case tác nhân Administrator 2.2.2.1.1 Danh mục Use Case 2.2.2.1.2 Phân tích Use Case 2.2.2.2 Biểu đồ Use Case tác nhân Candidate 2.2.2.2.1 Danh mục Use Case 2.2.2.2.2 Phân tích Use Case 2.2.2.3 Biểu đồ Use case tác nhân Marker 2.2.2.4 Biểu đồ Use Case tác nhân QuestionCreator 2.3 Biểu đồ trình tự 2.3.1 Biểu đồ trình tự tác nhân Administrator 2.3.1.2 Quản trị User( ManagerUser) 2.3.1.3 Quản trị Mơn thi( ManageSubject) 2.3.1.4 Quản trị thí sinh( ManageCandidate) 2.3.2 Biểu đồ trình tự Làm thi(TakeExam) 2.3.2.1 Xem điểm(ViewMark) 2.3.4 Biểu đồ trình tự tác nhân QuestionCreator 2.3.5 Biểu đồ trình tự tác nhân Marker 2.3.6 Biểu đồ trình tự tạo đợt thi(WaveCreator) 2.3.7 Biểu đồ trình tự SheetCreator 2.4 Biểu đồ lớp 2.4.1 Biểu đồ lớp Biên 2.4.2 Biểu đồ lớp thực thể 2.4.3 Biểu đồ lớp Điều khiển 15 2.4.4 Biểu đồ lớp chi tiết 2.4.4.1 Biểu đồ lớp cho chức quản lý User 2.4.4.2 Biểu đồ lớp chức Quản lý candidate 2.4.4.3 Biểu đồ lớp cho chức Quản lý câu hỏi 2.4.4.4 Biểu đồ lớp cho chức Quản lý đợt thi 2.4.4.5 Biểu đồ cho chức Quản lý đề thi 2.5 Biểu đồ hoạt động 2.5.1 Biểu đồ hoạt động QuestionCreator 2.5.2 Biểu đồ hoạt động Tạo đề thi 2.5.3 Biểu đồ hoạt động tạo Đợt thi 2.5.4 Biểu đồ hoạt động Thí sinh 2.5.5 Biểu đồ hoạt động phê duyệt đề thi 2.5.6 Biểu đồ hoạt động Marker 2.6 Mơ hình liệu quan hệ 2.6.1 Mơ hình quan hệ liệu phân quyền 2.6.2 Mơ hình quan hệ liệu eXam 2.7 Kết luận chương Chương phân tích hệ thống đề chấm thi trắc nghiệm Mô tả tốn Xây dựng mơ hình tổng thể hệ thống, nêu quy trình nghiệp vụ hệ thống thi trắc nghiệm Xây dựng biểu đồ User case biểu đồ tuần tự, biểu đồ lớp, biểu đồ hoạt động 16 CHƯƠNG 3: CÀI ĐẶT VÀ THỬ NGHIỆM 3.1 Cài đặt hệ thống 3.2 Thử nghiệm 3.3 Một số giao diện chương trình Hình 3.1 Thí sinh đăng nhập vào đề thi Hình 3.3 Giao diện thí sinh lựa chọn đề thi 17 Hình 3.4 Giao diện làm thi Hình 3.5 Kết Thi 18 Hình 3.6 Giáo viên đăng nhập Hình 3.8 Giao diện giáo viên tạo câu hỏi 19 Hình 3.9 Giao diện quản lý đề thi Hình 3.10 Giao diện quản lý điểm thi 20 Hình 3.11 Giao diện quản lý người dùng Hình 3.12 Giao diện quản lý mơn học 21 Hình 3.13 Giao diện quản lý đối tượng 3.4 Đánh giá Đề tài triển khai thử Trung tâm Ngoại ngữ Tin học tỉnh Yên Bái có kết luận đề tài phù hợp với mơ hình đào tạo Trung tâm Trong thời gan tới Trung tâm xem xét đưa hệ thống vào hoạt động để tổ chức kỳ thi cấp chứng sát hạch cho môn tin học 3.5 Kết luận chương Chương cài đặt triển khai hệ thống Phát triển hệ thống đề chấm thi trắc nghiệm Trung tâm Ngoại ngữ - Tin học tỉnh Yên Bái Cụ thể triển khai hệ thống hệ thống mạng Lan Trung tâm cho thi thử 22 PHẦN KẾT LUẬN VÀ KIẾN NGHỊ Kết luận Hệ thống “Ra đề chấm điểm thi trắc nghiệm” hệ thống hữu ích cho học sinh – sinh viên tự ơn tập kiểm tra kiến thức mình, đồng thời nơi để giáo viên kiểm tra kiến thức học sinh – sinh viên từ xa thơng qua mạng Internet Hệ thống thi trắc nghiệm hệ thống phân quyền theo đối tượng Mỗi đối tượng có nhiệm vụ chức khác Nội dung môn học chương mục môn học thường xuyên người quản trị giáo viên cập nhật Hệ thống soạn câu hỏi trắc nghiệm giúp giáo viên soạn câu hỏi cách đơn giản Luận văn trình bày số phương pháp tính điểm cho loại câu trắc nghiệm phân tích thiết kế hệ thống đề dạng trắc nghiệm khách quan : Dạng câu hỏi N đáp án có K đáp án Ngoài luận văn áp dụng phương pháp tính điểm nói vào chương trình cụ thể Cài đặt chạy thử chương trình hệ thống mạng Lan Kiến nghị 23 Tác giả tiếp tục nghiên cứu để đưa dạng câu hỏi lại vào hệ thống xác định độ khó câu hỏi, tỷ lệ số câu khó thi, câu khó cần phải gợi ý, vấn đề thưởng, phạt gặp câu hỏi khó có dùng gợi ý, trừ điểm trả lời sai để hạn chế tình trạng đốn mị đáp án thí sinh 24 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Nguyễn Văn Ba (2003), Phân tích thiết kế hệ thống thơng tin, NXB Đại Học Quốc Gia Hà Nội – Hà Nội [2] Thạc Bình Cường (2002), Phân tích thiết kế hệ thống thông tin, NXB khoa học kỹ thuật [3] Vũ Mạnh Hồng Hải - Nguyễn Đình Ngọc Duy (2005) “Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học Luận văn cử nhân tin học Trường ĐH Khoa Học Tự Nhiên Tp Hồ Chí Minh” [4] Nguyễn Phụng Hồng, Nguyễn Ngọc Lan (1997), Phương pháp trắc nghiệm kiểm tra đánh giá kết học tập [5] Lê Đức Ngọc (2003), “Đo lường đánh giá giáo dục” [6] Vũ Đức Lưu (2008), “Đổi kiểm tra - đánh giá NTB” [7] TS Hoa Tất Thắng, Phương pháp tính điểm cho người học kiểm tra kiến thức hệ thống đào tạo trực tuyến Tiếng Anh [8] Bloom B.S The sigma Problem: The Search for Methods of Group Instruction as Effective as One-to-One Tutoring // Education Researcher, № 13, 1984 – p [9] Providing computing for distance learners: a strategy forр home use // Computers Education, 1992, vol.18, № PHỤ LỤC ... nghiệm Trung tâm Ngoại ngữ - Tin học tỉnh Yên Bái Cụ thể triển khai hệ thống hệ thống mạng Lan Trung tâm cho thi thử 22 PHẦN KẾT LUẬN VÀ KIẾN NGHỊ Kết luận Hệ thống ? ?Ra đề chấm điểm thi trắc nghiệm? ??... lượng học học viên, học sinh qua khoá bồi dưỡng kiến thức đợt kiểm tra chất lượng định kỳ hàng năm, tác giả chọn đề tài ? ?Phát triển hệ thống hỗ trợ đề chấm thi trắc nghiệm trung tâm ngoại ngữ - tin. .. Trung tâm xem xét đưa hệ thống vào hoạt động để tổ chức kỳ thi cấp chứng sát hạch cho môn tin học 3.5 Kết luận chương Chương cài đặt triển khai hệ thống Phát triển hệ thống đề chấm thi trắc nghiệm