Nghiên cứu về trắc nghiệm thích nghi Nguyễn Thị Thu Thảo Trường Đại học Công nghệ Luận văn Thạc sĩ ngành: Công nghệ thông tin; Mã số: 1.01.10 Người hướng dẫn: TS. Nguyễn Việt Hà Năm bảo vệ: 2008 Abstract: Trình bày các khái niệm cơ bản về e-learning : khái niệm, lịch sử phát triển, kiến trúc hệ thống và một số chuẩn của e-learning. Trình bày trắc nghiệm trực tuyến : các khái niệm trắc nghiệm trực tuyến, tình hình phát triển và ứng dụng, giới thiệu về đặc tả QTI (cấu trúc, mô tả ) cho phép tạo các câu hỏi và đóng gói nội dung để có thể tương thích với các hệ thống e-learning. Trình bày về trắc nghiệm thích nghi, bao gồm các vấn đề: khái niệm, hoạt động của hệ thống, các ưu nhược điểm, quá trình phát triển và một số dạng phát triển, phương pháp trắc nghiệm thích nghi có ràng buộc, phương pháp trắc nghiệm thích nghi với việc sinh các câu hỏi dựa vào quy tắc, sử dụng thời gian trong trắc nghiệm thích nghi. Trình bày thực nghiệm mô tả bài trắc nghiệm thích nghi đối với môn Tin học cơ sở trong Trường Đại học Công nghệ, sử dụng đặc tả QTI để mô tả dữ liệu câu hỏi Keywords: E-learning; Trắc nghiệm thích nghi; Trắc nghiệm trực tuyến; Đào tạo điện tử Content MỞ ĐẦU Trong những năm cuối thế kỷ 20, đầu thế kỷ 21, thế giới đã chứng kiến sự phát triển mạnh mẽ chưa từng có của khoa học kỹ thuật đặc biệt là trong lĩnh vực máy tính và truyền thông với việc phổ biến của máy tính cá nhân và sự xuất hiện của mạng máy tính toàn cầu Internet, đã và đang mang lại cho con người những điều kiện tham gia vào một xã hội mới đa dạng về thông tin và không gian địa lý. Những thành tựu này cũng mang lại cho con người một môi trường học tập thuận lợi hơn bao giờ hết. Với người học, việc học tập không còn bị ràng buộc bởi vấn đề thời gian, không gian và khoảng cách địa lý [4]. Người học được chủ động trong việc xác định nội dung học, tiến trình học tập trên cơ sở nhu cầu và trình độ của bản thân. Những phương tiện truyền thông hiện đại cũng mang lại cho người học khả năng trao đổi học hỏi lẫn nhau một cách đơn giản dễ dàng, mỗi vấn đề một người học gặp phải có thể được nhanh chóng giải quyết với sự trợ giúp của giáo viên cũng như của rất nhiều người học khác tại nhiều nơi trên thế giới bất chấp sự khác biệt về thời gian, không gian địa lý. Còn đối với người dạy, họ có thêm những phương tiện hỗ trợ trong việc biên tập, quản lý nội dung bài học cũng như trong việc theo dõi và trợ giúp người học. Các hoạt động học tập dựa trên 2 việc sử dụng các phương tiện truyền thông này được gọi dưới tên chung là “Đào tạo điện tử” (E-learning) [4]. Với những ưu điểm như vậy, trong những năm gần đây nhiều hệ thống đào tạo điện tử đã được nghiên cứu và triển khai. Kiểm tra là một phần không thể thiếu trong một hệ thống e- learning, nhờ đó mà người dạy có thể đánh giá khách quan và chính xác trình độ của thí sinh qua nội dung kiểm tra. Phần này sẽ tạo nên thông tin phản hồi tới người dạy và giúp cho việc hiệu chỉnh nội dung bài học cho phù hợp với đối tượng học Trong những năm gần đây trắc nghiệm trực tuyến [2] (Online Testing hay Internet Based Testing - iBT) [25] được đặc biệt quan tâm bởi các ưu điểm nổi bật của nó như: dễ dàng sinh bài thi theo yêu cầu; có thể triển khai kỳ thi trên diện rộng; tích hợp với các hệ thống đào tạo từ xa e-Learning; không phụ thuộc thời gian, địa điểm tổ chức kỳ thi Hầu hết các tổ chức sát hạch nổi tiếng trên thế giới đều chuyển sang phương thức trắc nghiệm trực tuyến, hai ví dụ điển hình là: tổ chức Educational Testing Service (ETS) - http://www.ets.org/ - một đơn vị chuyên tổ chức các kỳ thi sát hạch cấp chứng chỉ TOEFL, TOEIC, GRE,…- đã chuyển kỳ thi TOEFL từ trắc nghiệm trên giấy sang iBT; hoặc tổ chức International Computer Driving Licence Asia Pacific (ICDLAP) - http://www.icdlap.com/ - đơn vị tổ chức các kỳ thi sát hạch kỹ năng Công nghệ Thông tin cũng chuyển sang hình thức sát hạch iBT. Cùng với sự phát triển của phương thức đào tạo qua Web (Web Based Training), trắc nghiệm trực tuyến sẽ ngày càng được quan tâm và phát triển. Trắc nghiệm trên máy tính nói chung và trắc nghiệm trực tuyến nói riêng thường gồm hai bộ phận quan trọng là: ngân hàng câu hỏi và phần mềm trắc nghiệm. Ngân hàng câu hỏi được xem là phần nội dung (content) của phần mềm trắc nghiệm. Trong trắc nghiệm trực tuyến, tất cả các câu hỏi trắc nghiệm thuộc một môn học hoặc một chủ đề nào đó được tập trung lại thành một ngân hàng câu hỏi đặt ở phía máy chủ; phần mềm trắc nghiệm làm nhiệm vụ tổ chức câu hỏi được lấy ra từ ngân hàng thành bài thi và phân phối đến thí sinh thông qua trình duyệt Web, đồng thời thực hiện phân tích các phương án trả lời của thí sinh và cuối cùng đưa ra kết quả đánh giá năng lực thí sinh. Việc đánh giá năng lực thí sinh (qua việc làm bài thi trắc nghiệm) phụ thuộc vào một số yếu tố, trong đó đặc biệt chú ý đến: (1) ngân hàng câu hỏi trắc nghiệm có chất lượng và phù hợp mục tiêu trắc nghiệm; (2) phương thức đánh giá năng lực thí sinh khách quan và có độ chính xác cao. Mặc dù vậy trắc nghiệm trực tuyến có những thuận lợi, là cho kết quả đánh giá ngay tức thì, kiểm tra được nhiều thí sinh đồng thời nhưng nó vẫn có những nhược điểm của nó là gây nhàm chán cho các thí sinh khi phải làm câu hỏi quá dễ hoặc gây căng thẳng cho thí sinh khi phải làm các câu hỏi quá khó. Nhưng phương pháp này không thể thay thế được các phương pháp thi truyền thống như hỏi thi vấn đáp, người hỏi thi có thể đưa ra câu hỏi thì phù hợp với năng lực của thí sinh, phương pháp này chỉ áp dụng được khi thí sinh là ít, còn khi thí sinh quá lớn thì không thể kiểm tra bằng phương pháp này được. Chính vì các nguyên nhân 3 trên mà trắc nghiệm thích nghi ra đời nó khắc phục được nhược điểm của hai phương pháp trên [5], [12]. Nó có thể kiểm tra nhiều thí sinh cùng một lúc dựa trên máy tính được kết nối mạng, cho thông tin về năng lực của thí sinh ngay tức thời, đưa ra các câu hỏi thi tức thời phù hợp với năng lực của thí sinh. Việc đánh giá năng lực thí sinh cũng giống như trắc nghiệm trực tuyến chỉ khác là tại mỗi câu hỏi được đưa ra là phù hợp với năng lực thí sinh, năng lực này được cập nhật thường xuyên trong quá trình thí sinh làm bài cho đến khi đo được năng lực thực sự của thí sinh (phụ thuộc vào bài thi của thí sinh kết thúc như thế nào; thông thường bài thi của thí sinh kết thúc khi thí sinh trả lời một loạt các câu hỏi sai, hoặc hết thời gian hoặc thí sinh đã đạt được ước lượng năng lực tối đa về yêu cầu của bài test khi đó năng lực của thi sinh sẽ bằng độ khó tối đa của bài test mà môn học quy định). Với các ưu điểm của trắc nghiệm thích nghi là kiểm tra đồng thời nhiều thí sinh đồng thời, cho kết quả tức thời, thí sinh không phải đứng trước các câu hỏi quá khó đối với năng lực của chính mình,… Mặt khác ở Việt Nam cũng chưa có tác giả nào tìm hiểu về trắc nghiệm thích nghi nên với đánh giá trên tôi đã chọn đề tài luận văn là nghiên cứu về trắc nghiệm thích nghi. Luận văn này tập trung tìm hiểu nó là hệ thống như thế nào hoạt động ra sao, các ưu nhược điểm của nó…và thực nghiệm về trắc nghiệm thích nghi với giả sử ngân hàng câu hỏi đã được định cỡ và sử dụng phương pháp tính điểm thô. Các phần tiếp theo của luận văn có cấu trúc như sau: Chương 1 trình bày các khái niệm cơ bản về e-learning: khái niệm, lịch sử phát triển, kiến trúc hệ thống và một số chuẩn của e-learning. Chương 2 trình bày về trắc nghiệm trực tuyến trong đó với các khái niệm trắc nghiệm trực tuyến tình hình phát triển và ứng dụng, giới thiệu về đặc tả QTI (cấu trúc, mô tả…) cho phép tạo các câu hỏi và đóng gói nội dung để có thể tương thích với các hệ thống e-learning. Chương 3 trình bày về trắc nghiệm thích nghi, bao gồm các vấn đề: khái niệm, hoạt động của hệ thống, các ưu nhược điểm, quá trình phát triển và một số dạng phát triển, phương pháp trắc nghiệm thích nghi có ràng buộc, phương pháp trắc nghiệm thích nghi với việc sinh các câu hỏi dựa vào quy tắc, sử dụng thời gian trong trắc nghiệm thích nghi. Chương 4 trình bày thực nghiệm mô phỏng bài trắc nghiệm thích nghi đối với môn học Tin học cơ sở trong Trường Đại học Công nghệ, sử dụng đặc tả QTI để mô tả dữ liệu câu hỏi. Phần kết luận của luận văn tổng kết các kết quả đã đạt được, kết luận và đưa ra một số hướng nghiên cứu tiếp theo. References * Tài liệu Tiếng Việt 4 [1] Phùng Chí Dũng (2006), Nghiên cứu mô hình chia sẻ nội dung động cho đào tạo điện tử, Luận văn thạc sỹ, Trường Đại học Công nghệ. [2] Nguyễn Thị Thắm (2006), Lý thuyết trắc nghiệm và ứng dụng trong trắc nghiệm trực tuyến, Luận văn thạc sỹ, Trường Đại học Công nghệ. [3] Lâm Quang Thiệp (1995), Trắc nghiệm và đo lường cơ bản trong giáo dục, Bộ Giáo dục và Đào tạo. [4] Tổng quan về e-learning http://el.edu.net.vn/docs/ * Tài liệu Tiếng Anh [5] Angel Syang (1993), “COMPUTERIZED ADAPTIVE TESTING IN COMPUTER SCIENCE : Assessing Student Programming Abilities”, ACM-24thCSE-2/93 -lN,USA, ACM 0-89791 -566 -6/93 /000210053, pp.53-57. [6] Binet, A., & Simon, Th. A. (1905). Méthodes nouvelles pour le diagnostic du niveau intellectual des anormoux [New methods for the diagnosis of abnormal levels of intellect]. L’Anneé Psychologie, 11, 191–336. [7] Brown, J.M., & Weiss, D.J. (1977). An adaptive testing strategy for achievement test batteries (Research report 77–6). Minneapolis, MN: University of Minnesota, Psychometric Methods Program. [8] Eduardo Guzmán, Ricardo Conejo, Eva Millán, Mónica Trella, José Luis Pérez-De-La- Cruz & Antonia Ríos (2004). “SIETTE: A Web–Based Tool for Adaptive Testing”, International Journal of Artificial Intelligence in Education, 14, pp. 1 -33. [9] Eduardo Guzmán, Ricardo Conejo and Emilio García-Hervás (2005). “An Authoring Environment for Adaptive Testing”. Educational Technology & Society, 8 (3), PP 66-76. [10] Elena García, Miguel-Ángel Sicilia, José-Ramón Hilera, José-Antonio 14aaGutiérrez (2002), “Extending Question & Test Learning Technology Specifications with Enhanced Questionnaire Models”, International Conference on Information Technology Based Higher Education and Training ITHET, Budapet. [11] Freund, Ph. A., Hofer, S., & Holling, H. (in press). Explaining and controlling for the psychometric properties of computer-generated figural matrix items. Applied Psychological Measurement. 5 [12] John Michael Linacre, Ph.D.MESA Psychometric LaboratoryUniversity of Chicago (2000), “Computer-Adaptive Testing: A Methodology Whose Time Has Come”, Seoul, South Korea: Komesa Press. [13] Glas, C.A.W., & van der Linden, W.J. (2001). Modeling variability in item parameters in item response models (Research report 01–11). Enschede, The Netherlands: University of Twente. [14] Glas, C.A.W., & van der Linden, W.J. (2003). Computerized adaptive testing with item cloning. Applied Psychological Measurement, 27, 247–261. [15] Hively, W., Patterson, H.L., & Page, S.H. (1968). A “universedefined” system of arithmetic achievement items. Journal of Educational Measurement, 5, 275–290. [16] Lilia Cheniti-Belcadhi (2007), “ Assessment personalization in the semantic web, Doctor of Philosophy In the Computer Sciences College, french. [17] Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Chicago: University of Chicago Press. [18] Reckase, M.D. (1974) An interactive computer program for tailored testing based on the one-parameter logistic model. Behavior Research Methods and Instrumentation 6(2): 208-212 [19] Sinharay, S., Johnson, M.S., & Williamson, D.M. (2003). Calibrating item families and summarizing the results using family expected response functions. Journal of Educational and Behavioral Statistics, 28, 295–313 [20] Wim J.van der Linder (2006). A lognormal model for response times on test items. Journal of Educational and Behavioral Statistics, 31, 181–204. [21] Wim J.van der Linder (2007). Sequencing an adaptive testing battery. Submitted for publication. [22] Wim J.van der Linder, Bernard P.Veldkamp (2008). Implementing Sympson-Hetter Item-Exposure Control in a Shadow-Test Approach to Constrained Adaptive Testing, International Journal of Testing, 8: 272–289, [23] Wim J.van der Linder (2008b). Using response times for item selection in adaptive testing. Journal of Educational and Behavioral Statistics, 33. In press. [24] Wim J.van der Linder (2008), “some new developments in adaptive Testing Technology”, journal of psychology: vol. 216 (1), pp. 3-11. 6 [25] W.P. Lee and A.Goh (2004), “Setting and Sharing Web-Based Assessments”, Web Based Education Proceeding (416), pp.270-274. [26] http://bugs.sakaiproject.org/jira/browse/SAK-1891 - QTI import of Respondus- generated question – Sakai [27] http://library.blackboard.com/docs/cp/learning_system/release6/ instructor/_Microsoft_LRN_Content.ht [28] http://en.wikipedia.org/wiki/Computer-adaptive_test [29] Advanced distributed learning, (2004), SCORM 2004 Overview, http://www.adlnet.org/. [30] Advanced distributed learning, (2004), SCORM CAM, http://www.adlnet.org/. [31] http://www.imsglobal.org/xsd/imsqti_v2p0. [32] http://www.cognitivedesignsolutions.com/ELearning/Architecture.htm . pháp trắc nghi m thích nghi có ràng buộc, phương pháp trắc nghi m thích nghi với việc sinh các câu hỏi dựa vào quy tắc, sử dụng thời gian trong trắc nghi m thích nghi. Trình bày thực nghi m. pháp trắc nghi m thích nghi có ràng buộc, phương pháp trắc nghi m thích nghi với việc sinh các câu hỏi dựa vào quy tắc, sử dụng thời gian trong trắc nghi m thích nghi. Chương 4 trình bày thực nghi m. Việt Nam cũng chưa có tác giả nào tìm hiểu về trắc nghi m thích nghi nên với đánh giá trên tôi đã chọn đề tài luận văn là nghi n cứu về trắc nghi m thích nghi. Luận văn này tập trung tìm hiểu nó