Đang tải... (xem toàn văn)
Tìm hiểu lý thuyết đo lường hiện đại IRT và chương trình minh họa, báo cáo thực tập chuyên ngành khoa công nghệ thông tin, dành cho sinh viên các trường đại học cao đẳng, Tìm hiểu lý thuyết đo lường hiện đại IRT và chương trình minh họa Tìm hiểu lý thuyết đo lường hiện đại IRT và chương trình minh họa
TRƯỜNG ĐẠI HỌC NHA TRANG KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO THỰC TẬP CHUYÊN NGÀNH Đề tài: TÌM HIỂU LÝ THUYẾT ĐO LƯỜNG HIỆN ĐẠI IRT VÀ CHƯƠNG TRÌNH MINH HỌA Giáo viên hướng dẫn: Bùi Đức Dương Sinh viên thực hiện: Lê Thị Chuyền MSSV: 50130136 Lớp :50 th 2 Khoa : Công nghệ thông tin Nha Trang tháng 12/2011 GVHD: Bùi Đức Dương Mục lục Mục lục 2 LỜI NÓI ĐẦU 4 CHƯƠNG 1: MỞ ĐẦU 5 1.1Cơ sở nghiên cứu và mục đích của đề tài 5 1.2Cấu trúc bài báo cáo 5 CHƯƠNG 2: LÝ THUYẾT ĐO LƯỜNG TRONG GIÁO DỤC 6 2.1Khái niệm về đo lường về đánh giá trong giáo dục 6 2.2Lý thuyết đo lường trong giáo dục 6 2.2.2Lý thuyết đo lường hiện đại IRT 7 CHƯƠNG 3: HỆ THỐNG E-LEARNING CÁ NHÂN (PELS) 10 3.1 Kiến trúc hệ thống 10 3.2Thành phần hệ thống 12 3.2.1Thành phần giao diện 12 3.2.2Thành phần cá nhân 12 3.3Đánh giá độ khó của câu hỏi trắc nghiệm khách quan 13 3.3.1Độ khó của CHTNKQ 13 3.3.2Hiệu chỉnh độ khó của câu hỏi 15 3.4Đánh giá năng lực người học 15 3.5Giới thiệu bài học 16 CHƯƠNG 4: XÂY DỰNG NGÂN HÀNG CÂU HỎI VỚI GOOGLE DOCS 17 4.1Giới thiệu về google docs 17 4.2Cách tạo câu hỏi với google docs 17 CHƯƠNG 5: KẾT QUẢ THỰC NGHIỆM 24 2 SVTH: Lê Thị Chuyền 50 th 2 GVHD: Bùi Đức Dương 5.1Môi trường cài đặt 24 5.2Tạo câu hỏi trắc nghiệm tin học văn phòng với google docs 26 5.3Cài đặt một số thuật toán 28 5.3.1Thuật toán MLE 28 5.3.2Thuật toán ước lượng năng lực thí sinh bằng phương pháp lặp 30 31 KẾT LUẬN 33 3 SVTH: Lê Thị Chuyền 50 th 2 GVHD: Bùi Đức Dương LỜI NÓI ĐẦU Một trong những mục tiêu của công cuộc giáo dục nước ta là đổi mới chất lượng giáo dục nhằm nâng cao chất lượng giáo dục .Vai trò của việc kiểm tra đánh giá trong tiến trình nâng cao đổi mới giáo dục nhằm nâng cao chất lượng đào tạo đã được khẳng định như một chiến lược ,một chính sách giáo dục quốc gia. Thực tiễn công tác kiểm tra ,đánh giá ở các trường học chi chú trọng kiến thức ghi nhớ hơn là rèn kỹ năng và năng lực học sinh. Công tác kiểm tra ,đánh giá chịu sức ép của thi cử ,bệnh thành tích .Các kết quả kiểm tra thường để xếp loại học sinh hơn là tìm ra điểm yếu mạnh của học sinh để giúp học sinh tiến bộ và định hướng cho giáo viên trong việc cải tiến phương pháp giảng dạy. Đánh giá trong giáo dục là công cụ để xác định năng lực nhận thức người học ,điều chỉnh quá trình dạy học.Đổi mới phương pháp dạy học được chú trọng để đáp ứng những yêu cầu mới của mục tiêu giáo dục nên việc kiểm tra,đánh giá phải chuyển biến theo hướng phát triển trí thông minh, sáng tạo của học sinh , khuyến khích vận dụng linh hoạt các kiến thức , kỹ năng đã học vào những tình huống thực tế, làm bộc lộ khả năng của học sinh. Đánh giá không chỉ thực hiện thời điểm cuối cùng của mỗi giai đoạn giáo dục mà trong cả quá trình giáo dục . Hướng tới yêu cầu kiểm tra đánh giá công bằng ,khách quan kết quả học tập của học sinh , ngoài phương pháp đánh giá bằng quan sát và vấn đáp , trong phương pháp viết người ta bổ sung các hình thức đánh giá khác như đưa thêm các dạng câu hỏi trắc nghiệm khách quan, chú ý hơn tới việc đánh giá cả quá trình lĩnh hội tri thức của học sinh , quan tâm tới việc tích cực hóa hoạt động học tập .Trên cơ sở nắm chắc kiến thức đo lường và đánh giá trong giáo dục ,cần tiến hành xây dựng ngân hàng câu hỏi trăc nghiệm (gồm cả câu hỏi TNKQ và TL ) chuẩn hóa cho từng môn học của mỗi cấp học hay bậc học . Sử dụng ngân hàng này , học sinh có thể tự ôn tập kiểm tra kiến thức ,giáo viên có thể sử dụng để kiểm tra đánh giá . 4 SVTH: Lê Thị Chuyền 50 th 2 GVHD: Bùi Đức Dương Xuất phát từ thực tế cấp thiết như vậy nên em đã chọn đề tài “Tìm hiểu lý thuyết đo lường hiện đại IRT và cài đặt minh họa”. Mặc dù đã có nhiều cố gắng nhưng do những lý do khách quan cũng như chủ quan nên trong quá trình thực hiện đồ án sẽ không tránh khỏi những thiếu sót. Rất mong được sự đóng góp ý kiến của quý thầy cô và các bạn. Cuối cùng em xin chân thành cảm ơn thầy Bùi Đức Dương đã giúp đỡ em trong thời gian qua để em hoàn thành đồ án này. Cũng như các thầy cô trong khoa Công nghệ Thông tin trường Đại học Nha Trang đã tạo điều kiện thuận lợi cho em trong thời gian làm đồ án. CHƯƠNG 1: MỞ ĐẦU 1.1 Cơ sở nghiên cứu và mục đích của đề tài Lý thuyết đo lường hiện đại ra đời vào thập niên 1970 đã tỏ rõ nhiều ưu điểm nổi trội so với các lý thuyết đo lường cổ điển trong việc áp dụng vào khoa học đo lường trong giáo dục. Tuy nhiên, số lượng các nghiên cứu về IRT tại Việt Nam còn ít, chủ yếu là dừng lại ở mức độ lý thuyết. Việc ứng dụng lý thuyết đo lường hiện đại IRT vào khoa học đo lường trong giáo dục, cụ thể là việc đánh giá bộ đề thi và xác định chính xác năng lực người học là việc làm cần thiết và có nhiều ý nghĩa thực tiễn. Đề tài này nghiên cứu tổng hợp lý thuyết đo lường hiện đại IRT và đề xuất hệ thống E- Learning ước lượng năng lực người học và hỗ trợ việc học tập sử dụng thông tin phản hồi từ người học và các câu hỏi trắc nghiệm thì được soạn google docs . 1.2 Cấu trúc bài báo cáo Bài báo cáo được chia thành 4 chương: Chương 1: Tóm tắt cơ sở nghiên cứu mục đích của đề tài và cấu trúc của bài báo cáo Chương 2: Tổng quan về lý thuyết đo lường trong giáo dục. Chương 3: Hệ thống E-learning cá nhân (PELS) Chương 4: Xây dựng ngân hàng câu hỏi với google docs. Chương 5: Kết quả thực nghiệm Kết luận 5 SVTH: Lê Thị Chuyền 50 th 2 GVHD: Bùi Đức Dương CHƯƠNG 2: LÝ THUYẾT ĐO LƯỜNG TRONG GIÁO DỤC 2.1Khái niệm về đo lường về đánh giá trong giáo dục Đánh giá là một khâu quan trọng trong quá trong quá trình giáo dục .Quá trình giáo dục nào mà một con người tham gia cũng nhằm tạo ra những biến đổi nhất định trong con người đó . Muốn biết những biến đổi đó xảy ra ở mức độ nào phải đánh giá hành vi của người đó trong một tính huống nhất định . Sự đánh giá cho phép chúng ta xác định mục tiêu giáo dục được đặt ra có phù hợp hay không và có đạt được hay không ,việc giảng dạy có thành công hay không , người học có tiến bộ hay không . Đo lường ((Measurement) là quá trình thu nhập thông tin một cách định lượng (số đo) về các đại lượng đặc trưng của đào tạo năng lực (nhận thức, tư duy ,kỹ năng và phẩm chất nhân văn ) trong quá trình giáo dục . 2.2Lý thuyết đo lường trong giáo dục . Khoa học đo lường trong giáo dục thật sự có thể xem như bắt đầu cách đây chỉ khoảng một thế kỷ (Thorndike,1904). Ở châu Âu và đặc biệt là ở Mỹ, lĩnh vực khoa học này phát triển mạnh vào thời kỳ từ trước và sau thế chiến thứ hai với vài dấu mốc quan trọng như trắc nghiệm trí tuệ Stanford-Binet (xuất bản năm 1916), chấm trắc nghiệm bằng máy của IBM năm 1935… Tại Việt Nam trước năm 1975, ở miền Bắc, chỉ có một số nghiên cứu về đo lường trong tâm lý, trong khi ở miền Nam có một vài chuyên gia được đào tạo ở Mỹ về lĩnh vực này và kỳ thi tú tài năm 1974 đã triển khai bằng phương pháp trắc nghiệm khách quan. Cho đến thập niên 1990, sự phát triển khoa học về đo lường trong giáo dục ở Việt Nam vẫn rất yếu. Để khắc phục tình hình trên, Bộ GD-ĐT đã mời một số chuyên gia từ nước ngoài sang tổ chức hội thảo, xuất bản sách, mặt khác cử một số giáo chức đại học đi học ở nước ngoài về khoa học này, và cho đến nay đã có hàng chục đề tài thạc sỹ, tiến sỹ về lĩnh vực liên quan. 2.2.1 Lý thuyết đo lường cổ điển CTT (Classical Test Theory) 6 SVTH: Lê Thị Chuyền 50 th 2 GVHD: Bùi Đức Dương Lý thuyết này dựa trên công thức cơ bản: X = T + E Trong đó T (true score) là số đo năng lực thực sự của thí sinh trong kỹ năng đang được đo lường, X (observed score) là điểm thực tế và E (error) là sai số. Vì T không thể đo trực tiếp được nên T được giả định là trung bình của X. Chính giả định này là một trong các điểm yếu của CTT vì X phụ thuộc vào câu hỏi nên trị trung bình cũng thế trong khi T là số đo năng lực thật sự của thí sinh và phải độc lập với câu hỏi. 2.2.2 Lý thuyết đo lường hiện đại IRT Chỉ đến thập niên 1970 thì các mô hình đo lường dựa trên IRT mới ra đời .Nhờ các phương pháp tính toán có tốc độ rất cao dựa vào máy tính ,IRT phát triển nhanh và thu được nhiều thành tựu trong ba thập niên cuối thế kỷ 20 bước sang thế kỷ 21. IRT xây dựng mô hình tính toán để xử lý dữ liệu dựa trên việc nghiên cứu mọi cặp tương tác nguyên tố “Thí sinh- câu hỏi” (TS-CH) khi triển khai một TNKQ . Mỗi TS đứng trước một CH sẽ đáp ứng như thế nào ,điều đó phụ thuộc vào năng lực tiềm ẩn của TS và các đặc trưng của CH . Hiện nay các 3 mô hình tính toán phổ biến trong IRT : mô hình 1 tham số (mô hình Rasch) chỉ xét đến độ khó của CH, mô hình 2 tham số có xét đến độ phân biệt của CH, và mô hình xét thêm mức độ đoán mò của TS khi trả lời CH.So với lý thuyết trắc nghiệm cổ điển ,Lý thuyết trắc nghiệm hiện đại với IRT có những ưu quan trọng hơn. Trong lý thuyết cổ điển độ khó ,độ phân biệt của CH tính được sẽ phụ thuộc vào mẫu thí sinh được chọn để thử nghiệm , và năng lực xác định được của TS phụ thuộc vào đề trắc nghiệm mà TS làm. Công thức 1 diễn tả đường cong IRT với 3 tham sô: )(1 1 1 )1()( b e ccP −− + −+= θ θ Trong đó : 7 SVTH: Lê Thị Chuyền 50 th 2 GVHD: Bùi Đức Dương a, b, c tương ứng là độ phân biệt, độ khó và độ đoán mò của câu hỏi. θ, P(θ) tương ứng là năng lực và xác suất trả lời đúng câu hỏi của thí sinh Hình 1. Một số đường cong IRT Căn cứ đường cong IRT, nếu biết được năng lực của thí sinh, chúng ta có thể suy ra các tham số đặc trưng của câu hỏi (a, b, c) và ngược lại, nếu có a, b, c ta dễ dàng xác định được θ. Đây là vòng luẩn quẩn “con gà - cái trứng” trong khi xác định năng lực của thí sinh và tham số câu hỏi. Phương pháp phổ biến hiện nay là giả thiết năng lực của thí sinh là θ 0 (thường cho ở mức trung bình), dùng phương pháp lặp để tìm ra θ n sau n bước. Bước xác định sẽ dừng nếu kết quả của 2 bước liên tiếp (θ i và θ i+1 ) sai khác không đáng kể. Với IRT ,thành tựu kỳ diệu nhất mà mô hình toán mang lại là các tham số đặc trưng của CH (liên quan đến độ khó, độ phân biệt ,mức độ đoán mò) không phụ thuộc mẫu thử để định cỡ CH (same-free), và năng lực đo được của TS không phụ thuộc vào bài thi trắc nghiệm cụ thể (item- free) được lấy từ ngân hàng câu hỏi (NHCH) đã được định cỡ. 8 SVTH: Lê Thị Chuyền 50 th 2 GVHD: Bùi Đức Dương Như vậy,theo IRT, mỗi câu hỏi có các thuộc tính đặc trưng cho nó , và mỗi TS ở một trình độ nào đó có một năng lực tiềm ẩn xác định , các thuộc tính và đặc trưng này không phụ thuộc vào phép đo , hoặc nói cách khác chúng là bất biến (invariance). Cũng tương tự như phép đo độ dài : mỗi cái thước dùng để đo kích thước và kiểu khắc độ xác định ,mỗi vật thể đo có chiều dài xác định ,phép đo là sự so sánh cái thước với vật được đo để biết được chiều dài vốn có của vật được đo ,các phép đo khác nhau không được làm thay đổi các thuộc tính vốn có của cái thước cũng như độ dài của vật đo. Thành tựu căn bản nói trên của IRT cũng đem lại số ưu điểm quan trọng cho trắc nghiệm hiện đại .IRT cho phép tính các hàm thông tin của từng CH và của cả ĐTN và sai số chuẩn của phép đo theo các mức năng lực tiềm ẩn chứ không phải là sai số chuẩn trung bình chung cho cả phép đo trắc nghiệm cổ điển, Từ đó có thể thiết kế một ĐTN cho phép đo chính xác khoảng năng lực nào mà ta mong muốn.Hơn nữa ,IRT cho phép thiết kế các ĐTN với mức độ tương đương rất cao để đảm bảo các ĐTN khác nhau có thể cho cùng một kết quả như nhau khi đánh giá năng lực của một TS nào đó. Các thành tựu quan trọng đó của IRT đã nâng cao độ chính xác của phép đo lường trong tâm lý giáo dục lên một tầm cao mới về chất so với các lý thuyết đo lường cổ điển .Từ thành tựu tổng quát đó của IRT , người ta có thể đưa ra các quy trình để xây dựng NHCH (item banking) ,phân tích các kết quả TNKQ để tu chỉnh NHCH, chủ động thiết kế các đề trắc nghiệm (ĐTN) theo các mục tiêu mong muốn. Với việc ứng dụng các kết quả của khoa học đo lường hiện đại không chỉ giới hạn trong giáo dục .IRT áp dụng tốt cho các loại trắc nghiệm tâm lý , trắc nghiệm bệnh lý trong y tế , cho việc thiết kế các bảng hỏi và xử lý kết quả của các cuộc điều tra tâm lý xã hội ,điều tra thị trường khác nhau . Tóm lại ,nó là công cụ quan trọng cho việc nghiên cứu các phản ứng của con người trong các khoa học hành vi. 9 SVTH: Lê Thị Chuyền 50 th 2 GVHD: Bùi Đức Dương CHƯƠNG 3: HỆ THỐNG E-LEARNING CÁ NHÂN (PELS) 3.1 Kiến trúc hệ thống Mô hình này bao gồm 3 thành phần hệ thống. Thành phần giao diện (Interface Agent) giúp hệ thống tương tác với người sử dụng, thành phần phản hồi (Feedback Agent) nhận thông tin phản hồi từ người học và thành phần giới thiệu khóa học (Courses recommendation Agent) giúp hệ thống đưa ra danh sách các bài học phù hợp với người sử dụng. . Hình 1. Kiến trúc hệ thống PELS . Trong 3 CSDL của hệ thống, CSDL các bài học (Courses Database) sẽ lưu trữ các bài học với độ khó khác nhau. CSDL tài khoản người học (User Account Database) dùng để chứa tài khoản đăng nhập còn CSDL thông tin người học (User Profile Database) là nơi lưu trữ các thông tin liên quan năng lực, hành vi người sử dụng. 10 SVTH: Lê Thị Chuyền 50 th 2 [...]... có bài thi phù hợp sau đó ta có thể đánh giá lại năng lực người học và lưu xuống CSDL để cung cấp bài học phù hợp cho lần học sau TÀI LIỆU THAM KHẢO 1 Bùi Đức Dương – Ứng dụng lý thuyết đo lường hiện đại IRT( Item Response Theory) vào khoa học đo lường trong giáo dục 2 Wikipedia 3 GS.TSKH Lâm Quang Thiệp, VN cần áp dụng khoa học về đo lường trong giáo dụ http://www.edtech.com.vn/index.php/ly-lun-nghien-cu/ppdayvahoc/67-lythuyet... hồi CHƯƠNG 5: KẾT QUẢ THỰC NGHIỆM 5.1 Môi trường cài đặt Ngôn ngữ C# khá đơn giản, chỉ khoảng 80 từ khóa và hơn mười mấy kiểu dữ liệu được xây dựng sẵn Tuy nhiên, ngôn ngữ C# có ý nghĩa cao khi nó thực thi những khái niệm lập trình hiện đại C# bao gồm tất cả những hỗ trợ cho cấu trúc, thành phần component, lập trình hướng đối tượng Những tính chất đó hiện diện trong một ngôn ngữ lập trình hiện đại Và. .. ((double)Qu.Peek()).ToString()); Qu.Dequeue(); } Sau khi thực thi chương trình thì kết quả thu được như sau : Hình 19: Kết quả lặp Như ta thấy thì sau 4 lần lặp thì độ lệch lúc này là 0.0001 đủ nhỏ để ta có thể dừng Như vậy năng lực của thí sinh đó là 0.3248 KẾT LUẬN 1 Nhận xét Trong đề tài này trình bày tác giả đã dùng lý thuyết đo lường hiện đại (IRT) để ước lượng năng lực của người học, đồng thời hiệu chỉnh... phương pháp lặp để ước lượng năng lực người học và thử nghiệm phản hồi trực tuyến từ một số sinh viên Đại học Nha Trang qua việc trả lời câu hỏi trắc nghiệm được tạo bởi google docs 2 Hướng phát triển đề tài Đề tài mới chỉ dừng lại ở tìm hiểu lý thuyết và cài đặt một số thuật toán nhỏ Qua việc nghiên cứu lý thuyết này thì gợi mở hướng phát triển của đề tài Ta có thể xây dựng một Web site thi trắc nghiệm... kiện truy vấn mới để tìm bài học Tiến trình có thể dừng nếu người học đăng xuất khỏi hệ thống 3.2 Thành phần hệ thống 3.2.1 Thành phần giao diện Thành phần giao diện trong hệ thống dùng để cung cấp giao diện thân thiện tương tác với người dùng và cũng là kênh thông tin giao tiếp với thành phần cá nhân Thành phần này cung cấp các chức năng quản lý đăng nhập, tìm kiếm người học và truy vấn yêu cầu Khi... phản hồi thì kết quả được cập nhập vào bảng tính của google docs Từ bảng tính thu được ta có thể đánh giá năng lực của các thí sinh Dữ liệu đầu vào ở đâu là file Exel thống kê kết quả mà thí sinh trả lời các câu hỏi: Hình 16: Dữ liệu đầu vào Trong đó : Hàng 2 : độ khó câu hỏi Cột B thể hiện năng lực hiện tại của thí sinh đó Giao diện : Sau khi đọc dữ liệu từ file exel vào datagridview thì kết quả hiển... xuất bản khác của Bảng câu hỏi - Sao chép đo n mã cho bởi Google Docs và chèn nó vào trang web lấy ý kiến người học Cách 3: Gửi email kèm bảng câu hỏi: - Nhấn vào nút Email this form, đến hộp thoại: Hình 11 Gửi Bảng câu hỏi qua Email tới người học - Điền địa chỉ người học cần gửi vào ô to: rồi nhấn nút Send Bước 5 Thu thập và xử lý thông tin phản hồi từ người học 22 SVTH: Lê Thị Chuyền 50th2 GVHD:... ước lượng MLE và hàm thông tin IF để tính toán năng lực từng người học và độ khó 33 SVTH: Lê Thị Chuyền 50th2 GVHD: Bùi Đức Dương từng câu hỏi Đề tài này còn trình bày về tính năng mới của google docs trong việc hỗ trợ soạn thảo câu hỏi trắc nghiệm và thu nhận phản hồi trực tuyến từ người học Về thực nghiệm đề tài đã cài đặt thuật toán MLEvà phương pháp lặp để ước lượng năng lực người học và thử nghiệm... xuất hiện như hình (Hình 6): Hình 9 Màn hình Bảng câu hỏi (xuất bản) 21 SVTH: Lê Thị Chuyền 50th2 GVHD: Bùi Đức Dương - Gửi đường link trên thanh địa chỉ cho người học Cách 2: Nhúng bảng câu hỏi vào trang web và công bố trang web để người học phản hồi Cách thực hiện như sau: - Nhấn vào nút More actions > chọn Embed Hình 10 Nút lệnh thực hiên các hình thức xuất bản khác của Bảng câu hỏi - Sao chép đo n... kiểu con trỏ của C++ và từ khóa cho dấu ngoặc [] trong toán tử Các mã nguồn này là không an toàn (unsafe) Và bộ giải phóng bộ nhớ tự động của CLR sẽ không thực hiện việc giải phóng những đối tượng được tham chiếu bằng sử dụng con trỏ cho đến khi chúng được giải phóng 5.2 Tạo câu hỏi trắc nghiệm tin học văn phòng với google docs Sau khi thiết kế thử nghiệm với google docs và tìm hiểu về môn tin học cơ