MỘT SỐ PHƯƠNG PHÁP VÀ KỸ THUẬT TRONG TỰ ĐÁNH GIÁ Cục Khảo thí Kiểm định chất lượng giáo dục Bộ Giáo dục Đào tạo ĐT: 04 39747108 Fax: 04 39747109 Email: kiemdinh.dhtccn@moet.edu.vn NỘI DUNG CHÍNH • Kỹ thuật nghiên cứu văn bản, hồ sơ • Kỹ thuật quan sát • Kỹ thuật vấn • Kỹ thuật thảo luận nhóm • Kỹ thuật thiết kế công cụ điều tra khảo sát • Kỹ thuật xử lý phân tích số liệu • Kỹ thuật thiết lập liệu thống kê I Kỹ thuật nghiên cứu văn bản, hồ sơ • Trong NC Liên ngành: Là PP phân tích tài liệu thứ cấp, tên khác- Literature review (đọc tài liệu có), nghĩa phải đọc/tóm tắt/ tổng hợp theo chủ đề • Trong TĐG: Một phương pháp quan trọng, thường xuyên sử dụng; Là xem xét có hệ thống tài liệu dạng văn viết; Để cung cấp thông tin cho trình tự đánh giá Nghiên cứu văn bản/hồ sơ nhằm: • Phân loại/ xếp/ đánh giá/lựa chọn thông tin phù hợp với nội hàm tiêu chí • Trích dẫn, bình luận phục vụ trực tiếp mục đích tự đánh giá Vài điều cần lưu ý Văn bản/hồ sơ hứa hẹn minh chứng tốt cho tiêu chí Nhưng: Văn bản/hồ sơ xác nhận tồn tại, chưa minh chứng Vì thế, cần thiết phải: • Xem xét mức độ đáp ứng yêu cầu tiêu chí văn • Có thêm thẩm định chuyên gia người làm việc trực tiếp • Luôn cân đối văn thực tế Để: Có phương pháp thu thập tư liệu tối ưu Các thao tác cần thiết nghiên cứu văn bản/hồ sơ Cần: • Bám sát • Nắm vững Nội hàm/Các báo/Các từ khóa nội hàm tiêu chí Để: • Xác định mức độ đáp ứng yêu cầu minh chứng tốt văn Những câu hỏi hướng dẫn xem xét phân tích văn bản/hồ sơ • Loại văn bản? Nguồn? • Đối tượng văn bản? • Đáp ứng nội hàm một/những tiêu chí nào?  Thao tác cần xác định rõ- đầy đủ từ đầu để phân loại theo hộp minh chứng cho thuận tiện • Mức độ đáp ứng nội dung cụ thể nội hàm tiêu chí; • Mức độ đáp ứng tốt cho tiêu chí  liệt kê đủ II Kỹ thuật quan sát Định nghĩa : “Quan sát” – xem xét tận mắt (cơ sở vật chất, điều kiện, môi trường, tương tác, hoạt động cụ thể…); Trong TĐG, quan sát: - Cơ sở vật chất; - Dự giờ… Phân loại: • Tham gia hoàn toàn người quan sát ẩn; • Quan sát tham giaQuan sát chính; • Tham gia quan sát – Quan sát phụ; • Quan sát hoàn toàn (Theo Creswell, 2000) Ưu điểm hạn chế quan sát • “Trăm nghe không thấy”… • Các số liệu, thông tin điển hình liên quan đến tình phơi bày tương đối sáng rõ; • Giúp thẩm tra lại minh chứng/chứng cứ, giúp hiểu rõ tình trạng, kết hoạt động… • Hạn chế tiêu biểu: tính chủ quan cao phiến diện dễ bị can 10 thiệp V Kỹ thuật thiết kế công cụ điều tra khảo sát (ĐTKS) • Dùng nhiều TĐG chương trình ĐT, hiệu hoạt động trường; • ĐTKS bảng hỏi: thiết lập hệ thống câu hỏi dạng văn viết, có sẵn mức độ đánh giá, hướng dẫn, cách xử lý phân tích số liệu… • Ưu điểm: Phù hợp để hỏi qua văn nhận thức, ý kiến, quan điểm người khác; 19 • Hạn chế: Không biết người khác thực nghĩ/cư xử/hành động mức độ tin cậy phạm vi định 20 Các nguyên tắc thiết kế công cụ đo • Hình thức thiết kế: phiếu hỏi/bảng kiểm kê/các thang đo chuẩn – trắc nghiệm chuẩn; • Nguyên tắc: đảm bảo đặc tính thiết kế (mục tiêu, đối tượng, nội dung, thủ tục cho điểm…); đảm bảo đặc tính đo lường (độ tin cậy, độ phân biệt, độ khó, độ hiệu lực…); đảm bảo tính đại diện mẫu thống kê 21 Quy trình thiết kế công cụ ĐTKS • • • • • • • • Bước 1: Mục tiêu đo lường; Bước 2: Đối tượng đo, cá nhân/nhóm; Bước 3: Công cụ đo; Bước 4: Nội dung cần đo (hiểu biết/kỹ năng/thái độ/hứng thú nào?) Bước 5: Câu hỏi cho nội dung; Bước 6: Các thủ tục cho điểm/lượng hóa; Bước 7: Thử nghiệm mẫu nhỏ, nhập số liệu loại bỏ câu chất lượng kém; Bước 8: Hoàn thiện công cụ sử dụng 22 VI Kỹ thuật xử lý phân tích số liệu • Giúp cho liệu “biết nói”  TĐG chất lượng chương trình ĐT, TĐG hiệu hoạt động nhà trường • Là thiết lập mô hình, quy trình; sử dụng hệ thống thủ tục/ thao tác/câu lệnh lập trình phần mềm  định lượng/phát hiện/so sánh/lí giải/kiểm tra/chứng minh giả thiết cung cấp thông tin có giá trị khoa học cho TĐG (tỷ lệ % SV hài lòng chương trình/hiệu môn học…) 23 Ưu điểm • Được hỗ trợ phần mềm chuyên dụng (SPSS, Conquest), mô hình Raschkĩ thuật phân tích số liệu tiên tiến - phân tích độ tin cậy/độ khó/độ phân biệt câu hỏi (item)/phương sai/ hồi qui đơn biến,đa biến…  tăng độ tin cậy/giá trị khoa học số liệu khảo sát (thay xử lí đơn giản tính tỉ lệ % phần mềm Excel, xử lí tay) 24 Và hạn chế • Người sử dụng: chưa thạo phần mềm kĩ thuật xử lý phần mềm • Cần qua đào tạo khoảng tuần, thực hành nhiều 25 Thực hành • Giới thiệu file số liệu, file xử lí kết khảo sát đánh giá hiệu môn học, điều tra sinh viên tốt nghiệp, sử dụng phần mềm SPSS, Conquest kết (out put) phân tích số liệu, biểu bảng, kĩ đọc hiểu số liệu 26 VII Kỹ thuật thiết lập liệu thống kê • Phạm vi: Thống kê đội ngũ giảng viên (trình độ đào tạo/các công trình nghiên cứu khoa học giảng viên tham gia/ số báo/ giáo trình viết ); tỉ lệ sinh viên/giảng viên; 27 Cách lập biểu mẫu thống kê • Theo mẫu Hướng dẫn Bộ; Cần trả lời câu hỏi: • Bao nhiêu loại biểu bảng thống kê cần có phần báo cáo tự đánh giá? • Mục đích thiết lập biểu bảng? 28 Cách lập biểu mẫu câu hỏi (tiếp) • Đơn vị thống kê gì? • Địa cung cấp nguồn số liệu cho biểu bảng? VD: số liệu thống kê sở vật chất phòng quản trị; số liệu thống kê giáo viên – phòng tổ chức 29 Cách lập biểu mẫu câu hỏi (tiếp) • Ai cung cấp nguồn số liệu thống kê? • Mức độ tin cậy số liệu? • Thời điểm thu thập số liệu? 30 Sử dụng câu hỏi để kiểm tra liệu thống kê • Các số liệu thống kê biểu bảng tích hợp hiệu dễ đọc hiểu? • Phân tích số liệu thống kê giúp cho việc hiểu biết tranh thực trạng (nội hàm) tiêu chí, số liệu (về chương trình đào tạo/nguồn tài trường chứng minh nhà trường đạt yêu cầu, mục tiêu đào tạo mức nào? • Số liệu thống kê mô tả có giúp định hướng cho việc khắc phục tồn (phát huy điểm mạnh)? 31 Sử dụng câu hỏi để kiểm tra liệu thống kê Chất lượng báo cáo TĐG không phụ thuộc vào số lượng biểu bảng thống kê mà phụ thuộc vào việc đọc hiểu biểu bảng thống kê  Sự lập luận, phân tích, bình luận, so sánh… làm cho số thống kê báo cáo “biết nói” 32 Trân trọng cảm ơn ! 33