BỘ KHOA HỌC CÔNG NGHỆ VIỆN ĐÁNH GIÁ KHOA HỌC VÀ ĐỊNH GIÁ CÔNG NGHỆ BÁO CÁO TỔNG KẾT ĐỀ ÁN NGHIÊN CỨU CƠ SỞ KHOA HỌC VÀ THỰC TIỄN ĐỂ XÂY DỰNG PHƯƠNG PHÁP, TIÊU CHÍ VÀ QUY TRÌNH ĐÁNH GIÁ CHƯƠNG TRÌNH KHOA HỌC VÀ CÔNG NGHỆ Chủ nhiệm đề án: Nguyễn Thị Thu Oanh 8945 Hà Nội tháng 11 năm 2011 KHÁI QUÁT CHUNG VỀ ĐỀ ÁN I Sự cần thiết nghiên cứu Nhận thức tầm quan trọng khoa học công nghệ (KH&CN), Đảng nhà nước ta có nhiều nghị KH&CN khẳng định “Cùng với giáo dục đào tạo, khoa học công nghệ quốc sách hàng đầu, động lực phát triển kinh tế - xã hội, điều kiện cần thiết để giữ vững độc lập dân tộc xây dựng thành công chủ nghĩa xã hội Công nghiệp hóa - đại hóa đất nước dựa vào khoa học công nghệ” Thực nghị trên, Chính phủ liên tục tăng đầu tư choKH&CN thập kỷ vừa qua (năm 1996 : 0,96% tổng chi Ngân sách; 1998 : 1,26%; 1999 : 1,28%; 2000- 2010 : 2%) Cùng với việc tăng đầu tư cho khoa học cơng nghệ, Chính phủ quan tâm đến việc xây dựng thực chương trình khoa học cơng nghệ Các chương trình KH&CN bắt đầu xây dựng thực từ năm 80, cụ thể : - Giai đoạn 1981-1985 : 76 chương trình tiến khoa học-kỹ thuật trọng điểm nhà nước phục vụ mục tiêu phát triển kinh tế quốc dân; - Giai đoạn 1986-1990 : 56 chương trình tiến khoa học-kỹ thuật cấp nhà nước; - Giai đoạn 1991-1995 : 31 chương trình KH&CN cấp nhà nước; - Giai đoạn 1996-2000 : 18 chương trình KH&CN cấp nhà nước; - Giai đoạn 2001-2005 : 20 chương trình KH&CN trọng điểm cấp nhà nước; - Giai đoạn 2006-2010 : 14 chương trình KH&CN trọng điểm cấp nhà nước Kết thúc giai đoạn thực hiện, Ban Chủ nhiệm chương trình Bộ Khoa học Cơng nghệ xây dựng báo cáo tổng kết chương trình dựa vào kết đánh giá nghiệm thu đề tài, dự án sản xuất thử nghiệm thuộc chương trình Trong báo cáo tổng kết chương trình giai đoạn, nội dung chủ yếu tập trung vào việc tổng kết tình hình thực kế hoạch, sử dụng tài chính, liệt kê kết cụ thể đề tài, dự án Mặc dù báo cáo tổng kết có nêu thành cơng tồn tại, nhiên chưa phân tích, đánh giá cách hệ thống, chủ yếu nhận xét, kiến nghị mang tính định tính Nhằm nâng cao hiệu chương trình KH&CN, thời gian qua, Bộ Khoa học Cơng nghệ ban hành số văn quy định cơng tác quản lý chương trình, ví dụ : QĐ 18/2006/QĐ-BKHCN việc ban hành “Quy chế tổ chức quản lý hoạt động chương trình khoa học cơng nghệ trọng điểm cấp nhà nước giai đoạn 2006-2010”; Thông tư 19/2011/TT-BKHCN việc Quy định tổ chức quản lý hoạt động Chương trình KH&CN trọng điểm cấp nhà nước giai đoạn 20112015; Thông tư 20/2011/TT-BKHCN Quy định tổ chức hoạt động Ban Chủ nhiệm Chương trình KH&CN trọng điểm cấp nhà nước giai đoạn 2011-2015; nhiên chưa có văn quy định, hướng dẫn đánh giá chương trình Đặc thù chương trình KH&CN có tính liên ngành, đầu tư kinh phí giai đoạn dài, tập hợp lực lượng từ nhiều quan khoa học công nghệ để thực mục tiêu lớn khoa học công nghệ đất nước, việc quản lý đánh giá chương trình đóng vai trị quan trọng Đánh giá chương trình giúp nhà hoạch định sách, nhà quản lý biết : Liệu chương trình có hướng khơng? Chương trình có đem lại hiệu mong đợi không? Những vấn đề cịn tồn q trình thực điều chỉnh chúng nào? Kết chương trình đo lường sao? Đâu thành công, đâu thất bại? Với lý vậy, Bộ Khoa học Công nghệ phê duyệt giao cho Trung tâm Hỗ trợ đánh giá khoa học công nghệ thực đề án “Nghiên cứu sở khoa học thực tiễn để xây dựng phương pháp, tiêu chí quy trình đánh giá chương trình KH&CN” làm sở xây dựng văn quy phạm pháp luật đánh giá chương trình KH&CN II Mục tiêu đề án Xây dựng phương pháp, tiêu chí quy trình đánh giá chương trình KH&CN (bao gồm giai đoạn đánh giá : thẩm định (đầu kỳ), kỳ, cuối kỳ tác động) III Phạm vi mục đích đề án - Phạm vi đề án : Chương trình khoa học cơng nghệ đề cập đề án bao gồm chương trình KH&CN trọng điểm cấp nhà nước (Chương trình KC KX Bộ Khoa học Công nghệ quản lý) chương trình khoa học cơng nghệ trọng điểm quốc gia (chương trình KH&CN thuộc Bộ, ngành) - Mục đích đề án : Xây dựng tài liệu hướng dẫn đánh giá chương trình KH&CN làm tài liệu tham khảo cho chuyên gia đánh giá, nhà quản lý, hoạch định sách, đối tượng có liên quan hệ thống KH&CN làm sở xây dựng văn quy phạm pháp luật đánh giá chương trình KH&CN IV Cách tiếp cận nghiên cứu Hoạt động đánh giá KH&CN nói chung đánh giá chương trình KH&CN nói riêng cịn sơ khai Việt Nam, nhóm thực đề án chủ yếu phải nghiên cứu qua tài liệu nước ngoài, học hỏi học kinh nghiệm sáng kiến có chọn lọc số đề tài, dự án thực Việt Nam số nước (những nước có nhiều điểm tương đồng với nước ta : Hàn Quốc, Trung Quốc nước có truyền thống đánh giá lâu đời trình độ đánh giá tiên tiến : Mỹ, Canada, Ủy ban Châu Âu) Đồng thời q trình thực nhóm tiến hành nghiên cứu trạng, trình độ quản lý KH&CN để đề xuất phương pháp luận đánh giá phù hợp với hoàn cảnh Việt Nam V Phương pháp tiến hành - Nghiên cứu văn pháp luật, tài liệu đánh giá KH&CN chương trình KH&CN Việt Nam nước ngồi; - Thảo luận nhóm; - Tham vấn ý kiến chuyên gia; - Hội thảo khoa học VI Sản phẩm đề án Bộ tài liệu “Hướng dẫn đánh giá chương KH&CN” áp dụng đánh giá giai đoạn : Đánh giá thẩm định (đầu kỳ); Đánh giá kỳ; Đánh giá cuối kỳ Đánh giá tác động, gồm nội dung sau : - Tiêu chuẩn đánh giá - Phương pháp đánh giá - Quy trình đánh giá - Tiêu chí đánh giá - Lựa chọn thành viên hội đồng đánh giá - Các bảng biểu thực đánh giá B NỘI DUNG CHÍNH CỦA ĐỀ ÁN I TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU NGỒI NƯỚC VÀ TRONG NƯỚC Tổng quan tình hình nghiên cứu ngồi nước Trong hai thập kỷ qua, việc đổi công nghiệp dựa tảng khoa học công nghệ coi động lực cho phát triển kinh tế-xã hội Vấn đề làm cho nhà hoạch định sách nghiên cứu-phát triển (R&D) nước phát triển nước phát triển phải tìm tịi hướng phù hợp nhằm nâng cao hiệu hiệu suất chương trình R&D quốc gia Trong điều kiện ngân sách nguồn lực khác (con người, hạ tầng cho nghiên cứu) có hạn, đánh giá trở thành cơng cụ hữu hiệu tiêu chuẩn để xác định mục đích kinh phí cho chương trình R&D Đánh giá công cụ thiết yếu cho thực tiễn quản lý hiệu Đánh giá công cụ để đo lường thành cơng chương trình mà cịn góp phần vào thành cơng Đánh giá giúp cho nhà quản lý chương trình lập kế hoạch, thẩm định, thể mục tiêu cần đạt gì, định phân bổ nguồn lực nào, học làm để sửa đổi thiết kế lại chương trình, ước tính kết đầu dự kiến, hiệu tác động chương trình Đánh giá cịn giúp cung cấp thơng tin mức độ tin cậy chương trình việc trả lời cho câu hỏi: liệu làm mà nói làm chưa? 1.1 Mỹ Từ năm 90, Mỹ ban bố loạt luật quy định pháp lý bắt buộc quan có quan khoa học cơng nghệ thực việc đánh giá Nói cách khác, đánh giá Mỹ hoạt động bao trùm lên tất hoạt động phủ Mỹ Ví dụ Luật Thực Kết Chính phủ (Government Performance and Results Act - GPRA) ban hành năm 1993 yêu cầu tất chương trình phủ Liên bang phải tn thủ yêu cầu việc đánh giá nhằm tăng tính trách nhiệm, tính hiệu suất hiệu chương trình Căn theo Luật này, việc đánh giá phải lập kế hoạch chiến lược, đặt mục tiêu triển khai thực Tất quan phủ Liên bang phải triển khai thực đánh giá tuân thủ theo GPRA báo cáo kết đánh giá cho Quốc hội Văn phòng Quản lý Ngân sách quan trực thuộc Tổng thống xem xét đánh giá chương trình q trình phân bổ kinh phí chủ yếu theo tiêu chí : phù hợp, chất lượng kết Tuy nhiên, đánh giá chương trình R&D, tiêu chí bộc lộ số bất cập, chẳng hạn việc đo lường nghiên cứu, đặc biệt nghiên cứu Nghiên cứu q trình, việc đo lường kết nghiên cứu hàng năm cách trực tiếp khơng thực được, lợi ích tri thức khó đốn trước Lợi ích nghiên cứu cần phải đo cách theo dõi theo tiến trình lịch sử thời gian dài Theo dõi tiền sử giúp nhận biết cách rõ ràng qua phép đo, lợi ích nước Mỹ việc dẫn đầu nghiên cứu cao, chẳng hạn : an toàn sống, phát triển phát minh, tăng việc làm phúc lợi Lịch sử nghiên cứu khoa học kỹ thuật đem đến kết kỳ vọng, kết xuất sau nhiều năm, chí vài thập kỷ Đối với nghiên cứu ứng dụng vấn đề đơn giản : nghiên cứu ứng dụng thường xác định mốc thời gian để đạt kết đóng góp hàng năm kết cuối cùng, đo lường kết hàng năm Ví dụ, Bộ Năng lượng xây dựng chương trình R&D với mục đích sản xuất lượng mặt trời có giá rẻ hơn, đo lường kết nghiên cứu cuối cách trực tiếp vào giá thành pin mặt trời kết hàng năm vào tiến độ xác định Để giải vấn đề đo lường nghiên cứu thực đánh giá chương trình R&D, Hội đồng Khoa học, Kỹ thuật Chính sách cơng Mỹ kiến nghị: chương trình nghiên cứu ứng dụng, tổ chức phải đo lường tiến theo kết thực tế, chương trình nghiên cứu bản, tổ chức phải đo lường phù hợp, chất lượng dẫn đầu trình độ nghiên cứu Đánh giá chuyên gia ngành áp dụng rộng rãi, sử dụng để giúp tổ chức trả lời ba loại câu hỏi cụ thể liên quan đến Luật Thực Kết Chính phủ (GPRA) : 1) Chất lượng chương trình nghiên cứu gì? 2) Chương trình nghiên cứu có tập trung vào nội dung phù hợp sứ mạng tổ chức không? 3) Nghiên cứu thực có phải đầu tri thức khoa học cơng nghệ khơng? Nhằm tích hợp thơng tin kết hoạt động vào trình phân bổ ngân sách, tháng năm 2002, Mỹ công bố triển khai công cụ để đánh giá hiệu chương trình Liên bang gọi PART (Program Assessment Rating Tool) Mục tiêu PART đánh giá chương trình nhằm tạo hội để thơng báo cải tiến công tác lập kế hoạch báo cáo tổ chức theo GPRA, xây dựng liên kết GPRA trình phân bổ ngân sách cách hệ thống có ý nghĩa PART xây dựng nhằm cung cấp phương pháp phù hợp để đánh giá xếp hạng chương trình thơng qua phủ Liên bang PART xem xét đánh giá tổng thể chương trình, từ việc thiết thực kết đạt Các câu hỏi PART chia thành nhóm : Mục tiêu thiết kế chương trình, Kế hoạch chiến lược, 3.Quản lý chương trình Kết chương trình Điểm đánh giá chương trình chấm vào câu hỏi, xếp hạng tổng thể hiệu chương trình ghi nhận Có loại xếp hạng : hiệu quả, hiệu vừa phải, đạt (trung bình), khơng có hiệu kết khơng rõ Nội dung chấm điểm PART gồm 25 câu hỏi Những câu hỏi phân thành nhóm nhóm gán trọng số để tính điểm tổng thể : Mục tiêu thiết kế chương trình (5 câu hỏi) : 20% Kế hoạch chiến lược (8 câu hỏi) : 10% Quản lý chương trình (7 câu hỏi) : 20% Kết chương trình (5 câu hỏi) : 50% Ngồi 25 câu hỏi chính, tùy vào loại hình chương trình có câu hỏi bổ sung liên quan đến đặc tính cụ thể chương trình Đối với chương trình R&D, ngồi 25 câu hỏi chung phải trả lời thêm câu hỏi bổ sung : Nếu ứng dụng, đánh giá so sánh lợi ích nỗ lực chương trình với chương trình có mục tiêu khác khơng? Chương trình có sử dụng q trình lựa chọn ưu tiên hướng dẫn kêu gọi tài trợ định phân bổ kinh phí khơng? Đối với chương trình R&D khơng tài trợ theo cạnh tranh, việc phân bổ kinh phí trình quản lý chương trình có đảm bảo trì chất lượng chương trình khơng? Mỗi câu hỏi nhóm đầu PART trả lời theo dạng Có/Khơng Các câu hỏi nhóm (Kết chương trình) trả lời Có, Mức độ cao, Mức độ thấp Khơng có Đi kèm câu trả lời phải có giải thích tóm tắt bao gồm việc diễn giải chứng phù hợp để chứng minh cho câu trả lời Câu hỏi nhóm cho trọng số (chấm điểm) nhau, trừ trường hợp chuyên gia đánh giá thay đổi trọng số để nhấn mạnh vào nhân tố quan trọng chương trình Cấu trúc PART xây dựng rõ ràng, câu trả lời "Có" phải làm rõ phải phản ánh kết đạt tiêu chuẩn cao Câu trả lời câu hỏi phải giải thích rõ ràng trích dẫn chứng phù hợp, chẳng hạn thông tin hoạt động tổ chức, đánh giá độc lập, thơng tin tài Các câu trả lời phải dựa vào chứng không dựa vào cảm tính chung chung Văn phịng phân bổ ngân sách chuyển đổi số điểm sang xếp hạng theo chất lượng bảng sau : Xếp hạng Khoảng điểm Rất hiệu 85 - 100 Hiệu vừa phải 70 - 84 Đạt (trung bình) 50-69 Khơng hiệu - 49 Căn vào xếp hạng để có định phê duyệt cuối Tóm lại, hoạt động đánh giá chương trình R&D Mỹ thực nghiêm ngặt có hệ thống 1.2 Canada Giới khoa học cơng nghệ thuộc Chính quyền Liên bang Canada phải đối mặt với sức ép giống quyền nhiều nước khác giới, phải cung cấp thơng tin có chất lượng cho người dân kết đạt chương trình KH&CN Ở Canada, chức đánh giá chương trình có vai trị vị trí vững phủ Liên bang Hệ thống đánh giá chương trình Liên bang Canada triển khai gần 20 năm Uỷ ban Ngân sách quan thiết lập sách Chính phủ Liên bang đánh giá chương trình Chính sách đánh giá chương trình ban hành năm 1997, kêu gọi xây dựng lực đánh giá tất tổ chức Liên bang đề nghị tổ chức đánh giá tất chương trình theo chu kỳ Mơ hình đánh giá Liên bang mơ hình phi tập trung Mỗi tổ chức chịu trách nhiệm đánh giá sáng kiến theo 10 1.1 Kết khoa học chương - Dữ liệu phù hợp việc chuyển giao trình có chuyển giao sử sử dụng kết chương trình dụng? 1.2 - Phản hồi từ người tham gia Kết khoa học cơng nghệ có - Dữ liệu tham gia (có mặt) tạo giá trị gia tăng cho kinh tế doanh nghiệp xã hội? - Phản hồi từ người điều tra 1.3 Chương trình có đóng góp vào Dữ liệu thay đổi hệ thống nâng cao trình độ lực KH&CN chương trình mang lại (ví KH&CN? dụ gia tăng số lượng báo hợp tác khoa học) Tác động khoa học, công nghệ, kinh tế, xã hội môi trường xuất hệ thống KH&CN rộng lớn từ phần đóng góp chương trình 2.1 Tác động khoa học - Sự gia tăng báo khoa học, tham gia vào hoạt động nghiên cứu quốc tế, v.v…) - Nâng cao lực cho cán nghiên cứu 2.2 Tác động công nghệ - Hoạt động chuyển giao công nghệ : chuyển giao quyền sử dụng, chuyển nhượng công nghệ… 2.3 Tác động kinh tế - Dữ liệu đóng góp cho tăng trưởng GDP lĩnh vực cơng nghệ; - Dữ liệu việc tạo việc làm lĩnh vực công nghệ , v.v… 2.4 Tác động xã hội Dữ liệu việc đóng góp vào việc nâng cao nhận thức cho cộng đồng cá nhân từ hoạt động KH&CN chương trình 2.5 Tác động mơi trường Dữ liệu việc đóng góp vào việc cải thiện bảo vệ mơi trường từ hoạt động KH&CN chương trình (ví dụ chất lượng khơng khí nước) 2.6 Tác động sách Dữ liệu việc đóng góp vào việc ổn định trì sách từ hoạt động KH&CN chương trình Phương pháp Phương pháp đánh giá thường sử dụng thực đánh giá tác động : Thư mục trắc lượng; Phân tích mạng lưới; Điều tra; Theo dõi thương mại hóa cơng nghệ; Theo dõi tiền sử; Kinh tế lượng; Phân tích kinh tế-xã hội; Phân tích lan tỏa; So sánh đối chứng Quy trình : Như quy trình chung mục IV, phần II TIÊU CHÍ ĐÁNH GIÁ ĐẦU KÝ CHƯƠNG TRÌNH KHOA HỌC VÀ CƠNG NGHỆ TT TIÊU CHÍ/CÂU HỎI ĐÁNH GIÁ Mục tiêu chương trình có phù hợp với mục tiêu phát triển kinh tế-xã hội không? PHƯƠNG PHÁP THỰC HIỆN Mục tiêu chương trình 1.1 CHỈ SƠ/BẰNG CHỨNG/NGUỒN 1.2 1.3 1.4 1.5 2.1 2.2 - Mục tiêu tổng thể chương trình - Mục tiêu phát triển kinh tế-xã hội quốc gia Mục tiêu chương trình có phù hợp để đóng - Mục tiêu tổng thể chương trình góp vào chiến lược phát triển KH&CN - Mục tiêu Chiến lược phát khơng? triển KH&CN Mục tiêu chương trình có rõ ràng Các mục tiêu cụ thể chương khơng trình Chương trình có hướng vào giải Những nội dung chương trình dự vấn đề, nhu cầu đòi hỏi kiến hướng vào giải khơng? Chương trình có khả đóng góp vào Các tác động dự kiến chương giải vấn đề mà hướng tới trình khơng? Kế hoạch (Thiết kế) chương trình So sánh mục tiêu tổng thể chương trình với mục tiêu phát triển kinh tế-xã hội quốc gia Nội dung chương trình có rõ ràng phù hợp để đạt mục tiêu không? Nội dung liệu ban đầu thiết kế có cho phép để đánh giá việc thực Phân tích văn chiến lược kế hoạch chương trình Phân tích số sử dụng để đo lường đầu vào, đầu ra, thành tác Các nội dung cụ thể chương trình Các số sử dụng để đo lường đầu vào, đầu ra, thành So sánh mục tiêu tổng thể chương trình với mục tiêu Chiến lược phát triển KH&CN Xem xét mục tiêu cụ thể chương trình đối chiếu với mục tiêu tổng thể Phân tích vấn đề đánh giá nhu cầu (phân tích SWOT) Phân tích tác động dự kiến chương trình 2.3 2.4 2.5 3.1 3.2 3.3 3.4 kết sau không? Chương trình có xây dựng chế (tiêu chí) khuyến khích nhóm nội dung chiến lược khơng? Các chế có rõ ràng để gắn kết với thành tựu không? Các nguồn lực sử dụng có gắn kết với mục tiêu hoạt động hàng năm mục tiêu tổng thể khơng? Chương trình có xây dựng hệ thống triển khai thực (bao gồm hệ thống giám sát, đánh giá quản lý tài chính) khơng? Tổng kinh phí dự tốn chương trình có phù hợp với nội dung kết dự kiến không? Các kết dự kiến tác động - Cơ chế đánh giá tuyển chọn, nghiệm thu đề tài - Kế hoạch sử dụng kinh phí - Kế hoạch sử dụng nguồn nhân lực - Kết dự kiến động Phân tích chế đánh giá tuyển chọn đề tài, kế hoạch sử dụng nguồn lực, cụ thể xem xét liên kết nguồn lực phân bổ kết dự kiến - Kế hoạch thực - Kế hoạch giám sát đánh giá Phân tích kế hoạch thực hiện, giám sát đánh chương trình đề xuất - Dự tốn kinh phí - Yêu cầu nguồn nhân lực - Dự kiến kết quả, tác động Phân tích đề xuất dự tốn kinh phí, yêu cầu nguồn nhân lực, kế hoạch thực kết quả, tác động dự kiến Chương trình có dự kiến kết tổng thể kết cụ thể không? Các kết dự kiến ngắn hạn chương trình có cụ thể phù hợp khơng Các tác động dài hạn dự kiến chương trình có cụ thể phù hợp không? Các kết dự kiến Phân tích kết dự kiến Các kết dự kiến ngắn hạn Phân tích kết dự kiến ngắn hạn Các tác động dự kiến Phân tích tác động dự kiến phù hợp (kể dựa vào phản hồi đối tượng có liên quan đến chương trình) Phân tích kế hoạch phân bổ sử dụng nguồn lực Các kết dự kiến đạt với nguồn kinh phí nguồn nhân lực đề xuất khơng? Kế hoạch phân bổ sử dụng nguồn lực 3.5 Có khả xảy rủi ro phân tích rủi ro - Các rủi ro chương trình - Đề xuất phương thức quản lý rủi ro Phân tích rủi ro chương trình đề xuất phương thức quản lý rủi ro TIÊU CHÍ ĐÁNH GIÁ GIỮA KỲ CHƯƠNG TRÌNH KHOA HỌC VÀ CƠNG NGHỆ TT TIÊU CHÍ/CÂU HỎI ĐÁNH GIÁ CHỈ SƠ/BẰNG CHỨNG/NGUỒN PHƯƠNG PHÁP THỰC HIỆN Mục tiêu kế hoạch chương trình 1.1 Mức độ đạt mục tiêu chương trình - Các hoạt động chương trình Phân tích hoạt động, kết mục thời điểm so với mục tiêu - Các kết đạt chương tiêu đạt chương trình dựa đề ban đầu liệu từ hệ thống quản lý chương trình trình so sánh với mục tiêu đề ban - Mục tiêu đạt đầu 1.2 Sự tham gia nhóm chiến lựợc - Các đề xuất đề tài - Tiêu chí tuyển chọn đề tài - Các đề tài tuyển chọn Phân tích có mặt đối tượng: đề xuất đề tài việc tuyển chọn đề tài thông qua kết tuyển chọn 1.3 Xác nhận phù hợp mục tiêu đề - Mục tiêu chương trình Phân tích mục tiêu chương trình so chương trình kế hoạch thực - Bối cảnh điều kiện phát triển sánh với bối cảnh điều kiện phát triển (bao gồm thay đổi kế hoạch tại chương trình lý thay đổi) Chất lượng KH&CN hoạt động chương trình đến thời điểm 2.1 Chất lượng khoa học hoạt động - Các hoạt động nghiên cứu nghiên cứu chương trình - Bài báo Phân tích hoạt động nghiên cứu (dựa vào đánh giá chuyên gia ngành, báo…) 2.2 Các kết cơng nghệ thực tế/dự kiến Phân tích tiến triển (tiến bộ) công - Tiến triển công nghệ - Sáng chế, nghệ đạt được/dự kiến thông qua - Các công nghệ triển hoạt động chương trình (ví dụ chất lượng sáng chế, công nghệ khai triển khai,…) 2.3 Các kết khác chương trình - Các kết khác Phân tích nhân tố tiềm liên quan (ví dụ đóng góp thực tế/dự kiến để giải vấn đề kinh tế, xã hội, môi trường vấn đề khác) Chất lượng tác động hoạt động liên kết chương trình Sự tiến triển việc phát triển mạng - Hội nghị, hội thảo khoa học Phân tích số lượng tác động lưới, xây dựng cấu trúc tiềm lực cho - Các thăm quan, trao đổi học hoạt động mạng lưới cấu trúc (ví Hệ thống KH&CN dụ hội nghị/ hội thảo khoa học, thuật thăm quan, trao đổi học thuật, …) - … Đóng góp cho việc xây dựng lực - Các khóa đào tạo KH&CN Hợp tác với cơng nghiệp (doanh nghiệp) Phân tích số lượng, chất lượng hiệu khóa đào tạo - Các hoạt động hợp tác với khu Tác động việc hợp tác với khu vực vực doanh nghiệp doanh nghiệp (công nghiệp) tổ chức khác Quản lý sử dụng kinh phí 4.1 Chương trình có triển khai - Hoạt động quản lý chương trình - Phân tích liệu phù hợp quản cách hiệu không? - Hoạt động Ban Chủ nhiệm lý chương trình, hoạt động Ban chủ nhiệm chương trình, quy trình tuyển chương trình chọn, 4.2 - Quy trình tuyển chọn - Điều tra/gửi phiếu điều tra - Phản hồi đối tượng nguời tham gia tuyển chọn đề tài điều tra Việc thực chương trình có hiệu - Kinh phí phân bổ cho đề tài Phân tích liệu phù hợp khơng (ví dụ phân bổ nguồn lực có - Đối tượng tham dự chương trình (ví dụ việc chia sẻ kinh phí với đối tượng, nhóm chiến lược, …) tuyển chọn thơng qua nhóm chiến lược) TIÊU CHÍ ĐÁNH GIÁ CUỐI KỲ CHƯƠNG TRÌNH KHOA HỌC VÀ CƠNG NGHỆ TT 1.1 1.2 1.3 1.4 1.5 TIÊU CHÍ/CÂU HỎI ĐÁNH GIÁ CHỈ SÔ/BẰNG CHỨNG/NGUỒN PHƯƠNG PHÁP THỰC HIỆN Sự phù hợp Mục tiêu đặt ban đầu chương trình - Mục tiêu chương trình có đắn khơng? Chương trình có - Tình hình phát triển khoa học thiết kế thực theo mục tiêu - Môi truờng kinh tế xã hội không? Phân tích mục tiêu chương trình phù hợp phát triển khoa học thay đổi môi truờng kinh tế xã hội, đưa kết thách thức KH&CN Hướng chương trình có - Các hướng nghiên cứu Phân tích nội dung hướng nghiên cứu mặt khoa học cơng nghệ khơng? chương trình chương trình Chương trình có hướng vào - Các đối tượng tham gia vào nhóm chiến lược khơng? Các nhóm có chương trình đạt có tham gia vào chương trình - Phản hồi từ người tham gia khơng? - Phân tích cấu đối tượng tham gia vào chương trình - Điều tra/gửi phiếu điều tra cho người tham gia tuyển chọn/ trúng tuyển Nội dung chương trình có phù hợp để - Danh mục đề tài, dự án thuộc Phân tích cấu đề tài, dự án thuộc bắt kịp (đạt được) mục tiêu chương trình chương trình KH&CN trình độ cao chương trình? Kinh phí nguồn lực có đủ để thực - Kinh phí sử dụng chương trình không? - Nhân lực huy động -Cơ sở vật chất (máy móc, nhà Phân tích kết nguồn lực (kinh phí, nhân lực, thiết bị) sử dụng xưởng, trang thiết bị…) sử dụng 2.1 2.2 Thực (hiệu quả) Các công cụ phương thức lựa - Các văn quản lý chương Phân tích văn bản, liệu liên quan chọn để triển khai chương trình có rõ ràng, trình đến việc triển khai thực chương phù hợp hiệu không? - Các công cụ sử dụng để trình, cơng cụ sử dụng, … quản lý chương trình Q trình tuyển chọn đề tài có hiệu - Thời gian tuyển chọn đề tài - Phân tích văn bản, liệu liên quan khơng? - Các văn quy định tuyển đến việc tuyển chọn đề tài, dự án; chọn đề tài, dự án - Điều tra/gửi phiếu điều tra cho - Số đề tài, dự án dự tuyển/số trúng người tham gia tuyển chọn đề tài, dự án tuyển - Phản hồi từ người tham gia 2.3 2.4 Chương trình có quản lý cách - Chi phí quản lý - Phân tích văn bản, liệu, chi phí hiệu không? - Các thủ tục thời gian quản lý, quản lý chương trình; thủ tục thời gian quản lý, thực đề tài thực đề tài Việc phân bổ kinh phí cho đề tài có - Dữ liệu kinh phí đề tài, - Phân tích liệu kinh phí thực cách hiệu khơng? dự án thuộc chương trình đề tài, dự án kiện vượt - Phản hồi từ người tham gia kinh phí thời hạn khơng thỏa mãn (thích hợp) - Điều tra/gửi phiếu điều tra cho người tham gia tuyển chọn đề tài, dự án 2.5 2.6 Mức độ điều kiện phân bổ kinh phí có - Dữ liệu kinh phí chương Phân tích liệu kinh phí, ví dụ phù hợp? trình mức phân bổ kinh phí chung, liên hệ kinh phí chương trình kinh phí dành cho chương trình KH&CN nói chung, … Chương trình có thu hút nhà nghiên cứu, tổ chức nghiên cứu tốt tham gia không? Sự tham gia khối viện nghiên cứu, trường đại học doanh nghiệp có cân khơng? - Dữ liệu đối tượng tham gia chương trình :Viện nghiên cứu, trường Đại học, doanh nghiệp,… cán nghiên cứu - Phân tích cấu tổ chức tham gia, đóng góp kinh phí cho chương trình từ nhóm chiến lược - Điều tra/gửi phiếu điều tra cho - Phản hồi từ người tham gia người tham gia chương trình Thành tựu Kết (hiệu suất) 3.1 Chương trình có tạo kết khoa - Bài báo, sách, báo cáo học mong muốn khơng? Phân tích đầu khoa học : số lượng, chất lượng báo, sách, báo cáo… 3.2 Chương trình có tạo tiến công - Sáng chế đăng ký/cấp nghệ mong muốn khơng? - Giải pháp hữu ích Phân tích thước đo kết cơng nghệ (ví dụ số lượng sáng chế đăng ký/cấp bằng, giá trị việc tạo công nghệ mới,…) - Giống … 3.3 Chương trình có hỗ trợ việc nâng cao kỹ - Số lượng Tiến sỹ, Thạc sỹ Phân tích đầu phù hợp chương khoa học cơng nghệ khơng? đào tạo trình (ví dụ số lượng Tiến sỹ Thạc sỹ đào tạo, khóa đào tạo cung - Các khóa đào tạo cung cấp cấp,…) 3.4 3.5 3.6 Kết nghiên cứu có chuyển giao - Số lượng cấp phép công nghệ ứng dụng thành công không? - Các công ty liên doanh, liên kết Phân tích thước đo tri thức chuyển giao cơng nghệ (ví dụ số lượng cấp phép, công ty liên doanh, liên kết, - Các công ty vệ tinh (spin-off) công ty vệ tinh (spin-off) ứng - Dữ liệu phát triển sản phẩm dụng kết nghiên cứu (ví dụ liệu từ nghiên cứu phát triển sản phẩm từ nghiên cứu) Chương trình có tạo giá trị gia tăng cho - Các tác động đạt được/dự kiến kinh tế xã hội không? chương trình, ví dụ tạo việc làm, tăng trưởng kinh tế quan, lợi ích mơi trường, … Phân tích tác động đạt được/dự kiến chương trình, ví dụ tạo việc làm, tăng trưởng kinh tế quan, lợi ích mơi trường, … Chương trình có đóng góp cho việc xây - Dữ liệu việc hình thành mạng dựng nâng cấp hệ thống KH&CN lưới khu đa ngành, đẩy mạnh không? hợp tác khu vực doanh nghiệp nghiên cứu, … Phân tích hiệu cấu trúc (ví dụ hình thành mạng lưới khu đa ngành, đẩy mạnh hợp tác khu vực doanh nghiệp nghiên cứu, …) TIÊU CHÍ ĐÁNH GIÁ TÁC ĐỘNG CHƯƠNG TRÌNH KHOA HỌC VÀ CƠNG NGHỆ TT 1.1 1.2 TIÊU CHÍ/CÂU HỎI ĐÁNH GIÁ CHỈ SƠ/BẰNG CHỨNG/NGUỒN PHƯƠNG PHÁP THỰC HIỆN Tác động khoa học, công nghệ, kinh tế, xã hội môi trường tạo trực tiếp từ nghiên cứu thực chương trình Kết khoa học chương trình có - Các liệu phù hợp việc - Phân tích liệu phù hợp (ví dụ số chuyển giao sử dụng? chuyển giao sử dụng kết lượng cấp giấy phép…) chương trình - Điều tra/gửi phiếu điều tra cho - Phản hồi từ người tham người tham gia chương trình gia Kết khoa học cơng nghệ có tạo - Dữ liệu tham gia (có mặt) - Phân tích liệu tham gia giá trị gia tăng cho kinh tế xã hội? doanh nghiệp doanh nghiệp - Phản hồi từ người - Điều tra tham gia (có mặt) điều tra doanh nghiệp (ví dụ số lượng/giá trị sản phẩm tạo ra, việc sử dụng kết chương trình, …) 1.3 Chương trình có đóng góp vào nâng cao Dữ liệu thay đổi hệ thống Phân tích thay đổi hệ thống KH&CN hiệu hoạt động KH&CN? KH&CN chương trình mang lại chương trình mang lại (ví dụ gia tăng số lượng báo hợp tác khoa học) Tác động khoa học, công nghệ, kinh tế, xã hội môi trường xuất hệ thống KH&CN rộng lớn từ phần đóng góp chương trình 2.1 Tác động khoa học - Sự gia tăng báo khoa học, - Phân tích phát triển dài hạn tiềm tham gia vào hoạt động nghiên cứu lực hoạt động khoa học (ví dụ gia tăng báo khoa học, tham gia quốc tế, v.v…) - Nâng cao lực cho cán vào hoạt động nghiên cứu quốc tế, v.v…) nghiên cứu 2.2 Tác động công nghệ - Đánh giá tăng lực cán nghiên cứu - Cấp sáng chế Đánh giá phát triển dài hạn cơng nghệ (ví dụ cấp sáng chế/các hoạt động cấp phép) - Các hoạt động cấp phép… 2.3 2.4 2.5 Tác động kinh tế - Dữ liệu đóng góp cho tăng Đánh giá phát triển dài hạn trưởng GDP lĩnh vực công hoạt động chương trình KH&CN nghệ cao; mang lại (ví dụ đóng góp cho tăng - Dữ liệu việc tạo việc làm trưởng GDP lĩnh vực công nghệ lĩnh vực công nghệ cao, cao; tạo việc làm lĩnh vực công nghệ cao, v.v…) v.v… Tác động xã hội Dữ liệu việc đóng góp vào việc nâng cao nhận thức cho cộng đồng cá nhân từ hoạt động KH&CN chương trình Tác động mơi trường Dữ liệu việc đóng góp vào việc Phân tích, đánh giá hoạt động nâng cao bảo vệ mơi trường từ KH&CN chương trình đóng góp vào hoạt động KH&CN chương việc nâng cao bảo vệ mơi trường Phân tích, đánh giá hoạt động KH&CN chương trình đóng góp vào việc nâng cao nhận thức cho cộng đồng cá nhân trình (ví dụ chất lượng khơng khí (ví dụ chất lượng khơng khí và nước) nước) 2.6 Tác động mặt sách Dữ liệu việc đóng góp vào việc ổn định trì sách từ hoạt động KH&CN chương trình Phân tích, đánh giá hoạt động KH&CN chương trình đóng góp vào việc ổn định trì sách ... đánh giá khoa học công nghệ thực đề án ? ?Nghiên cứu sở khoa học thực tiễn để xây dựng phương pháp, tiêu chí quy trình đánh giá chương trình KH&CN” làm sở xây dựng văn quy phạm pháp luật đánh giá. .. triển khoa học công nghệ Một nhiệm vụ Trung tâm đánh giá đề tài, chương trình khoa học cơng nghệ Chính phủ tài trợ, bao gồm đánh giá thẩm định, đánh giá kỳ đánh giá kết thúc Trung tâm Đánh giá khoa. .. vào nghiên cứu phương pháp luận tảng để xây dựng hướng dẫn cụ thể phương pháp luận đánh giá chương trình KH&CN (bao gồm : phương pháp, quy trình, tiêu chí đánh giá) áp dụng cho Việt Nam Bài học