Đang tải... (xem toàn văn)
Hệ thống năng lượng tái tạo, đặc biệt là điện năng từ nguồn nước, đóng vai trò quan trọng trong việc đáp ứng nhu cầu năng lượng ngày càng tăng và giảm lượng khí thải gây hiệu ứng nhà kính. Hồ thủy điện, như một phương pháp lưu trữ năng lượng dễ dàng điều chỉnh, đã được sử dụng rộng rãi để cân bằng nguồn cung cấp và tiêu thụ năng lượng. Trong ngữ cảnh này, dự báo lưu lượng xả của hồ thủy điện trở thành một nhiệm vụ quan trọng để đảm bảo hoạt động hiệu quả của các nhà máy điện. Trong nghiên cứu này, chúng tôi tiếp cận vấn đề này thông qua phương pháp hồi quy tuyến tính, một công cụ mạnh mẽ trong việc dự báo và mô hình hóa mối quan hệ giữa các biến số. Chúng tôi tập trung vào việc phân tích mối quan hệ giữa các yếu tố khác nhau như mức độ mưa, độ dốc địa hình, diện tích lưu vực và nhiệt độ không khí với lưu lượng xả của hồ thủy điện. Nghiên cứu này đã đưa ra mô hình dự báo lưu lượng xả của hồ thủy điện có độ chính xác cao. Mô hình này cho thấy rằng các yếu tố tự nhiên và nhân tạo như mức độ mưa, độ dốc địa hình, diện tích lưu vực và nhiệt độ không khí đều có tác động đáng kể đến lưu lượng xả của hồ thủy điện.
TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN -🙞🙜🕮🙞🙜 - ĐỒ ÁN CHUYÊN NGÀNH NGÀNH: KHOA HỌC MÁY TÍNH ĐỀ TÀI: PHÂN TÍCH DỰ BÁO LƯU LƯỢNG XẢ HỒ THỦY ĐIỆN BẰNG MÔ HÌNH HỒI QUY TUYẾN TÍNH GVHD: TS Nguyễn Mạnh Cường Lớp: 20231IT6052002 Nhóm: 11 Thành Viên: Nguyễn Văn Đạt - 2020607455 Nguyễn Khắc Thắng – 2020601525 Nguyễn Việt Hùng - 2020602728 Hà Nội, 11/2023 i Mục Lục DANH MỤC HÌNH ẢNH iii LỜI MỞ ĐẦU CHƯƠNG TÌM HIỂU BÀI TỐN 1.1.Khái quát lượng mưa, lượng xả hồ thủy điện 1.1.1 Khái niệm dự báo kinh tế xã hội 1.2 Phân loại dự báo 1.2.1 Theo độ dài thời gian báo, dự báo 1.3 Tiêu chuẩn lựa chọn phương pháp dự báo 1.4 Tìm hiểu chung tốn 10 1.4.1 Phát biểu toán 10 1.4.2 Khó khăn thách thức 11 CHƯƠNG 2: CÁC PHƯƠNG PHÁP GIẢI QUYẾT VẤN ĐỀ 13 2.1 Phương hướng tiếp cận toán 13 2.2 Một số kỹ thuật giải toán 13 2.2.1 Support Vector Machine (SVM) 14 2.2.2 Thuật toán di truyền (GA) 16 2.2.3 K-means Clustering 22 2.2.4 Mơ hình hồi quy tuyến tính 24 2.3 Đề xuất giải pháp cho toán 31 2.3.1 Đề xuất áp dụng mơ hình hồi quy tuyến tính 31 2.3.2 Đề xuất thuật toán K-Means 32 CHƯƠNG 3: THỰC NGHIỆM 35 ii 3.1 Tổng quan liệu 35 3.1.1 Thông tin liệu 35 3.1.2 Tiền xử lý liệu 36 3.2 Thực nghiệm chương trình 39 CHƯƠNG 4: XÂY DỰNG SẢN PHẨM DEMO 41 4.1 Giới thiệu công nghệ sử dụng 41 4.2 Giao diện hệ thống 42 4.2 Các chức hệ thống 45 4.2.1 Xây dựng Huấn luyện Mô hình (model.py) 45 4.2.2 Tải Sử dụng Mơ hình (run_model.py) 46 4.2.3 Giao Diện Người Dùng Tương Tác (main.py) 47 KẾT LUẬN 50 TÀI LIỆU THAM KHẢO 51 iii DANH MỤC HÌNH ẢNH Hình Ví dụ mơ hình SVM 14 Hình 2 Ví dụ mơ hình SVM 15 Hình Sơ đồ hoạt động thuật toán di truyền 19 Hình Mơ tả thuật tốn K-means 22 Hình Phương trình hồi quy tuyến tính y = m*x + b 25 Hình Hồi quy tuyến tính 26 Hình Dữ liệu data biến động lượng nước thu thập từ hồ thủy điện 36 Hình Thơng tin liệu ban đầu 37 Hình 3 Thơng tin liệu sau loại bỏ 38 Hình Dữ liệu sau chuẩn hóa 38 Hình Biểu đồ so sánh liệu thực tế liệu dự đốn 39 Hình 4.1 Logo PyCharm 41 Hình Giao diện chạy chương trình 43 Hình Giao diện sau kéo file liệu vào 43 Hình 4 Giao diện khởi tạo xong model 44 Hình Giao diện dự đoán 44 Hình 4.6 Xử lý đọc file tiền xử lý liệu 45 Hình 4.7 Xử lý training khởi tạo model 45 Hình Xử lý lưu model 46 iv Hình Xử lý đọc liệu từ model lưu 46 Hình 10 Xử lý dự đoán 46 Hình 11 Khởi tạo khung hình 47 Hình 12 Khởi tạo giao diện kéo thả 47 Hình 13 Xử lý liệu kéo vào 47 Hình 14 Khởi tạo button Create Model 48 Hình 15 Xử lý kiện khởi tạo 48 Hình 16 Khởi tạo ô nhập liệu 48 Hình 17Xử lý dự kiện dự đoán 49 Hình 18 Khởi tạo vị trí thị kết 49 LỜI MỞ ĐẦU Hệ thống lượng tái tạo, đặc biệt điện từ nguồn nước, đóng vai trò quan trọng việc đáp ứng nhu cầu lượng ngày tăng giảm lượng khí thải gây hiệu ứng nhà kính Hồ thủy điện, phương pháp lưu trữ lượng dễ dàng điều chỉnh, sử dụng rộng rãi để cân nguồn cung cấp tiêu thụ lượng Trong ngữ cảnh này, dự báo lưu lượng xả hồ thủy điện trở thành nhiệm vụ quan trọng để đảm bảo hoạt động hiệu nhà máy điện Trong nghiên cứu này, tiếp cận vấn đề thông qua phương pháp hồi quy tuyến tính, cơng cụ mạnh mẽ việc dự báo mơ hình hóa mối quan hệ biến số Chúng tập trung vào việc phân tích mối quan hệ yếu tố khác mức độ mưa, độ dốc địa hình, diện tích lưu vực nhiệt độ khơng khí với lưu lượng xả hồ thủy điện Nghiên cứu đưa mơ hình dự báo lưu lượng xả hồ thủy điện có độ xác cao Mơ hình cho thấy yếu tố tự nhiên nhân tạo mức độ mưa, độ dốc địa hình, diện tích lưu vực nhiệt độ khơng khí có tác động đáng kể đến lưu lượng xả hồ thủy điện Nghiên cứu có nhiều ý nghĩa quan trọng, bao gồm: • Đưa nhìn sâu tác động yếu tố tự nhiên nhân tạo hệ thống lượng thủy điện • Hữu ích việc tối ưu hóa quản lý hồ thủy điện • Có thể cung cấp thơng tin hữu ích cho quy hoạch phát triển tương lai dự án lượng tái tạo Nghiên cứu đóng góp ý nghĩa giúp hiểu rõ hệ thống lượng thủy điện cách tương tác với môi trường xung quanh Kết nghiên cứu có ý nghĩa ứng dụng thực tế Nội dung báo cáo đồ án tốt nghiệp bao gồm chương sau: Chương 1: Khảo sát phát biểu tốn Trong chương 1, tơi tiến hành khảo sát trạng hệ thống lượng thủy điện Việt Nam tình hình ứng dụng công nghệ thông tin quản lý hồ thủy điện qua báo cáo, tạp chí chuyên ngành, hay cụ thể chi tiết từ nhà quản lý, kỹ sư vận hành hồ thủy điện Sau đó, tiếp tục tiến hành khảo sát trạng yếu tố ảnh hưởng đến lưu lượng xả hồ thủy điện phương pháp dự báo lưu lượng xả tại, từ xác định yêu cầu cần thiết hệ thống dự báo lưu lượng xả hồ thủy điện Sau phần khảo sát, tơi trình bày toán đặt dự báo lưu lượng xả hồ thủy điện Chương 2: Các kỹ thuật giải toán Sau phát biểu xác định rõ ràng yêu cầu toán, tơi trình bày kỹ thuật giải tốn có ưu nhược điểm chúng, nghiên cứu bật đạt thành cơng định từ kỹ thật Tiếp theo, tơi đề xuất giải pháp cho toán đặt Chương 3: Thực nghiệm Tại chương 3, chúng tơi tập trung trình bày q trình thực nghiệm kết đạt với kỹ thuật giải toán đề xuất chương Tôi tiến hành so sánh kết thực nghiệm thu từ phương pháp đề xuất giải với số phương pháp phổ biến đưa nhận xét Chương 4: Xây dựng sản phẩm demo Tại chương xây dựng sản phẩm dựa trình thực nghiệm chương 3, nội dung chương bao gồm giới thiệu công cụ thư viện sử dụng, trình bày kết hệ thống Phần kết luận: Cuối phần kết luật, tổng hợp kết đạt được, hướng phát triển mở rộng đề tài nghiên cứu tương lai Hi vọng, thông qua chương báo cáo làm rõ vấn đề, khái niệm nêu Đặc biệt nội dụng trọng tâm báo cáo - liệu chuỗi thời gian phương pháp phân cụm CHƯƠNG TÌM HIỂU BÀI TỐN 1.1.Khái qt lượng mưa, lượng xả hồ thủy điện Lượng mưa lượng xả vào hồ thủy điện hai yếu tố quan trọng việc quản lý sử dụng lượng thủy điện Lượng mưa lượng nước mưa rơi xuống khu vực cụ thể khoảng thời gian định Nó yếu tố định nguồn nước cung cấp cho hồ thủy điện Lượng mưa biến đổi theo mùa, vùng địa lý biến đổi khí hậu Đối với hồ thủy điện, việc thu thập liệu lượng mưa quan trọng để dự đoán nguồn nước đầu vào cho hồ dự đoán suất lượng hệ thống Lượng Xả vào Hồ Thủy Điện: Lượng xả (hoặc lưu lượng xả) lượng nước thả từ hồ thủy điện thông qua cánh cửa xả thiết bị kiểm soát lưu lượng Lưu lượng xả điều chỉnh để trì mức nước an tồn hồ đồng thời cung cấp đủ nước để sản xuất điện Khi lượng mưa đủ lớn, hồ thủy điện chứa nhiều nước hơn, điều tăng khả tạo lượng cần thiết Ảnh Hưởng Biến Đổi Khí Hậu: Biến đổi khí hậu ảnh hưởng đến lượng mưa mẫu lưu lượng xả vào hồ thủy điện Thay đổi mô hình mưa, gia tăng kiện thời tiết cực đoan (như hạn hán mưa lớn), thay đổi nguồn nước từ tuyết tan chảy gây biến động đáng kể lượng nước đầu vào cho hồ thủy điện Quản Lý Dự Báo: Quản lý lượng mưa lượng xả vào hồ thủy điện đòi hỏi hệ thống đo lường dự báo xác Cơng nghệ mơ hình dự báo thời tiết ngày cải thiện để giúp dự đoán lượng mưa lưu lượng xả cách xác Dữ liệu quan trọng để đưa định việc quản lý nguồn nước tối ưu hóa sản xuất lượng hồ thủy điện 38 print(df.info()) Hình 3 Thơng tin liệu sau loại bỏ Sau có liệu chuẩn, ta tách nhãn “outflow_rate” khỏi liệu: X = df.drop("outflow_rate", axis = 1) y = df['outflow_rate'] X = np.array(X) Ta chuẩn hóa liệu trước huấn luyện mơ hình: # chuẩn hóa liệu X = StandardScaler().fit_transform(X) Hình Dữ liệu sau chuẩn hóa 39 3.2 Thực nghiệm chương trình Sau tiền xử lý liệu, ta chia liệu thành 80% train 30% test Sau thực huấn luyện mơ hình dự đoán, đánh giá với test: # Huấn luyện đánh giá mơ hình Linear Regression X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) model = LinearRegression() model.fit(X_train, y_train) y_pred = model.predict(X_test) plt.scatter(y_pred, y_test, color='blue', alpha=0.5) plt.xlabel('Dữ liệu dự đoán') plt.ylabel('Dữ liệu thực tế') plt.title('Biểu đồ so sánh liệu thực tế liệu dự đốn') plt.show(); Hình Biểu đồ so sánh liệu thực tế liệu dự đoán 40 Từ biểu đồ, ta quan sát mối quan hệ liệu dự đoán liệu thực tế Sự gần gũi phân bố tương đối gần điểm liệu dự đoán điểm liệu thực tế biểu đồ scatter cho thấy tương quan đáng ý hai tập liệu Sự tương quan chứng tỏ mơ hình hồi quy tuyến tính có khả diễn giải dự đốn cách xác phạm vi đáng tin cậy Việc dự đoán gần gũi phù hợp với liệu thực tế hỗ trợ cho việc áp dụng thực tế mơ hình bối cảnh ứng dụng khác Cuối cùng, ta lưu model load model để sử dụng cần thiết: # lưu model filename = 'model.sav' pickle.dump(model, open(filename, 'wb')) # load model loaded_model = pickle.load(open(filename, 'rb')) print(loaded_model) Đánh giá mơ hình: - Sau áp dụng mơ hình ta thấy mơ hình có độ xác cao - Hiệu suất mơ hình ổn định, khơng gặp tình trạng overfitting underfitting - Mơ hình dễ dàng áp dụng cho liệu mới, không gặp phải phụ thuộc lớn vào liệu huấn luyện cụ thể - Dự đốn tốt từ mơ hình hồi quy tuyến tính cung cấp giá trị ổn định tin cậy việc dự đốn lưu lượng xả, từ hỗ trợ định ứng dụng tình thực tế 41 CHƯƠNG 4: XÂY DỰNG SẢN PHẨM DEMO 4.1 Giới thiệu công nghệ sử dụng Ngôn ngữ lập trình: Python - Phiên bản: 3.10.0 - Mơ tả: Python ngơn ngữ lập trình đa mục đích, tiếng với cú pháp rõ ràng đơn giản, làm cho trở thành lựa chọn tuyệt vời cho việc phát triển nhanh xây dựng dự án phức tạp Python hỗ trợ lập trình hướng thủ tục lập trình hướng đối tượng, cung cấp linh hoạt lớn việc thiết kế triển khai giải pháp phần mềm Môi trường phát triển tích hợp (IDE): PyCharm Hình 4.1 Logo PyCharm - Nhà phát triển: JetBrains - Mô tả: PyCharm IDE chuyên nghiệp dành cho Python, cung cấp loạt cơng cụ phát triển mạnh mẽ tích hợp Với PyCharm, lập trình viên tận hưởng tính tự động hồn thành mã, phân tích mã tĩnh, hệ thống kiểm thử tích hợp, quản lý yêu cầu thư viện, 42 hỗ trợ cho phát triển web PyCharm tương thích tốt với hệ thống kiểm soát phiên Git, cung cấp mơi trường làm việc tồn diện cho nhà phát triển Thư viện Frameworks: - Tkinter: Thư viện giao diện người dùng đồ họa (GUI) tiêu chuẩn Python, sử dụng để xây dựng triển khai giao diện người dùng trực quan Tkinter hỗ trợ nhiều widget khác nhau, bao gồm nút bấm, hộp văn bản, nhãn hình ảnh, giúp tạo nên giao diện người dùng đa dễ sử dụng - TkinterDnD2: Một thư viện mở rộng cho Tkinter, cho phép kéo thả ứng dụng GUI, làm tăng khả tương tác người dùng - Pickle: Một module có sẵn Python, sử dụng để hóa cấu trúc liệu Python để lưu trữ truyền tải Pickle giúp dễ dàng lưu trữ đối tượng trạng thái chương trình - Pandas: Thư viện quản lý phân tích liệu Python, cung cấp cấu trúc liệu DataFrame Series, với công cụ mạnh mẽ để thao tác trực quan hóa liệu - Scikit-learn (Sklearn): Một thư viện học máy cho Python, cung cấp công cụ đơn giản hiệu cho phân tích liệu mơ hình học máy Sklearn hỗ trợ rộng rãi thuật toán phân loại, hồi quy, phân cụm giảm chiều 4.2 Giao diện hệ thống Giao diện thiết kế với tông màu sáng, thao tác đơn giản dễ sử dụng Hiện hệ thống hỗ trợ ngôn ngữ Tiếng Anh thông dụng ngôn ngữ thời điểm Chi tiết giao diện trình bày qua hình bên 43 Hình Giao diện chạy chương trình Hình Giao diện sau kéo file liệu vào 44 Hình 4 Giao diện khởi tạo xong model Hình Giao diện dự đốn 45 4.2 Các chức hệ thống Hệ thống có chức dự đốn lưu lượng xả hồ thủy điện thông qua liệu người dùng traning cho hệ thống 4.2.1 Xây dựng Huấn luyện Mô hình (model.py) Đọc Dữ liệu: Lớp Model bắt đầu việc đọc liệu từ tệp CSV Dữ liệu lọc để bao gồm cột số loại bỏ hàng chứa giá trị khuyết thiếu Tiền Xử lý Dữ liệu: Dữ liệu chuẩn hóa sử dụng StandardScaler để đảm bảo mơ hình khơng bị ảnh hưởng chênh lệch quy mô đặc trưng khác Hình 4.6 Xử lý đọc file tiền xử lý liệu Huấn luyện Mô hình: Dữ liệu chuẩn bị sử dụng để huấn luyện mơ hình hồi quy tuyến tính Quá trình học mối quan hệ đặc trưng biến đầu Hình 4.7 Xử lý training khởi tạo model 46 Lưu Mơ hình: Sau mơ hình huấn luyện, lưu vào ổ cứng cách sử dụng thư viện pickle để tái sử dụng sau mà không cần phải huấn luyện lại Hình Xử lý lưu model 4.2.2 Tải Sử dụng Mơ hình (run_model.py) Tải Mơ hình: Lớp RunModel định nghĩa phương thức load_model để tải mơ hình lưu trữ từ ổ cứng vào nhớ Hình Xử lý đọc liệu từ model lưu Dự đoán: Phương thức predict sử dụng để thực dự đoán liệu Dữ liệu đầu vào chuẩn hóa trước đưa vào mơ hình để đảm bảo phù hợp với quy mơ liệu mà mơ hình huấn luyện Hình 10 Xử lý dự đoán 47 4.2.3 Giao Diện Người Dùng Tương Tác (main.py) Thiết lập Giao Diện Người Dùng (GUI): Sử dụng thư viện tkinter tkinterdnd2 để xây dựng giao diện đơn giản cho phép người dùng kéo thả tệp liệu, nhập thông số đầu vào, nhận kết dự đốn Hình 11 Khởi tạo khung hình Chọn File Dữ liệu: Người dùng kéo thả file vào giao diện để sử dụng liệu cho việc huấn luyện dự đốn Hình 12 Khởi tạo giao diện kéo thả Hình 13 Xử lý liệu kéo vào 48 Tạo Mơ hình: Người dùng tạo mơ hình từ liệu chọn cách nhấn nút "Create Model" Hình 14 Khởi tạo button Create Model Hình 15 Xử lý kiện khởi tạo Thực Dự đoán: Người dùng nhập giá trị đầu vào (ví dụ: mực nước hồ, lưu lượng vào) nhấn nút "Forecast" để nhận dự đoán lưu lượng xả Hình 16 Khởi tạo nhập liệu 49 Hình 17Xử lý dự kiện dự đốn Hiển thị Kết Quả: Kết dự đoán hiển thị trực tiếp giao diện, cho phép người dùng nhanh chóng đánh giá hiệu suất độ xác mơ hình Hình 18 Khởi tạo vị trí thị kết 50 KẾT LUẬN Thời gian làm đồ án chuyên ngành vừa qua trải nghiệm vô thú vị đáng giá với thân chúng em Em tìm hiểu kỹ thuật khác nhằm giải toán dự đoán lưu lượng xả hồ thủy điện, qua khơng tích lũy kinh nghiệm chun mơn mà cịn học kĩ làm nhóm, quản lý thời gian Đây chắn hành trang quý giá nghiệp tương lai em Mơ hình hồi quy tuyến tính chứng minh cơng cụ có giá trị, có khả dự đốn lưu lượng xả dựa biến đầu vào mực nước hồ, lưu lượng vào, yếu tố khác Sự xác độ tin cậy mơ hình cải thiện đáng kể qua trình huấn luyện tinh chỉnh kỹ lưỡng liệu lịch sử Tuy nhiên, nghiên cứu, dự án gặp phải số hạn chế thách thức Một hạn chế phụ thuộc vào chất lượng độ phong phú liệu lịch sử Dữ liệu xác đa dạng, khả dự đốn mơ hình cao Do đó, việc thu thập xử lý liệu phần quan trọng bỏ qua q trình xây dựng triển khai mơ hình Trong tương lai, để nâng cao hiệu suất độ xác mơ hình, chúng tơi đề xuất tiếp tục nghiên cứu thử nghiệm với mơ hình học máy phức tạp hơn, xem xét thêm biến đầu vào yếu tố mơi trường ảnh hưởng đến lưu lượng xả Ngoài ra, việc áp dụng kỹ thuật học sâu mơ hình học máy tiên tiến khác mở rộng khả hệ thống, từ đưa dự đốn xác có giá trị cho người dùng Chúng em xin gửi lời cảm ơn chân thành tới thầy giáo, Tiến sĩ Nguyễn Mạnh Cường tận tình hướng dẫn em thực đề tài Chúng xin chúc thầy luôn mạnh khỏe thành công nghiên cứu tới Chúng em xin trân trọng cảm ơn! 51 TÀI LIỆU THAM KHẢO [1] Wikipedia, 2022, Dự báo kinh tế – Wikipedia tiếng Việt Lần truy cập gần 02/01/2024 [2] Nguyễn Tuyến Anh, 2023, Tài liệu phân tích định lượng Phương Pháp Dự Báo Là Gì? Phương Pháp Dự Báo Phổ Biến Nhất! (luanvan1080.com) Lần truy cập gần 02/01/2024 [3] Le Quang 200, PHÂN TÍCH VÀ DỰ BÁO KINH TẾ, (99+) PHÂN TÍCH VÀ DỰ BÁO KINH TẾ | le quang - Academia.edu Lần truy cập gần 02/01/2024 [4] Le Duc Tien, 2017, Thuật toán di truyền - Ứng dụng giải số toán kinh điển (phần 1), Thuật toán di truyền - Ứng dụng giải số toán kinh điển (phần 1) (viblo.asia) Lần truy cập gần 02/01/2024 [5] Genetic Algorithms, Genetic Algorithms - GeeksforGeeks Lần truy cập gần 02/01/2024 [6] kindsonthegenius,2019, What is Genetic Algorithm? (A Simple and Detailed Explanation),What is Genetic Algorithm? (A Simple and Detailed Explanation) - The Genius Blog (kindsonthegenius.com) Lần truy cập gần 03/01/2024 [7] Nguyễn Hoàng Nam, 2023, Giới thiệu Support Vector Machine Machine Learning, https://www.noron.vn/post/gioi-thieu-ve-support-vectormachine-trong-machine-learning-40dxtjcmrdye Lần truy cập gần nhất: 01/01/2024 [8] Nguyễn Mạnh Cường, 2023, Bài giảng P hân tích liệu lớn https://docs.google.com/presentation/d/1ooBGpdJ7upcGc-hXxM9zhVwEO_JKA8Z/edit#slide=id.p1 Lần truy cập gần nhất: 01/01/2024 52 [9] Machine Learning bản, 2017, K-means Clustering, Machine Learning (machinelearningcoban.com) Lần truy cập gần nhất: 03/01/2024 [10] Auwal Auwal Sulaiman, 2023, Linear Regression in Machine Learning, Linear Regression in Machine Learning | by Auwal Auwal Sulaiman | Medium Lần truy cập gần nhất: 03/01/2024