BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - VŨ MINH TÂM MỘT SỐ PHƯƠNG PHÁP GIẢI BÀI TOÁN QUY HOẠCH PHI TUYẾN LUẬN VĂN THẠC SĨ KHOA HỌC Toán Công Nghệ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Phương Anh Hà Nội – 2010 LỜI CẢM ƠN Tôi xin trân trọng cảm ơn TS NGUYỄN PHƢƠNG ANH, ngƣời tận tình hƣớng dẫn, bảo giúp đỡ trình tìm hiểu thực đề tài Tôi xin trân trọng cảm ơn thầy, cô khoa Toán-Tin ứng dụng, bạn học viên Toán Công Nghệ khóa 2008-2010 giúp lựa chọn đề tài Tôi xin trân trọng cảm ơn anh em phòng kỹ thuật công ty VNNPLUS khích lệ động viên, tạo điều kiện để hoàn thành luận văn Và cuối cùng, xin gửi lời cảm ơn đến vợ tôi, ngƣời bên khó khăn, giúp có thêm thời gian hoàn thành đƣợc luận văn Hà Nội, ngày 20 tháng 10 năm 2010 Học viên: Vũ Minh Tâm MỤC LỤC LỜI NÓI ĐẦU Chƣơng 1: KIẾN THỨC CƠ SỞ 1.1 Khai triển Taylor 1.2 Đạo hàm theo hƣớng 1.3 Hàm lồi 1.4 Điều kiện tối ƣu toán không ràng buộc 1.5 Định lý Karush-Kuhn-Tucker (KKT) 1.6 Phƣơng pháp hƣớng giảm 1.7 Tốc độ hội tụ 12 1.8 Phƣơng pháp Newton 12 1.9 Phƣơng pháp quasi-Newton 14 Chƣơng 2: CÁC PHƢƠNG PHÁP GIẢI BÀI TOÁN QUY HOẠCH TOÀN PHƢƠNG 17 2.1 Phƣơng pháp không gian hạt nhân (Null Space) giải toán quy hoạch toàn phƣơng với ràng buộc đẳng thức tuyến tính 17 2.1.1 Phát biểu toán 17 2.1.2 Ý tƣởng 17 2.1.3 Phƣơng pháp giải 19 2.1.4 Ví dụ 21 2.2 Phƣơng pháp tập hoạt động (Active Set) giải toán quy hoạch toàn phƣơng với ràng buộc bất đẳng thức tuyến tính 23 2.2.1 Phát biểu toán 23 2.2.2 Ý tƣởng 23 2.2.3 Phƣơng pháp Active Set 24 2.2.4 Thuật toán Active Set 26 2.2.5 Ví dụ 28 2.2.6 Kết hội tụ 32 Chƣơng 3: PHƢƠNG PHÁP SQP GIẢI BÀI TOÁN QUY HOẠCH PHI TUYẾN 36 3.1 Phƣơng pháp Newton-Lagrange 36 3.2 Phƣơng pháp Wilson-Han-Powell 43 3.3 Hiệu ứng Maratos 50 3.4 Bƣớc hiệu chỉnh bậc 52 Chƣơng 4: KẾT QUẢ SỐ 57 4.1 Công cụ sử dụng 57 4.2 Kết số toán cụ thể 60 KẾT LUẬN 65 TÀI LIỆU THAM KHẢO 66 LỜI NÓI ĐẦU Lý thuyết tối ƣu ngành Toán học ứng dụng có nhiều ứng dụng hiệu rộng rãi ngành kỹ thuật, quản lý, kinh tế tài Bài toán quy hoạch phi tuyến đóng vai trò quan trọng lý thuyết điều khiển tối ƣu Phƣơng pháp SQP (Sequential Quadratic Programming) phƣơng pháp thông dụng, hiệu để giải toán quy hoạch phi tuyến thiếu thƣ viện tối ƣu lớn nhƣ NAG, LANCELOT… Ý tƣởng phƣơng pháp tách toán phi tuyến ban đầu thành dãy toán quy hoạch toàn phƣơng, toán đƣợc giải phƣơng pháp Không gian hạt nhân (cho toán có ràng buộc đẳng thức) phƣơng pháp Tập hoạt động (cho toán có ràng buộc bất đẳng thức) Việc nghiên cứu cải thiện phƣơng pháp mặt lý thuyết tính toán đƣợc đề cập đến tài liệu [1], [3], [5],… Mục đính luận văn tìm hiểu cách tiếp cận phƣơng pháp SQP kết hội tụ phƣơng pháp Nội dung luận văn gồm có chƣơng chính: Chƣơng I: Nhắc lại số kiến thức sở Chƣơng II: Tìm hiểu phƣơng pháp giải toán toán quy hoạch toàn phƣơng với ràng buộc tuyến tính, cụ thể phƣơng pháp Không gian hạt nhân (Null space) giải toán với ràng buộc đẳng thức Tập hoạt động (Active set) giải toán với ràng buộc bất đẳng thức Chƣơng III: Giới thiệu SQP với phƣơng pháp Newton-Lagrange, phƣơng pháp Wilson-Han-Powell Phần sau chƣơng tập trung vào tìm hiểu tốc độ hội tụ thuật toán, hiệu ứng không tốt đến thuật toán (hiệu ứng Maratos) nhƣ phƣơng pháp khắc phục (hiệu chỉnh bậc hai) Chƣơng IV: Trình bày kết số đạt đƣợc bao gồm: lập trình thuật toán SQP, lập trình toán sử dụng phƣơng pháp Không gian hạt nhân phƣơng pháp Tập hoạt động Một số ví dụ cụ thể đƣợc đƣa Chương Kiến thức sở Chƣơng trình bày kiến thức sở tảng cần thiết để tìm hiểu phƣơng pháp tối ƣu phi tuyến Nội dung chƣơng đƣợc tham khảo từ tài liệu [2], [7], [8] Khai triển Taylor 1.1 khả vi liên tục lân cận điểm Xét hàm n biến Khi đó, với đủ nhỏ, ta khai triển: vô bé bậc cao đƣợc gọi khai triển Taylor cấp hàm Khai triển Đạo hàm theo hướng 1.2 Cho hàm xác định véc tơ Giới hạn tồn đƣợc gọi đạo hàm theo hƣớng d hàm f điểm ký hiệu Nhƣ biết, f khả vi 1.3 Hàm lồi Hàm với đƣợc gọi hàm lồi xác định tập lồi Đạo hàm theo hướng hàm lồi: Nếu hàm lồi xác định tập có đạo hàm theo hƣớng lồi 1.4 điểm Điều kiện tối ưu toán không ràng buộc Xét toán tối ƣu sau: hàm số lớp Điều kiện cần bậc 1: Cho phƣơng thuộc lớp Điều kiện đủ bậc 1: Cho thuộc lớp điểm cực tiểu địa phƣơng thuộc lớp 1.5 hàm lồi Khi Nếu thuộc lớp xác định dƣơng cực tiểu địa nửa xác định dƣơng ma trận Điều kiện đủ bậc 2: Cho Nếu ma trận điểm cực tiểu toàn cục Điều kiện cần bậc 2: Cho phƣơng cực tiểu địa Nếu thỏa mãn cực tiểu địa phƣơng chặt f Định lý Karush-Kuhn-Tucker (KKT) Xét toán quy hoạch phi tuyến: với điều kiện , tập nghiệm hệ: ( ) với f, gi hj hàm số khả vi xác định Rn Định nghĩa Điều kiện quy đƣợc thỏa mãn x0 có điều kiện sau: i) Các hàm hj, j = 1,…,k gi , i = 1,…,m hàm afin; ii) Các hàm hj, j = 1,…,k afin; hàm gi, i = 1,…,m lồi điều kiện Slater sau đƣợc thỏa mãn: iii) Các véc tơ độc lập tuyến tính (Với I(x 0) {i {1,…,m} | ràng buộc , i= 1,…,m, thỏa mãn chặt x0) } tập số Định lý KKT: Cho hàm f , gi , i = 1,…,m hj , j = 1,…,k hàm khả vi liên tục tập mở chứa X Giả sử toán ( điểm cực tiểu địa phƣơng ) điều kiện quy đƣợc thỏa mãn Khi điều kiện KKT sau đúng: i) ii) , i = 1,…,m Tồn số , j = 1,…,k, i = 1,…,m số , j = 1,…,k cho iii) 1.6 Phương pháp hướng giảm Xét toán quy hoạch không ràng buộc hàm phi tuyến, khả vi Ý tƣởng phƣơng pháp hƣớng giảm để giải toán mục tiêu là: Xuất phát từ điểm …, , ta xây dựng dãy điểm ,… cho hội tụ đến điểm dừng dãy với hàm hàm lồi, điểm hàm , tức Nếu là nghiệm cực tiểu toàn cục toán Tiếp theo, luận văn trình bày lƣợc đồ chung phƣơng pháp hƣớng giảm khái niệm liên quan a Lược đồ chung Bƣớc khởi đầu Xuất phát từ điểm tùy ý Bƣớc lặp , ( Nếu Gán ) thỏa mãn ( đủ nhỏ) dừng thuật toán Trái lại, tìm Gán cho Quay lại bƣớc lặp ; 3.5 Bước hiệu chỉnh bậc Để cải thiện hiệu ứng Maratos, ngƣời ta giải thêm toán nhƣ sau Một bƣớc hiệu chỉnh bậc vector thỏa mãn: (3.27) với k đủ lớn Gọi nghiệm toán (3.17) Định nghĩa nghiệm toán toàn phƣơng: (3.28) Để đơn giản hóa, giả sử tất ràng buộc ràng buộc đẳng thức Giả sử điều kiện đủ bậc hai thỏa mãn Theo điều kiện KKT , cho: (3.29) Từ hệ ta suy (3.30) với 52 Chúng ta đƣa giả thiết sau đây: Giả thiết 3.3 có hạng số cột Tồn số dƣơng cho với d thỏa mãn xảy Từ giả thiết trên, ta chứng minh bổ đề sau Bổ đề 3.3 Với điều kiện giả thiết , xảy đủ lớn với Sử dụng (3.29) (3.30) có Từ hệ phƣơng trình từ bồ để 3.3, chứng minh đƣợc bổ đề sau: Bổ đề 3.4 Với điều kiện giả thiết , đủ lớn Từ hai bổ đề trên, chứng minh bƣớc định nghĩa (3.28) thực bƣớc hiệu chỉnh bậc hai Chúng ta chứng minh bƣớc hiệu chỉnh bậc hai nhận đƣợc Đầu tiên, sử dụng (3.29) ta thấy rằng: 53 làm cho bƣớc chấp Định nghĩa véc tơ (3.31) Ta có Hơn nữa, véc tơ định nghĩa cho phép từ (3.31) có Nếu giả thiết, không xảy (3.32) : mà xảy với , suy ra: 54 (3.32) (3.33) xảy với Từ định nghĩa , ta chứng minh rằng: (3.34) Từ (3.33) (3.34) ta có Từ bất đẳng thức ta thấy Và Nếu điều kiện đủ bậc đƣợc thỏa mãn, tồn số dƣơng (3.35) cho: (3.36) Từ (3.35) (3.36), suy (3.37) Hơn từ (3.35) (3.36) chứng minh rằng: Do đó, từ kết luận bổ đề từ bất đẳng thức (3.37) ta có 55 Suy bƣớc hội tụ siêu tuyến tính chấp nhận đƣợc Do đó, với việc giải thêm toán (3.27) có bƣớc hội tụ siêu tuyến tính, phƣơng pháp Wilson-Han-Power tìm đƣợc hƣớng chấp nhận đƣợc, điều kiện để tìm nghiệm tối ƣu 56 Chương 4.1 Kết số Công cụ sử dụng Trong khuôn khổ luận văn này, ta sử dụng phần mềm Matlab 7.5 để lập trình tiến hành khảo sát vài toán tối ƣu phi tuyến dựa vào phƣơng pháp SQP Một số hàm đƣợc sử dụng (source code) là: Hàm nullspace() dùng để giải toán quy hoạch dạng toàn phƣơng với ràng buộc dạng đẳng thức dùng phƣơng pháp Không gian hạt nhân (mục 2.1 phần 2) 57 Hàm activeset() dùng để giải toán quy hoạch toàn phƣơng với điều kiện bất đẳng thức dùng phƣơng pháp Tập hoạt động (mục 2.2 phần 2) Hàm sqp() chƣơng trình cho kết phƣơng pháp SQP Kết hợp phƣơng pháp Lagrange-Newton phƣơng pháp Wilson-Han-Powell, đƣa thuật toán SQP (để đơn giản, ta giả sử toán có ràng buộc bất đẳng thức) : 58 Thuật toán SQP: Bƣớc khởi tạo: Chọn điểm khởi đầu vị , ma trận ma trận đơn Bƣớc Giải toán sau theo biến : Nghiệm trả toán gồm giá trị Gán: Và : Trong đó: Và Nếu ta gán: Nếu không, ta gán: Nếu Nếu không, dừng thuật toán đƣa nghiệm Trở lại 59 Ở ta sử dụng số công cụ Matlab nhƣ hàm Tìm nghịch đảo giả ma trận không vuông (pseudo-inverse), hàm tính gradient, … 4.2 Kết số toán cụ thể Sau kết số toán quy hoạch toàn phƣơng quy hoạch phi tuyến với ràng buộc đẳng thức bất đẳng thức Ví dụ 1: Giải toán quy hoạch toàn phƣơng : 60 Sử dụng hàm nullspace() với điểm ban đầu (0;0) ta có kết sau: Ví dụ 2: Giải toán dạng toàn phƣơng: Sử dụng hàm activeset() với điểm ban đầu (0;0) ta có kết sau: 61 Ví dụ 3: Giải toán Dùng hàm sqp(), chọn điểm xuất phát (0;1) qua 10 bƣớc lặp, ta có nghiệm tối ƣu (0.500;0.866) 62 Còn chọn điểm ban đầu (100;100) phải qua 14 bƣớc lặp, ta có nghiệm cần tìm Ví dụ 4: Giải toán Dùng hàm sqp(), chọn điểm ban đầu (0;3) sau bƣớc lặp, ta có nghiệm toán : 63 64 KẾT LUẬN Luận văn trình bày phƣơng pháp SQP giải toán quy hoạch phi tuyến có ràng buộc Phƣơng pháp tách toán phi tuyến ban đầu thành dãy toán quy hoạch toàn phƣơng Các toán đƣợc giải phƣơng pháp không gian hạt nhân (cho toán có ràng buộc đẳng thức) phƣơng pháp tập hoạt động (cho toán có ràng buộc bất đẳng thức) Các phƣơng pháp SQP giải toán quy hoạch phi tuyến đƣợc đề cập đến phƣơng pháp Newton- Lagrange, phƣơng pháp Wilson-Han-Powell Các phƣơng pháp có ƣu nhƣợc điểm khác Nếu chọn điểm ban đầu không tốt, hiệu ứng Maratos xảy không thu đƣợc kết hội tụ Khi đó, ta cần có bƣớc điều chỉnh hợp lý Luận văn trình bày phƣơng pháp hiệu chỉnh bậc hai để có bƣớc lặp hữu hạn nhƣ kết hội tụ toán Chƣơng trình bày kết số cho phƣơng pháp Không gian hạt nhân, phƣơng pháp Tập hoạt động thuật toán SQP Thuật toán SQP chạy tốt ràng buộc đẳng thức Với thời gian tìm hiểu ngắn, kiến thức hạn chế nên luận văn nhiều thiếu sót Vì mong nhận đƣợc nhận xét đóng góp từ thầy cô bạn Trong thời gian tới, mong có hội nghiên cứu sâu vấn đề này, để ứng dụng cho toán điều khiển tối ƣu thực tế 65 TÀI LIỆU THAM KHẢO J F Bonnans, J C Gilbert, C Lemaréchal, C A Sagastizabal, “Numerical Optimization, Theoretical and Practical Aspects”, Springer, 2006 Nguyễn Thị Bạch Kim, “Giáo trình phƣơng pháp tối ƣu, lý thuyết thuật toán”, Nhà xuất Bách Khoa-Hà Nội, 2008 Stephen G Nash, Ariela Sofer, “Linear and Nonlinear programming”, McGraw-Hill Companies, inc., 1996 Nguyễn Đức Nghĩa, “Nhập môn MATLAB”, Bộ môn khoa học máy tính, 2002 J Nocedal, S Wright, “Numerical Optimization”, Springer, 2006 J.-J Strodiot, Bài giảng “Numerical Methods in Optimization”, University of Namur, Belgium, 2003 Nguyễn Đình Trí, Tạ Văn Đĩnh, Nguyễn Hồ Quỳnh, “Giáo trình toán học cao cấp”, Nhà xuất giáo dục, 2000 Lê Trọng Vinh, “Giáo trình giải tích số”, Nhà xuất Khoa học Kỹ thuật, 2000 Ya-xiang Yuan, Wenyu Sun, “Optimization Theory and Methods, Nonlinear Programming”, Springer, 2006 10 Juliang Zhang, Xiangsun Zhang, “A robust SQP method for optimization with inequality constraints”, Journal of Computational Mathematics, Vol 21, No 2, p 247-256, 2003 66 ... tài Bài toán quy hoạch phi tuyến đóng vai trò quan trọng lý thuyết điều khiển tối ƣu Phƣơng pháp SQP (Sequential Quadratic Programming) phƣơng pháp thông dụng, hiệu để giải toán quy hoạch phi tuyến. .. phƣơng pháp tách toán phi tuyến ban đầu thành dãy toán quy hoạch toàn phƣơng, toán đƣợc giải phƣơng pháp Không gian hạt nhân (cho toán có ràng buộc đẳng thức) phƣơng pháp Tập hoạt động (cho toán. .. 2: CÁC PHƢƠNG PHÁP GIẢI BÀI TOÁN QUY HOẠCH TOÀN PHƢƠNG 17 2.1 Phƣơng pháp không gian hạt nhân (Null Space) giải toán quy hoạch toàn phƣơng với ràng buộc đẳng thức tuyến tính