BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI ĐỖ HUY BÌNH MỘT SỐ PHƯƠNG PHÁP SỐ GIẢI BÀI TOÁN QUY HOẠCH PHI TUYẾN CÓ RÀNG BUỘC LUẬN VĂN THẠC SĨ TOÁN HỌC HÀ NỘI – 2016 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI ĐỖ HUY BÌNH MỘT SỐ PHƯƠNG PHÁP SỐ GIẢI BÀI TOÁN QUY HOẠCH PHI TUYẾN CÓ RÀNG BUỘC Chuyên ngành: Toán giải tích Mã số: 60 46 01 02 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS NGUYỄN HỮU ĐIỂN HÀ NỘI – 2016 LỜI CẢM ƠN Luận văn hoàn thành trường Đại học Sư phạm Hà Nội hướng dẫn thầy giáo PGS TS Nguyễn Hữu Điển Sự giúp đỡ hướng dẫn tận tình, nghiêm túc thầy suốt trình thực luận văn giúp tác giả trưởng thành nhiều cách tiếp cận vấn đề Tác giả xin bày tỏ lòng biết ơn, lòng kính trọng sâu sắc thầy Tác giả xin trân trọng cảm ơn Ban giám hiệu trường Đại học Sư phạm Hà Nội 2, phòng sau Đại học, thầy cô giáo nhà trường, gia đình bạn học viên giúp đỡ, động viên tạo điều kiện thuận lợi để tác giả hoàn thành khóa học Thạc sĩ hoàn thành luận văn này! Hà Nội, tháng 12 năm 2016 Tác giả luận văn Đỗ Huy Bình LỜI CAM ĐOAN Tôi xin cam đoan luận văn kết nghiên cứu riêng hướng dẫn PGS TS Nguyễn Hữu Điển Trong trình nghiên cứu hoàn thành luận văn kế thừa thành khoa học nhà khoa học đồng nghiệp với trân trọng biết ơn Tôi xin cam đoan thông tin trích dẫn luận văn rõ nguồn gốc Hà Nội, tháng 12 năm 2016 Tác giả luận văn Đỗ Huy Bình Mục lục MỞ ĐẦU Kiến thức chuẩn bị 1.1 Không gian Euclid Rn 1.2 Hàm nhiều biến 10 1.3 Ma trận 14 1.4 Tập lồi, tập affine 15 1.5 Hàm lồi 17 1.6 Bài toán tối ưu 20 1.7 Bài toán tối ưu với ràng buộc tập 21 1.8 Điều kiện cần tối ưu cấp cấp 22 1.9 Điều kiện đủ tối ưu cấp cấp 24 1.10 Bài toán tối ưu với ràng buộc hiển 25 1.11 Điều kiện qui 26 1.12 Điều kiện tối ưu cấp 28 1.13 Điều kiện tối ưu cấp 30 3 Một số phương pháp số giải toán quy hoạch phi tuyến có ràng buộc 36 2.1 Hàm Lagrange phương pháp nhân tử Lagrange 36 2.2 Các toán quy hoạch phi tuyến (NLP) lồi 41 2.3 Tiêu chuẩn điểm yên ngựa 45 2.4 Quy hoạch toàn phương 49 2.5 Quy hoạch toàn phương theo chuỗi 64 Một số ví dụ 82 KẾT LUẬN 88 TÀI LIỆU THAM KHẢO 89 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Rn không gian Euclid n chiều ∅ Tập rỗng ∇ f (x) véc tơ gradient f điểm x ∇2 f ( x ) ma trận Hesse f điểm x x chuẩn Euclid x x, y tích vô hướng x y AT ma trận chuyển vị ma trận A A −1 ma trận nghịch đảo ma trận khả nghịch A dom f miền xác định hữu hiệu f NLP Quy hoạch phi tuyến SQPT Quy hoạch toàn phương theo chuỗi KKT Karush - Kuhn - Tucker Mở đầu Lý chọn đề tài Trong xã hội ngày nay, từ sống đời thường đến hoạt động kinh tế, kỹ thuật, công nghệ quản lý đại Chúng ta phải quan tâm tới toán tìm cách giải tốt để đạt mục tiêu mong muốn điều kiện ràng buộc định Đó toán tối ưu Chính cố gắng nhằm giải toán tối ưu giúp cho phát triển Giải tích Toán học kỷ XVII XVIII với đóng góp to lớn nhà toán học: Fermat, Leibniz, Euler, Nhưng phải đến năm 30, 40 kỷ XX, Quy hoạch toán học (Mathematical Programming), hay gọi Toán Tối Ưu (Optimization) hình thành với tư cách lý thuyết độc lập với nhiều hướng nghiên cứu khác Ta xét toán tối ưu không gian Euclid-Rn : f ( x ) với điều kiện x ∈ D Trong D tập đóng Rn gọi miền chấp nhận hay miền ràng buộc toán Một điểm thuộc D gọi điểm chấp nhận f hàm số xác định tập chứa D gọi hàm mục tiêu Trong trường hợp hàm mục tiêu số ràng buộc phi tuyến có toán quy hoạch phi tuyến Khi tập ràng buộc D Rn ta có toán quy hoạch phi tuyến không ràng buộc, ngược lại ta có toán quy hoạch phi tuyến có ràng buộc Ngày nay, với trợ giúp máy tính, quy hoạch toán học ngày phát triển mạnh mẽ Các phương pháp tối ưu ứng dụng rộng rãi lĩnh vực khoa học, kỹ thuật, công nghệ, quản lý, kinh tế, khai thác liệu (data mining), viễn thông, v.v Đó lí để chọn đề tài "Một số phương pháp số giải toán quy hoạch phi tuyến có ràng buộc" làm đề tài luận văn cao học Mục đích nghiên cứu Vì lý trên, để thực luận văn tham khảo sách [1], [2], [3] [4],[7], sử đụng phương pháp số để giải vài toán Quy hoạch phi tuyến có ràng buộc, có sử dụng phần mềm Maple để hỗ trợ tìm kết Nhiệm vụ nghiên cứu Nghiên cứu tìm hiểu số phương pháp số giải toán quy hoạch phi tuyến có ràng buộc Đối tượng phạm vi nghiên nghiên cứu • Đối tượng nghiên cứu: Bài toán quy hoạch phi tuyến có ràng buộc • Phạm vi nghiên cứu: Tập trung vào giải toán quy hoạch phi tuyến lồi Phương pháp nghiên cứu Tổng hợp, phân tích, hệ thống kiến thức tài liệu toán quy hoạch phi tuyến có ràng buộc 2.5.5 Phiên cải tiến SQPT Tồn làm tròn số SQPT nhằm cải tiến phương pháp ban đầu Có lẽ phương pháp đơn giản bắt nguồn từ phép lặp SQPT, giá trị xk+1 đạt việc thêm vào toàn đại lượng ∆x với xk Trong ∆x nghiệm toán toàn phương con, giá trị xk+1 "khả thi" xk Kết là, thay thêm toàn đại lượng ∆x với xk để xk+1 , ta xét thêm phần giá trị Cách đơn giản để thực trình sử dụng quy tắc mô tả phép lặp, ta chọn phân số ∆x mà mô tả tốt giá trị mục tiêu đồng thời tối thiểu hóa “sai số không khả thi” Điều thực việc đưa hàm M( x ) = f ( x ) + ρP( x ) (2.52) P hàm phạt tính phạm vi vi phạm ràng buộc ρ số thực dương lớn, cố định Hàm M hàm Merit Tương ứng với NLP (2.48), tồn lựa chọn khác cho P với số lựa chọn sau m P( x ) = ∑ max ( gi (x), 0) i =1 p + ∑ h j ( x )2 (2.53) j =1 Tại đây, max biểu thị hàm cực đại,   x, x > 0; max( x, 0) =  0, ngược lại (2.54) Chú ý x (2.48), P( x ) = giá trị P tăng với tổng ràng buộc vi phạm 78 Với việc chọn P hàm Merit trở thành m M( x) = f ( x) + ρ ∑ max ( gi (x), 0) i =1 p + ∑ h j ( x )2 (2.55) j =1 Quy tắc đo ∆x phép lặp t0 , t0 cực tiểu địa phương dương nhỏ φ(t) = ( xk + t∆x ) Khi đó, đặt xk+1= xk + t0 ∆x Tuy nhiên, tiếp tục xác định λk+1 µk+1 giống làm với kỹ thuật gốc Phương pháp dựa vào đo ∆x thích hợp biết tới kỹ thuật quy hoạch theo chuỗi Hàm Merit MSQPT Để minh họa thay đổi tiến so với kỹ thuật gốc, chúng      ta xem lại NLP (2.50) Nhắc lại x1 =    cuỗi phép   −.4    Sử dụng ρ = 10, hàm φ trở thành lặp ∆x ≈  − 75   −1.034 φ(t) = M( x1 + t∆x ) = f (1 − 4t, − 75t, − 1.034t) + 10 ∑ max ( gi (1 − 4t, − 75t, − 1.034t), 0)2 (2.56) j =1 + 10h(1 − 4t, − 75t, − 1.034t)2 Do tính chất phần P, công thức với φ phức tạp Tuy nhiên, đồ thị hình (2.3) rõ ràng cực tiểu địa phương dương Phép tính đơn biến Phương pháp Newton chứng minh cực 79 Hình 2.3: Đồ thị φ(t) = M( x1 + t∆x ) tiểu t0 ≈ 1.3062 Vì thế,    −.4      x2 = x1 + t0 ∆x ≈    + 1.3062  −.75 −1.034   478      ≈  1.020     1.649 (2.57) So sánh giá trị với giá trị thu sử dụng SQPT, cho     , ta thấy MSQPT tạo phép lặp x2 = x1 + ∆x ≈  1.25   1.966      gần với nghiệm NLP x0 =    √ Bảng tính Maple kỹ thuật quy hoạch toàn phương theo chuỗi điều chỉnh để kết hợp sử dụng với hàm Merit Sau hàm mục tiêu ràng buộc, f , g h xác định, hàm phạt Merit xây dựng sử dụng đầu vào sau: 80 > P:=unapply(add(piecewise(g(x1,x2,x3)>=0,g(x1,x2,x3)[i]^2, i=1 2)+h(x1,x2,x3)^2,[x1,x2,x3])): > M:=unapply(f(x1,x2,x3)+10*P(x1,x2,x3),[x1,x2,x3]): Để tính tỷ lệ ∆x, điều chỉnh bảng tính sau tính w sau: >w:=evalf(Matrixinverse(B).);   −.3994    −.7500       w :=  − 1.0335      4268    1.5869 > phi:=t->M(X1[1]+t*w[1,1],X1[2]+t*w[2,1],X1[3]+t*w[3,1]): > t0:=NewtonsMethod(phi(t),1,5,.01); t0 := 1.3062 > X2:=X1[1]+t0*w[1,1],X1[2]+t0*w[2,1],X1[3]+to*w[3,1]; 478 1.020 1.649 Các phép lặp theo sau tính theo cách tương tự 81 Chương Một số ví dụ Ví dụ 3.1 Tìm cực tiểu hàm số (3.1) f ( x ) = f ( x1 , x2 ) = x1 + x2 với x∈D= 2 x ∈ R2 : ( x1 − 3) + ( x2 − 2) − ≤ 0, − x1 + ( x2 − 2) + ≤ Bài toán có n − biến, m − ràng buộc   g ( x ) ≡ g ( x , x ) = ( x − 3)2 + ( x − 2)2 ≥ 1 2  g2 ( x ) ≡ g2 ( x , x ) = − x + ( x − ) + ≤ Ta thấy toán quy hoạch lồi với hàm mục tiêu tuyến tính Ta giải toán theo phương pháp trình bày Trước tiên tính ∇ g1 ( x ) = (2x1 − 6; 2x2 − 4)T , ∇ g2 ( x ) = (−1; 2x2 − 4)T Bước Xây dựng đa diện ban đầu D1 ⊃ D Chọn ba điểm ( p = 3): T T T x1 = (2; 0) , x2 = (2; 4) x3 = (6; 2) Ta xét điểm T Với x1 = (2; 0) Tính 82 ∇ g1 x1 = (−2; −4)T , ∇ g2 x1 = (−1; −4)T g1 x1 = −4, g2 x1 = h11 = ∇ g1 x1 x − x1 + g1 x1 = (− x1 − 2x2 ) ≤ g1 ( x ) ≤ h12 = ∇ g2 x1 x − x1 + g2 x1 = − x1 − 4x2 + ≤ g2 ( x ) ≤ T Với x2 = (2; 4) Tính ∇ g1 x2 = (−2; 4)T , ∇ g2 x2 = (−1; 4)T g1 x2 = −4, g2 x2 = h21 = ∇ g1 x2 x − x2 + g1 x2 = (− x1 + 2x2 − 8) ≤ g1 ( x ) ≤ h22 = ∇ g2 x2 x − x2 + g2 x2 = − x1 + 4x2 − 11 ≤ g2 ( x ) ≤ 0 T Với x3 = (6; 2) Tính ∇ g1 x3 = (6; 0)T , ∇ g2 x3 = (−1; 0)T g1 x3 = 0, g2 x3 = −5 h31 = ∇ g1 x3 x − x3 + g1 x3 = ( x1 − 6) ≤ g1 ( x ) ≤ h32 = ∇ g2 x3 x − x + g2 x = − x + ≤ g2 ( x ) ≤ Đa diện lồi D1 ⊃ D xác định D1 ≡ x ∈ R2 : hk,i ( x ) ≤ 0, k = 1, 2, 3; i = 1, Hai ràng buộc h11 ( x ) h21 thừa Do đa diện D1 xác định D1 ≡ x ∈ R2 : x1 + 4x2 ≥ 5, − x1 + 4x2 ≤ 11, ≤ x1 ≤ Bước Bước lặp k = 1, 2, Bước lặp Lần lượt theo trình tự sau 83 Giải quy hoạch tuyến tính f ( x ) = x1 + 2x2 → min, (3.2) với điều kiện   x1 + 4x2 ≥ 5,      x + 4x ≤ 11,  x1 ≤ 6,      x ≥ 1 T nghiệm tối ưu toán (3.2) x4 = (1, 1) f x4 = Do g1 x4 = −4 g2 x2 = > nên I1 = {2} ta thực bước T Ta có ∇ g2 x4 = (−1, −2) , ∇ g2 x x − x4 + g2 x4 = − ( x1 − 1) − ( x2 − 1) + = − x1 − 2x2 + Đặt D2 = D1 ∩ x ∈ R2 : ∇ g2 x4 x − x + g2 x ≤ = D1 ∩ x ∈ R2 : x1 + x2 ≥ Đặt lại giá trị k := k + = chuyển sang bước lặp k = Bước lặp Tương tự bước lặp 1 Giải toán quy hoạch tuyến tính { f ( x ) = x1 + 2x2 : x ∈ D2 } Nghiệm tối ưu toán (3.3) x = 3; (3.3) T , f x5 = Do g1 x5 = −6, 75 g2 x5 = 0, 25 > nên I2 = {2} ta thực bước 84 T Ta có ∇ g2 x5 = (−1, −4) , ∇ g2 x x − x5 + g2 x5 = − x1 − 4x2 + 6, 75 Đặt D3 = D2 ∩ x ∈ R2 : ∇ g2 x5 x − x + g2 x ≤ = D1 ∩ x ∈ R2 : x1 + 4x2 ≥ 6, 75 Đặt lại giá trị k := k + = chuyển sang bước lặp k = Bước lặp Lặp lại bước ba có Giải toán quy hoạch tuyến tính { f ( x ) = x1 + 2x2 : x ∈ D3 } (3.4) T Nghiệm tối ưu toán (3.4) x6 = (2, 5; 0, 75) , f x6 = Do g1 x6 = −7, 1875 g2 x6 = 0, 0625 > nên I3 = {2} ta thực bước T Ta có ∇ g2 x6 = (−1, −2, 5) , ∇ g2 x x − x6 + g2 x6 = − ( x1 − 2, 5) − 2, ( x2 − 0, 75) + 0, 0625 = − x1 − 2, 5x2 + 4, 4375 Đặt D4 = D3 ∩ x ∈ R2 : ∇ g2 x6 x − x + g2 x ≤ = D1 ∩ x ∈ R2 : x1 + x2 ≥ 4, 4375 Đặt lại giá trị k := k + = chuyển sang bước lặp k = T Lời giải toán ví dụ 3.1 điểm (2, 1) f = Thực tế, ta dừng bước lặp thứ thuật toán tìm giá trj tối ưu 4, phải qua nhiều bước có điểm T tối ưu xấp xỉ (2, 1) 85 Ví dụ 3.2 Tìm cực tiểu hàm f ( x ) = x12 + 2x22 − 16x1 − 20x2 với điều kiện (3.5)   −2x1 + x2 ≤ −2,         − x1 + 2x2 ≤ 8, x1 + x2 ≤ 10,     − x1 + x2 ≤ −4,      x ≥ 0, x ≥ Tính vector gradient hàm mục tiêu     ∂ f (x) 2x1 − 16  =   ∇ f ( x ) =  ∂∂x f (x) 4x2 − 20 ∂x2 Để làm xấp xỉ ban đầu ta chọn điểm x1 = (0, 1)T (x1 nhận cách giải toán tuyến tính l ( x ) = x1 + x2 với ràng buộc tuyến tính nêu trên), f ( x1 ) = −15 Bước lặp k = Tại điểm x1 véc tơ gradient ∇ f ( x1 ) = (−14, −20)T Tìm d1 Để tìm hướng giảm d1 = (d11 ; d21 )T ta giải quy hoạch tuyến tính: −14( x1 − 1) − 20( x2 − 0) → hay −0, 7x1 − x2 → Với điều kiện cho Giải toán ta nhận x ∗1 = (4, 6)T , d1 = x∗1 − x1 = (3, 6)T Tính t1 xét tia x = x1 + td1 với t ≥ hay x1 = + 3t; x2 = 6t với t ≥ Để xác định hàm số t , ta tìm cực tiểu hàm ϕ(t) = (1 + 3t)2 + 2(6t)2 − 16(1 + 3t) − 20(6t) = 81t2 − 162t − 15 Dễ dàng tính cực tiểu hàm cách giải phương trình ϕ (t) = ta nhận t = nghiệm, t1 = {1, t } = 86 Tính x2 Điểm xấp xỉ tính theo công thức x2 = x1 + t1 d1 = (4, 6)T , f ( x2 ) = −56 Bước lặp k = Tính vector gradient x2 ∇ f ( x2 ) = (−8; 4)T Tìm d2 Để tìm hướng giảm d2 = (d11 ; d21 )T ta giải quy hoạch tuyến tính: −8( x1 − 4) + 4( x2 − 6) → hay −2x1 + x2 → min, Với điều kiện cho ta nhận x ∗2 = (7; 3)T , d2 = x ∗2 − x2 = (3; −3)T Tính t2 Xét tia x = x2 + td2 với t ≥ hay x2 = + 3t; x2 = 6t − 3t với t ≥ Để xác định số t , ta tìm cực tiểu hàm 2 ϕ (t) = (4 + 3t) + 2(6 − 3t) − 16 (4 + 3t) − 20 (6 − 3t) = 27t2 − 36t − 96 Dễ dàng tính cực tiểu hàm cách giải phương trình 1 ϕ (t) = ta nhận t = nghiệm, t2 = {1, t } = 3 3 Tính x Điểm xấp xỉ tính theo công thức T x3 = x2 + t2 d2 = (6; 4) , f x3 = −108 T Bước lặp k = Tính véc tơ gradient x3 ∇ f x3 = (−4; 4) Tìm d3 Để tìm hướng giảm d3 = d31 ; d32 T ta giải toán quy hoạch tuyến tính −4 ( x1 − 6) + ( x2 − 4) → hay − x1 − x2 → min, T với điều kiện cho Giải toán ta nhận x ∗3 = (6; 4) , T T d3 = x ∗3 − x3 = (0; 0) Điểm x3 = (6; 4) nghiệm tối ưu toán, x3 hướng, dọc theo hàm mục tiêu giảm T Vậy f = f (6; 4) = −108 đạt điểm x ∗ = x3 = (6; 4) 87 KẾT LUẬN Luận văn tìm hiểu nghiên cứu phương pháp số để giải toán quy hoạch có ràng buộc với ưu nhược điểm nêu phần mở đầu Tiếp theo số kiến thức chuẩn bị giúp ích cho việc chứng minh giải thích số vấn đề liên quan đến số phương pháp số để giải toán quy hoạch phi tuyến có ràng buộc Cuối phần nội dung, luận văn trình bày trình thực thuật toán, giải thích bước thuật toán có áp dụng công cụ lập trình Maple để kiểm tra kết cách nhanh chóng Tuy nhiên luận văn dừng lại việc giải ví dụ hàm hai biến Do hướng phát triển luận văn giải toán nhiều biến tổng quát Mặc dù em cố gắng hoàn thành luận văn tránh có thiếu sót, mong nhận góp ý từ quý Thầy, Cô hội đồng chấm luận văn để luận văn hoàn thiện 88 TÀI LIỆU THAM KHẢO [A] Tài liệu tiếng Việt [1] Nguyễn Hữu Điển (2006), Một số vấn đề thuật toán}, NXB Giáo dục [2] Nguyễn Hữu Điển (2015), Thực hành tính toán Mapple, NXB Đại học Quốc gia, Hà Nội [3] Nguyễn Thị Bạch Kim (2008), Giáo trình phương pháp Tối ưu Lý thuyết Thuật toán, NXB Bách khoa, Hà Nội [4] Nguyễn Văn Hiền, Lê Dũng Mưu, Nguyễn Hữu Điển (2015), Giáo trình giải tích lồi ứng dụng, NXB Đại học quốc gia Hà Nội [5] Trần Vũ Thiệu, Nguyễn Thị Thu Thủy (2011), Giáo trình tối ưu phi tuyến, NXB Đại học quốc gia Hà Nội [B] Tài liệu tiếng Anh [6] Makhatar S.Bazara, Hanif D.Sherali, C.M Shetty (2006), Nonlinear Programming, Theory and Algorithins, John Wiley and Suns, Inc [7] Paul E Fishback (2010), Linear and Nonlinear Programing with Maple, CRC Press [8] Wenya sun - Ya-xiang Yuan (2006), Optimization theory and methods, Sprinjer Science Pusiness Media,LLC,23 street NewYork NY 10013, USA 89 ... hàm mục tiêu số ràng buộc phi tuyến có toán quy hoạch phi tuyến Khi tập ràng buộc D Rn ta có toán quy hoạch phi tuyến không ràng buộc, ngược lại ta có toán quy hoạch phi tuyến có ràng buộc Ngày... phương pháp số để giải vài toán Quy hoạch phi tuyến có ràng buộc, có sử dụng phần mềm Maple để hỗ trợ tìm kết Nhiệm vụ nghiên cứu Nghiên cứu tìm hiểu số phương pháp số giải toán quy hoạch phi tuyến. .. 30 3 Một số phương pháp số giải toán quy hoạch phi tuyến có ràng buộc 36 2.1 Hàm Lagrange phương pháp nhân tử Lagrange 36 2.2 Các toán quy hoạch phi tuyến (NLP) lồi