Đang tải... (xem toàn văn)
Cực đại và cực tiểu hàm lồi với ràng buộc lồi, luận văn cao học với đề tài Cực đại và cực tiểu hàm lồi với ràng buộc lồi là tài liệu tham khảo trong quá trình học tập, cũng như ôn luyện, và là tài liệu tham khảo trong quá trình làm đồ án của sinh viên.
Mục lục Danh mục ký hiệu 3 Lời nói đầu 5 1 Các kiến thức cơ bản về tập lồi và hàm lồi 7 1.1 Tập lồi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.2 Hàm lồi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2 Cực tiểu hàm lồi với ràng buộc lồi 18 2.1 Phát biểu bài toán và điều kiện tối ưu . . . . . . . . . . . . . 18 2.1.1 Các khái niệm . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.1.2 Sự tồn tại nghiệm tối ưu . . . . . . . . . . . . . . . . . . 22 2.1.3 Điều kiện tối ưu . . . . . . . . . . . . . . . . . . . . . . . 23 2.2 Một số thuật toán giải bài toán quy hoạch lồi . . . . . . . . 33 2.2.1 Thuật toán hướng có thể giải bài toán cực tiểu hàm trơn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.2.2 Thuật toán Frank-Wolfe g iải bài toán cực tiểu hàm trơn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 2.2.3 Thuật toán chiếu dưới đạo hàm xấp xỉ . . . . . . . . 42 3 Cực đại hàm lồi với ràng buộc lồi 49 3.1 Bài toán và các tính chất . . . . . . . . . . . . . . . . . . . . . . 49 3.2 Thuật toán nhánh cận . . . . . . . . . . . . . . . . . . . . . . . 51 1 3.2.1 Một số khái niệm cơ bản . . . . . . . . . . . . . . . . . 51 3.2.2 Ý tưởng của thuật toán nhánh cận . . . . . . . . . . . 53 3.2.3 Thuật toán . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 Kết luận 60 Tài liệu tham khảo 61 2 Danh mục ký hiệ u Với n là số nguyên dương, ký hiệu: R n không gian Euclide n-chiều trên trường số thực; R n + góc không âm của R (tập c á c véc-tơ khôn g âm); R trường các s ố thực (R = R 1 ); R trục số thực mở rộng (R = R ∪{−∞, +∞}); N tập hợp số nguyên dương; Với mọi véc-tơ x, y ∈ R n , ký hiệu: x i tọa độ thứ i củ a x; x T véc-tơ hàng (chuyển vị của x); x, y = x T y tích vô hướng của hai véc-tơ x và y; = xy = n j=1 x j y j x = n j=1 x 2 j chuẩn Euclide của x; [x, y] đoạn thẳng đóng n ố i x và y; (x, y ) đoạn thẳng mở nối x và y; Với tập A, ký hiệu: A bao đ óng của A; coA bao lồi của A; affA bao affine c ủa A; intA tập hợp c á c điểm trong của A; riA tập hợp các đ iểm trong tương đối của A; 3 V (A) tập h ợp các điểm cực biên (đỉnh) của A; Với hàm f của n biến, ký hiệu: f hàm b a o đó ng của f; domf tập hữu dụng của f; epif trên đồ thị của f; ∂f(x) dưới vi phân của f tại x; ∂ f(x) −dưới vi phân của f tại x; ∇f(x) hoặc f (x) đạo hàm c ủa f tại x; f (x, d) đạo h àm theo phương d của f tại x; 4 Lời nói đầu Lý thuyết về các tập lồi và hàm lồi có một vị trí quan trọng trong toán học, liên quan đến hầu hế t các nghành như giải tích lồi, tối ưu hóa, giải tích hàm, hình h ọc, toán kinh tế, Một cách tổng quát, có hai tính chất cơ bản của các hàm lồi làm cho chúng được sử dụng rộng rãi trong toán học lý thuyết cũng như toán học ứng dụng, đó là: tính chất đạt giá trị cực đại trên biên và bất kỳ cực tiểu địa phương nào cũng là cực tiểu toàn cục. Hơn nữa, một hàm lồi chặt thì điểm cực tiểu nếu có là duy nhất. Trong nhiều vấn đề ứ ng dụng ta thư ờng gặp bài toán tìm cực tiểu hoặc cực đại của mộ t hàm lồi trên một tập lồi. Hai bài toán này có những tính chất cơ bản rất khá c nhau. Tuy nhiên tính chất lồi kéo theo những đặc thù riêng cho mỗi bài toán . Lợi dụng c á c tính chất này, người ta đã đ ưa ra được những phương pháp giải quyết khác nhau cho mỗi bài toán kể trên. Mục đích của luận văn này là trình bày một số thuật toán c ơ bản nhất giải bài toán cực tiểu và cực đại hàm lồi với ràng buộc lồi. Cụ thể luận văn trình bày các thuật toán sa u: thuật toán hướng có thể, thuật toán Frank -Wolfe, thuật toán chiếu dưới đạo hàm (gradient) xấp xỉ, thuật toán nhánh cận. Luận văn gồm ba chương: Chương 1: Giới thiệu các kiến th ức cơ bản nhất về giải tích lồi. Đó là tập lồi, tập lồi đa diện, hàm lồi, tính chất của hàm lồi, dưới vi phân của hàm lồi và các ví dụ minh họa, chúng được sử dụng trong các chương tiếp theo. 5 Chương 2: Trình bày các khái niệm và các tính chất cơ bả n của bài toán cực tiểu hàm lồi với ràng buộc lồi. Đó là sự tồn tại nghiệm tối ưu và điều kiện tối ưu của bài toán lồi trơn và không trơn. Nội dung chính của chương này là trình bày một số thuật toán giải bài toán cực tiểu h à m trơn như: thuật toán hướng có thể, thuật toán Frank-Wolfe và thuật toán giải bài toán cực tiểu hàm không trơn như thuật toán chiếu dưới đạo hàm xấp xỉ. Chương 3: Trình bày các khái niệm và các tính chất cơ bả n của bài toán cực đại hàm lồi với ràng buộc lồi. Nội dung chính của chương này là trình bày thuật toán nhánh cận giải bài toán c ực đại hàm lồi với ràng buộc lồi. Do th ời gian có hạn nên luận văn này chỉ mới dừng lại ở việc tìm hiểu, tập hợp tài liệu, sắp xếp và trình bày kết quả nghiên cứu đã có theo chủ đề đặt ra. Trong quá trình viết luận văn cũng như xử lý văn bản chắc chắn không tránh khỏi những sai sót n hất định. Tác giả luận văn rất mong nhận được sự góp ý của quý thầy cô và các bạn để luận văn được hoàn thiện hơn. Luận văn được hoàn thành tại Viện Toán học, Viện Khoa học và Công nghệ Việt Nam, dưới sự hướng dẫn của GS. TSKH. Lê D ũng Mưu. Tác giả chân thành cảm ơn thầy Lê Dũng Mưu và các nghiên cứu sinh của thầy đã giúp đỡ rất nhiều trong quá trình tác giả làm luận văn. Tác giả cũng xin bày tỏ lòng biết ơn các thầy cô và cán bộ công nhân viên của Viện Toán học đã quan tâm giúp đỡ trong suốt quá trình học tập và nghiên cứu tại Viện. Hà Nội tháng 8 năm 2013 Học viên Hà Thị Thảo 6 Chương 1 Các kiến thức cơ bản về tập lồi và hàm lồi Trong luận văn này, chúng ta sẽ làm vệc với không g ian Euclide n-chiều trên trường số thực R. Kh ô ng gian này được kí hiệu là R n . Chương này nhằm trình bày những khái niệm cơ bản nhất của tập lồi và hàm lồi cùng với những tính chất đặc trưng của nó. Do chương này chỉ mang tính chất bổ trợ, nên ta không chứng minh các kết quả nêu ở đây. Nội dung của chương được trích dẫn chủ yếu từ tài liệu th a m khả o [1], [2] và [4]. 1.1 Tập lồi Định nghĩa 1.1. Một đường thẳng đi qua hai điểm (hai véc-tơ) a, b trong R n là tập hợp tất cả các véc-tơ x ∈ R n có dạng {x ∈ R n | x = αa + βb, α, β ∈ R, α + β = 1}. Định nghĩa 1.2. Đoạn thẳng nối hai điểm a và b trong R n là tập hợp các véc-tơ x có dạng {x ∈ R n | x = αa + βb, α ≥ 0, β ≥ 0, α + β = 1}. 7 Định nghĩa 1.3. Một tập D ⊆ R n được gọi là một tập lồi nếu D chứa mọi đoạn thẳng đi qua hai điểm bất kỳ của nó. Tức là D lồi khi và chỉ khi ∀x, y ∈ D, λ ∈ [0, 1] ⇒ λx + (1 − λ) y ∈ D. Định nghĩa 1.4. Một tập D đ ược gọi là tập affine nếu nó chứa mọi đường thẳng đi qua hai điểm bất kỳ của nó, tức là ∀x, y ∈ D, ∀λ ∈ R ⇒ λx + (1 − λ) y ∈ D. Định nghĩa 1.5. Ta nói x là tổ hợp lồi của các điểm (véc-tơ) x 1 , , x k nếu x = k j=1 λ j x j , λ j ≥ 0 (j = 1, , k), k j=1 λ j = 1. Mệnh đề 1.1. Tập hợp D là lồi khi và chỉ khi nó chứa mọi tổ hợp lồi của các điểm của nó. Tức là D lồi khi và chỉ khi ∀k ∈ N, ∀λ 1 , , λ k > 0 : k j=1 λ j = 1, ∀x 1 , , x k ∈ D ⇒ k j=1 λ j x j ∈ D. Định nghĩa 1.6. Siêu phẳng trong không gian R n là một tập hợp các điểm có dạng {x ∈ R n | a, x = α}, trong đó a ∈ R n là một véc-tơ k h ác 0 và α ∈ R. Véc-tơ a thường được gọi là véc-tơ pháp tuyế n của siêu phẳng. Một siêu phẳng sẽ chia không gian ra hai nửa không gian. Nửa không gian được định ngh ĩa như sau: Định nghĩa 1.7. Nửa k hô ng gian là một tập hợp có dạng {x | a, x ≥ α}, trong đó a = 0 và α ∈ R. Đây là nửa không gian đóng. Tập {x | a, x > α}, 8 là nửa không gian mở. Định nghĩa 1.8. Một điểm a của một tập lồi D gọi là điể m trong tương đối nếu với mọi x ∈ D đều có một số λ > 0 để cho a + λ(x − a) ∈ D. Tập cá c điểm trong tương đối của D được ký hiệu là riD. Định nghĩa 1.9. Một tập D được gọi là nón nếu ∀λ > 0, ∀x ∈ D ⇒ λx ∈ D. Một nón được gọi là nón lồi nếu nó đồng thời là một tập lồi. M ột nón được gọi là nón nhọn nếu nó không chứa đường thẳng. Nếu nón này là một tập lồi đa diện thì ta nói nó là nón lồi đa diện. Định nghĩa 1.10. Cho D ⊆ R n là một tập lồi và x ∈ D. (i) Tập N D (x) := {ω ∈ R n | ω, y −x ≤ 0, ∀y ∈ D}, được gọi là nón pháp tuyến ngoài của D tại x và tập −N D (x) được gọi là nón pháp tuyế n trong của D tại x. (ii) Tập N D (x) := {ω ∈ R n | ω, y −x ≤ , ∀y ∈ D}, được gọi là nón pháp tuyến của D tại x. Hiển nhiên 0 ∈ N D (x) và dùng định nghĩa ta có N D (x) là một nón lồi đóng . Định nghĩa 1 .11. Bao lồi của một tập D là giao của tất cả các tập lồi chứa D. Bao lồi của một tập D được ký hiệu là coD. Bao lồi đóng của một tập D là tập lồi đóng nhỏ nhất chứa D. Ta ký hiệu bao đóng c ủa một tập D là coD. Bao affine của D là giao của tất cả các tập affine chứa D. Bao affine của một tập D được ký hiệu là affD. Định nghĩa 1.1 2. Cho x 1 , x 2 , , x k , x k+1 ∈ R n . Bao lồi của x 1 , x 2 , , x k , x k+1 được ký hiệu là H(x 1 , x 2 , , x k , x k+1 ) là một đa diện lồi. Nếu x k+1 − x 1 , x k − x 1 , , x 2 −x 1 là các véc-tơ độc lập tuyến tính thì H(x 1 , x 2 , , x k , x k+1 ) được gọi là 9 một đơn hình k chiều với các đỉnh x 1 , x 2 , , x k , x k+1 . Định nghĩa 1.13. Cho hai tập C và D khác rỗng. (i) Ta nói siêu ph ẳng a, x = α tác h C và D nếu a, x ≤ α ≤ a, y, ∀x ∈ C, ∀y ∈ D. (ii) Ta nói siêu phẳng a, x = α tách c hặt C và D nếu a, x < α < a, y, ∀x ∈ C, ∀y ∈ D. (iii) Ta nói siêu p hẳng a, x = α tác h mạnh C và D nếu sup x∈C a, x < α < inf y∈D a, y. Định lý 1.1. (Định lý tách 1). Cho C và D là hai tập lồi khác rỗng trong R n sao cho C ∩D = ∅. Khi đó có một siêu phẳng tách C và D. Định lý 1 .2. (Định lý tách 2). Cho C và D là hai tập lồi đóng khác rỗng sao cho C ∩D = ∅. Giả sử có ít nhất một tập là compact. Khi đ ó hai tập này có thể tách mạnh được bởi một siêu phẳng. Chú ý. Nếu thiếu giả thiết "một trong hai tập là compact" thì Định lý 1.2 không còn đún g . Ví dụ C = (x, y) ∈ R 2 | y ≥ e x và D = (x, y) ∈ R 2 | y ≤ 0 là hai tập lồi đóng, rời nhau nhưng không tách mạnh (xem Hình 1(b)). Hình 1: (a) - Hai tập lồi C và D được tách chặt bởi một siêu phẳng; (b) - Hai tập lồi C và D tách nhưng không tách mạn h; (c) - Tập C và D gi ao nhau bằng rỗng nhưng không thể tách được vì D không phải tập lồi Hệ quả 1.1. (Bổ đề Farkas) Cho a ∈ R n và A là ma trận cấp m × n. Khi đó 10 [...]... 17 Chương 2 Cực tiểu hàm lồi với ràng buộc lồi Chương này trình bày điều kiện cần và đủ của nghiệm tối ưu cho bài toán lồi trơn và không trơn Tiếp theo trình bày một số thuật toán cơ bản nhất dùng để giải bài toán cực tiểu hàm lồi với ràng buộc lồi Đó là các thuật toán hướng có thể, Frank-Wolfe giải bài toán cực tiểu hàm trơn và thuật toán chiếu dưới đạo hàm xấp xỉ giải bài toán cực tiểu hàm không trơn... D, ta ký hiệu tập tất cả các điểm cực tiểu (cực đại) toàn cục của f trên D là Argminx∈D f (x) (Argmaxx∈D f (x)) Do min {f (x) : x ∈ D} = − max {−f (x) : x ∈ D} và tập nghiệm của hai bài toán này trùng nhau nên lý thuyết cực tiểu (hay cực đại) hàm lồi cũng chính là lý thuyết cực đại (hay cực tiểu) hàm lõm Bổ đề 2.1 Cho f là một hàm lồi mạnh, khi đó với mọi d ∈ Rn hàm số ϕd (x) := f (x) + 1 x 2 2 − d,... khả vi trên tập lồi mở D Điều kiện cần và đủ để f lồi trên D là f (x) + f (x), y − x ≤ f (y), ∀x, y ∈ D Với hàm một biến f xác định trên tập lồi D ⊆ R ta đã biết: f là hàm lồi trên D khi và chỉ khi f (x) ≥ 0 với mọi x ∈ D Chẳng hạn, hàm f (x) = ex là hàm lồi trên R Định lý 1.6 Cho f : D → R là hàm khả vi hai lần trên tập lồi mở D Khi đó, (i) Hàm f là lồi trên D khi và chỉ khi ma trận Hesian H(x) của f... gọi là một hàm lõm (lõm chặt) trên D nếu −f là hàm lồi (lồi chặt) trên D Hàm lồi f : X → R ∪ {+∞} có thể được mở rộng thành một hàm lồi trên toàn không gian Rn bằng cách đặt f (x) = +∞ nếu x ∈ domf Vì vậy để đơn giản, ta / thường xét f là hàm lồi trên Rn Định nghĩa 1.16 Cho hàm lồi f xác định trên tập lồi C ⊆ Rn , hàm lồi g xác định trên tập lồi D ⊆ Rn và số thực λ > 0 Các phép toán λf, f + g, max... Cho f và g là các hàm lồi trên tập lồi C và D tương ứng Khi đó các hàm số αf + βg, (∀α, β ≥ 0) và max {f, g} cũng lồi trên C ∩ D Một hàm lồi có thể không liên tục tại một điểm trên biên miền xác định của nó Tuy nhiên, nó liên tục tại mọi điểm trong của tập đó theo định lí sau: Định lý 1.4 Một hàm lồi xác định trên tập lồi D thì liên tục tại mọi điểm trong của D Nhận xét Sự gián đoạn của hàm lồi chỉ... liên tục dưới trên D và thỏa mãn điều kiện bức sau f (x) → +∞ khi x ∈ D, x → +∞ 22 thì f có cực tiểu trên D Chứng minh Đặt D(a) := {x ∈ D | f (x) ≤ f (a)} với a ∈ D Rõ ràng, D(a) đóng và bị chặn nên f có cực tiểu trên D(a) và điểm đó cũng chính là điểm cực tiểu của f trên D 2 2.1.3 Điều kiện tối ưu 1) Trường hợp không khả vi Định lý 2.5 Giả sử D là một tập lồi và f là một hàm lồi, khả dưới vi phân... lớp hàm khác không có Giả sử f : Rn → R ∪ {+∞} là hàm lồi Ta có các khái niệm sau: Định nghĩa 1.17 Ta gọi đạo hàm theo hướng d của một hàm f (không nhất thiết là lồi) tại điểm x là đại lượng f (x, d) := lim λ→0+ f (x + λd) − f (x) λ nếu giới hạn này tồn tại Định lý 1.7 Nếu f là một hàm lồi trên tập lồi D thì với mọi x ∈ D và mọi d sao cho x + d ∈ D, đạo hàm theo hướng d của f tại x luôn tồn tại và nghiệm... B(x∗ , ) ∩ D Với bất kỳ x ∈ D, ta có x = λx + (1 − λ)x∗ = x∗ + λ(x − x∗ ) ∈ B(x∗ , ) ∩ D ¯ khi 0 < λ < 1 và λ đủ nhỏ Do x∗ là nghiệm cực tiểu địa phương và f là hàm lồi nên f (x∗ ) ≤ f (¯) ≤ λf (x) + (1 − λ)f (x∗ ) ⇒ f (x∗ ) ≤ f (x) x Điều đó chứng tỏ x∗ là nghiệm tối ưu toàn cục của bài toán (P ) (ii) Giả sử x∗ là nghiệm tối ưu địa phương và hàm mục tiêu f là lồi chặt Vì hàm lồi chặt là hàm lồi nên từ... hàm một biến trên tập X = (∞, 1] 2 x nếu x < 1, f (x) = nếu x = 1 2 Dễ thấy epif ⊂ R2 là tập lồi Do đó f là hàm lồi trên X Hàm f là liên tục trên X\ {1} Tại x = 1 hàm f là nửa liên tục trên Tính chất sau đây đặc trưng cho một hàm lồi khả vi và thuận lợi để kiểm tra tính lồi của một hàm số Ký hiệu f (x) hoặc f (x) là đạo hàm của f tại x Định lý 1.5 Cho f : D → R là một hàm khả vi trên tập lồi. .. ứng với phương án này là thấp nhất Định nghĩa 2.1 Điểm x∗ ∈ D được gọi là cực tiểu địa phương của f trên D 19 nếu tồn tại một lân cận U của x∗ sao cho f (x∗ ) ≤ f (x), ∀x ∈ U ∩ D Điểm x∗ ∈ D được gọi là cực tiểu toàn cục của f trên D nếu f (x∗ ) ≤ f (x), ∀x ∈ D Các khái niệm cực đại địa phương và cực đại toàn cục được định nghĩa tương tự Đối với hàm tùy ý f trên tập D, ta ký hiệu tập tất cả các điểm cực . niệm và các tính chất cơ bả n của bài toán cực đại hàm lồi với ràng buộc lồi. Nội dung chính của chương này là trình bày thuật toán nhánh cận giải bài toán c ực đại hàm lồi với ràng buộc lồi. Do. bài toán cực tiểu hàm lồi với ràng buộc lồi. Đó là các thuật toán hướng có thể, Frank-Wolfe giải bài toán cực tiểu hàm trơn và thuật toán chiếu dưới đạo hàm xấp xỉ giải bài toán cực tiểu hàm không. x ∈ D} và tập nghiệm của hai bài toán này trùng nhau nên lý thuyết cực tiểu (hay cực đại) hàm lồi cũng chính là lý thuyết cực đại (hay cự c tiểu) hàm lõm. Bổ đề 2.1. Cho f là một hàm lồi mạnh,