TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI II KHOA TOÁN **************** ĐÀO THỊ HẬU PHƯƠNG PHÁP MIỀN TIN CẬY CHO CÁC BÀI TOÁN TỐI ƯU KHÔNG CÓ RÀNG BUỘC KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC Chuyên ngành: Giải tích Người hướng dẫn khoa học Th.S. Phùng Đức Thắng Hà Nội - 2015 2 LỜI CẢM ƠN Em xin chân thành cảm ơn Th.S Phùng Đức Thắng đã tận tình hướng dẫn, giúp đỡ em trong suốt thời gian thực hiện khóa luận. Em cũng xin được cảm ơn thầy Bùi Ngọc Mười đã góp ý chi tiết về cách trình bày một số kết quả trong khóa luận. Em xin chân thành cảm ơn các thầy, các cô trong tổ giải tích- khoa Toán, trường Đại học sư phạm Hà Nội 2 đã tạo mọi điều kiện giúp đỡ em hoàn thành khóa luận này. Em xin chân thành cảm ơn gia đình và bạn bè đã tạo mọi điều kiện thuân lợi cho em trong quá trình thực hiện khóa luận. Em xin chân thành cảm ơn. Hà Nội, tháng 05 năm 2015 Sinh viên Đào Thị Hậu 1 LỜI CAM ĐOAN Em xin cam đoan, dưới sự hướng dẫn của Th.S Phùng Đức Thắng khóa luận "Phương pháp miền tin cậy cho bài toán tối ưu không có ràng buộc" được hoàn thành không trùng với bất kỳ đề tài nào khác. Trong quá trình hoàn thành khóa luận, em đã thừa kế những thành tựu của các nhà khoa học với sự trân trọng và biết ơn. Hà Nội, tháng 05 năm 2015 Sinh viên Đào Thị Hậu 2 Mục lục Lời mở đầu 1 1 Thuật toán miền tin cậy cơ bản 3 1.1. Một số khái niệm cơ bản . . . . . . . . . . . . . . . . . . 3 1.2. Một số giả thiết với hàm mục tiêu và hàm xấp xỉ . . . . 6 1.2.1. Giả thiết cho hàm mục tiêu . . . . . . . . . . . . 6 1.2.2. Giả thiết cho hàm xấp xỉ . . . . . . . . . . . . . . 7 1.3. Điểm và một hàm xấp xỉ giảm . . . . . . . . . . . . . . . 9 1.3.1. Phương Cauchy . . . . . . . . . . . . . . . . . . 1.3.2. Điểm Cauchy cho hàm xấp xỉ dạng toàn phương 2 Sự hội tụ 9 10 15 2.1. Sự hội tụ đến điểm tới hạn bậc nhất . . . . . . . . . . . 15 2.2. Sự hội tụ đến điểm tới hạn bậc hai . . . . . . . . . . . . 23 Tài liệu tham khảo 31 3 Khóa luận tốt nghiệp Đào Thị Hậu Lời mở đầu Bài toán tối ưu có ứng dụng rộng rãi trong toán học cũng như trong đời sống. Nó được nghiên cứu một cách toàn diện nhờ các phương pháp định tính và định lượng như phương pháp gradient, phương pháp gradient chiếu, phương pháp Newton, phương pháp nhân tử Lagrange... Cùng với sự phát triển của khoa học công nghệ, chúng ta đã tạo ra những thuật toán hữu hiệu giúp ta giải các bài toán tối ưu một cách hiệu quả nhất. Và phương pháp miền tin cậy được xem là một trong số đó. Xét bài toán tìm cực tiểu hàm f : Rn −→ R, được giả thiết là khả vi liên tục đến cấp hai và bị chặn dưới ở trên Rn . Với mỗi điểm khởi đầu x0 ∈ Rn được chọn tùy ý, phương pháp miền tin cậy (thuật ngữ tiếng Anh là Trust-Region Method) cho phép tạo ra dãy lặp {xk } mà, tại mỗi bước k, việc chuyển từ điểm xk sang điểm xk+1 làm giảm hàm mục tiêu xấp xỉ, được ký hiệu bởi mk (x), của f (x). Một trong những cách xấp xỉ thông dụng nhất là thay hàm số f (x) bởi phần tuyến tính-toàn phương trong khai triểu Taylor bậc hai của nó tại điểm xk . Ở mỗi bước k, thay cho Rn người ta xét một hình cầu tâm xk với bán kính ∆k thích hợp. Quy tắc chọn ∆k , nhằm đảm bảo tốc độ tính toán cao nhất có thể được, là một phần nội dung quan trọng của phương pháp này. Cụ thể, tỷ số giữa độ giảm hàm mục tiêu f (x) và độ giảm của hàm xấp xỉ của nó tại bước k − 1, tức là hàm mk−1 (x), là cơ sở để xác định bán kính ∆k . Dưới một số điều kiện, dãy lặp {xk } hội tụ đến một điểm tới hạn bậc nhất của bài toán. Thuật toán miền tin cậy là thuật toán làm giảm hàm mục tiêu, tức là ta có f (xk+1 ) ≤ f (xk ) với mọi k. 1 Khóa luận tốt nghiệp Đào Thị Hậu Cuốn chuyên khảo [1] của các tác giả A. R. Conn, N. I. M. Gould, và P. L. Toint là một cẩm nang khá đầy đủ và chi tiết về lý thuyết phương pháp miền tin cậy. Lịch sử phát triển của phương pháp miền tin cậy và một số ứng dụng của các thuật toán miền tin cậy đã được giới thiệu ở [1, tr. 8-12]. Khi nghiên cứu phương pháp miền tin cậy, em quan tâm đến tính ổn định và sự hội tụ địa phương của dãy lặp, ở đây em cũng đã chứng minh một kết quả về tính ổn định và sự hội tụ địa phương của các dãy lặp {xk } được sinh ra bởi thuật toán miền tin cậy trong trường hợp bài toán không có ràng buộc. Khóa luận gồm hai chương. Chương 1: "Thuật toán miền tin cậy cơ bản" trình bày thuật toán miền tin cậy BTR và một số giả thiết cho hàm mục tiêu và hàm xấp xỉ trong [1, Chương 6]. Chương 2: "Sự hội tụ" chính là lời giải cho vấn đề tính ổn định và tốc độ hội tụ địa phương của dãy lặp {xk } được sinh ra bởi thuật toán miền tin cậy trong trường hợp bài toán không có ràng buộc [1, Chương 6]. 2 Chương 1 Thuật toán miền tin cậy cơ bản 1.1. Một số khái niệm cơ bản Trước hết ta xét bài toán tối ưu không có ràng buộc (P) Bài toán. (P ) : minn f (x). x∈R (1.1) trong đó f : Rn −→ R là hàm khả vi liên tục cấp hai và bị chặn dưới trong Rn . Định nghĩa 1.1. Tập điểm tới hạn bậc nhất của (P), được kí hiệu S(P), là: S(P ) = {x∗ ∈ Rn | ở đây x f (x∗ ) x f (x∗ ) = 0}, (1.2) là gradient của hàm f (x) tại điểm x∗ Chúng ta xem xét kĩ thuật để sinh ra một dãy lặp {xk }, mà ta hi vọng nó hội tụ tới điểm tới hạn bậc nhất của bài toán (1.1). Thuật toán miền tin cậy cơ bản cho bài toán (P) được tiến hành như sau. Với mỗi bước lặp xk , chúng ta xác định một hàm mục tiêu xấp xỉ mk (x) trong một lân cận thích hợp của xk , mà ta gọi là miền tin cậy. 3 Khóa luận tốt nghiệp Đào Thị Hậu Định nghĩa 1.2. Miền tin cậy là tập hợp các điểm Bk = {x ∈ Rn | ||x − xk || ≤ ∆k }. (1.3) ∆k được gọi là bán kính miền tin cậy và tại mỗi bước lặp ||.||k là một chuẩn phụ thuộc vào k. Cho hàm xấp xỉ này và miền tin cậy của nó, chúng ta tìm một bước thử sk tới một điểm thử xk + sk với mục đích giảm hàm xấp xỉ trong đó thỏa mãn tính bị chặn ||sk ||k ≤ ∆k . Ở đây, ta sẽ tính tỉ số giữa độ giảm hàm mục tiêu và độ giảm hàm xấp xỉ. Nếu tỉ số đủ lớn, tức hàm mục tiêu f (x) giảm nhanh chóng, khi đó điểm thử được chấp nhận và được chuyển sang bước lặp tiếp k+1. Ở bước k+1, điểm thử được xác định xk+1 = xk + sk và miền tin cậy sẽ được tăng lên hoặc giữ nguyên. Ngược lại nếu tỉ số nhỏ, thậm chí là một số âm, khi đó điểm thử bị bác bỏ và ở bước lặp tiếp theo vẫn giữ nguyên điểm thử này nhưng miền tin cậy sẽ bị thu hẹp. Khi đó, thuật toán miền tin cậy cơ bản (được viết tắt là thuật toán BTR), được mô tả như sau. Thuật toán 1.1. Thuật toán miền tin cậy cơ bản (BTR) Bước 0: Khởi chạy. Cho trước một điểm x0 ban đầu và một bán kính miền tin cậy ban đầu ∆0 . Các hằng số η1 , η2 , γ1 và γ2 cho trước thỏa mãn 0 < η1 ≤ η2 < 1 và 0 < γ1 ≤ γ2 < 1 (1.4) Tính f (x0 ) và đặt k = 0. Bước 1: Xác định hàm xấp xỉ mẫu.Chọn ||.||k và xác định một hàm mk xấp xỉ với hàm f tại xk trong Bk . Bước 2: Bước tính toán. Tính một bước sk : "đủ làm giảm hàm xấp xỉ" mk , sao cho xk + sk ∈ Bk . 4 Khóa luận tốt nghiệp Đào Thị Hậu Bước 3: Chấp nhận điểm thử. Tính f (xk + sk ) và xác định ρk = f (xk ) − f (xk + sk ) mk (xk ) − mk (xk + sk ) (1.5) nếu ρk ≥ η1 , sau đó xác định xk+1 = xk + sk ; ngược lại nếu ρk < η1 thì xk+1 = xk . Bước 4: Cập nhật bán kính miền tin cậy. Tập    ∆k , ∞ nếu ρk ≥ η2 ,    ∆k+1 ∈ γ2 ∆k , ∆k nếu ρk ∈ [η1 , η2 ),      γ1 ∆k , γ2 ∆k nếu ρk < η1 . (1.6) Tăng k thêm 1 và quay trở lại bước 1. Ta có thể lấy ví dụ, các hằng số thỏa mãn điều kiện (1.4) là 1 η1 = 0.01, η2 = 0.9, γ1 = γ2 = , 2 (1.7) nhưng những giá trị khác vẫn có thể phù hợp. Tại bước lặp mà ρk ≥ η1 , và do đó những lặp mà xk+1 = xk + sk , được gọi là bước lặp chấp nhận được, và chúng ta kí hiệu tập các chỉ số bởi kí hiệu S, tức là S = {k ≥ 0 | ρk ≥ η1 }. Tương tự, chúng ta cũng định nghĩa V = {k ≥ 0 | ρk ≥ η2 }, là tập các bước lặp chấp nhận được tốt. Chú ý rằng V ⊂ S. Sự lặp mà các chỉ số của nó không thuộc S được gọi là không chấp nhận được. Trong thực hành, thường chọn hàm xấp xỉ toàn phương dạng mk (xk + s) = mk (xk ) + gk , s + 5 1 s, Hk s , 2 (1.8) Khóa luận tốt nghiệp Đào Thị Hậu ở đây mk (xk ) = f (xk ) và gk = và Hk là một ma trận đối xứng xấp xỉ x f (xk ) xx f (xk ). Nếu Hk = 0, chúng ta nói rằng (1.8) là một hàm xấp xỉ bậc hai. Một cách cụ thể để tìm bước thử sk hoặc điều kiện " đủ giảm" không được mô tả cụ thể ở đây. Đặc biệt, khi thuật toán BTR không chứa bước dừng, ta giả thiết rằng có một chuỗi vô hạn {xk } được tạo ra. Nếu thuật toán BTR được thực hiện như một chương trình máy tính, nó sẽ dừng lại ngay khi bước lặp xk được đánh giá là "đủ gần điểm tới hạn". Trong trường hợp không có ràng buộc, tiêu chuẩn đơn giản nhất là chuẩn của gradient của hàm mục tiêu tại xk , || 1.2. x f (xk )||. Một số giả thiết với hàm mục tiêu và hàm xấp xỉ Để thuận tiện cho việc nêu các giả thiết trong các định lý hội tụ, chúng ta nhóm tất cả chúng lại trong một phần; phân biệt giữa giả thiết cho hàm mục tiêu và giả thiết cho hàm xấp xỉ. 1.2.1. Giả thiết cho hàm mục tiêu Ta có các giả thiết cho hàm mục tiêu AF.1 f (x) nhận giá trị thực và khả vi liên tục cấp 2 trong Rn . AF.2 f (x) bị chặn dưới trong Rn , nghĩa là, tồn tại một hằng số κlbf sao cho với mọi x ∈ Rn , f (x) ≥ κlbf . 6 Khóa luận tốt nghiệp Đào Thị Hậu AF.3 Ma trận Hessian của hàm mục tiêu bị chặn đều; tức là, tồn tại một hằng số dương κuf h sao cho, với mọi x ∈ Rn , t|| xx f (x)|| ≤ κuf h . Ta thấy giả thiết cuối cùng thì quá mạnh. Thực tế, ta thường cần tính bị chặn của || xx f (x)|| với giá trị x nằm giữa hai lần lặp liên tiếp của thuật toán cơ bản. Yêu cầu yếu hơn này tự động được thỏa mãn nếu những lần lặp vẫn trong một tập con bị chặn của Rn , như là, tập {x ∈ Rn |f (x) ≤ f (x0 )} với x0 tùy ý. Không mất tính tổng quát, chúng ta cũng có thể giả sử rằng κuf h ≥ 1. Cụm từ "lbf" và "ufh" xuất phát từ "lower bound on the objective function" và "upper bound on the objective function’s Hessian". 1.2.2. Giả thiết cho hàm xấp xỉ Ta sẽ giả thiết rằng hàm mk tại bước lặp thứ k xấp xỉ với hàm mục tiêu trong miền tin cậy Bk là một xấp xỉ bậc một trơn tốt của hàm mục tiêu. Do đó, chúng ta bù lại những giả thiết sau. AM.1 Với mọi k, hàm xấp xỉ mk là khả vi hai lần trong Bk . AM.2 Giá trị của hàm mục tiêu và hàm xấp xỉ phù hợp tại một dòng lặp; tức là, với mọi k, mk (xk ) = f (xk ) (1.9) AM.3 Gradient của mô hình tại xk bằng gradient của hàm mục tiêu; tức là, với mọi k, def gk = x mk (xk ) 7 = x f (xk ) (1.10) Khóa luận tốt nghiệp Đào Thị Hậu AM.4 Ma trận Hessian của hàm xấp xỉ cũng bị chặn trong miền tin cậy; tức là, || xx mk (x)|| ≤ κumh − 1 (1.11) với mọi k, khi κumh ≥ 1 là hằng số phụ thuộc vào k. Ta chú ý rằng những giả thiết này được đáp ứng nếu ta xem xét một miền tin cậy đơn giản nhưng rất quan trọng của phương pháp Newton trên miền bị chặn đóng, tức là, nếu chúng ta chọn mk sao cho (1.9) và (1.10) được thỏa mãn, như tốt hơn xx mk (xk + s) = xx f (xk ) (1.12) với mọi s sao cho xk + s ∈ Bk . Nếu ta giả thiết rằng hàm mục tiêu khả vi hai lần (ví dụ, AF.1), phương trình (1.11) sau đó kết quả từ (1.12) và AF.3. Điều này chưa được rõ ràng nếu (1.12) được giả sử khắp. Chúng ta cũng chú ý rằng AM.1-AM.4 cho phép trường hợp mà hàm mục tiêu không thể gần tới một hàm xấp xỉ. Ví dụ, chúng ta có thể xem xét trường hợp mà trong đó hàm mục tiêu có dạng f (x) = f0 (x, y(x)) (1.13) ở đó f0 (x, y) là một hàm số từ Rn × Rp vào R nó tương đối đơn giản để tính toán, nhưng y(x) thì phức tạp từ Rn vào Rp . Ví dụ, f0 có thể là một tiêu chí đơn giản cho một hệ thống được kí hiệu y(x) chỉ có thể được tính toán nhờ sử dụng một công cụ tính toán như là giải phương trình vi phân từng phần hoặc chạy một mô phỏng chuyên dụng. Trong trường hợp này, có thể xây dựng một hàm xấp xỉ myk (x) thích hợp của y(x) trong lân cận của xk và khi đó xác định mk (x) = f0 (x, myk (x)) (1.14) Những điều kiện AM.1- AM.4 của hàm xấp xỉ mk có thể được trình bày như là điều kiện của myk và f0 . 8 Khóa luận tốt nghiệp Đào Thị Hậu Chúng ta hoàn thiện những giả thiết trong thuật toán nhờ việc chỉ rõ mối liên hệ giữa các chuẩn ||.||k khác nhau xác định hình dạng của miền tin cậy trong (1.3). AN.1 Tồn tại một hằng số κune ≥ 1 sao cho, với mọi k, 1 κune ||x||k ≤ ||x|| ≤ κune ||x||k . với mọi x ∈ Rn Cụm từ "umh" và "une" xuất phát từ "upper bound on the model’s Hessian" và "uniform norm equivalence". 1.3. Điểm và một hàm xấp xỉ giảm Điểm cốt yếu trong thuật toán của ta là sự xác định bước k, để hàm xấp xỉ giảm trong miền tin cậy. Trong phần này, chúng ta đưa ra cách xác định bước lặp như thế từ một kĩ thuật tính toán đơn giản. 1.3.1. Phương Cauchy Định nghĩa 1.3. Phương Cauchy được xác định bởi def xCk (t) = {x | x = xk − tgk , t ≥ 0 và x ∈ Bk } Chú ý rằng xCk (t) = xk với mọi t ≥ 0 khi đó gk = 0. Trong phần này, def βk = 1 + max || x∈Bk xx mk (x)|| (1.15) được xem như là cận trên của độ cong. Sự xác định này và AM.4 cũng có nghĩa là βk ≤ κumh với mọi k. 9 (1.16) Khóa luận tốt nghiệp 1.3.2. Đào Thị Hậu Điểm Cauchy cho hàm xấp xỉ dạng toàn phương Nếu chúng ta giả thiết rằng hàm xấp xỉ của chúng ta là hàm toàn phương, tức là, nó có dạng (1.8), khi đó nó có thể có cực tiểu nằm trên phương Cauchy. Định nghĩa 1.4. Điểm Cauchy, kí hiệu là xCk (t), là điểm cực tiểu (duy nhất) của hàm xấp xỉ dọc theo phương Cauchy, tức xCk (t) = xk − tCk gk = {arg min mk (xk − tgk ) | t ≥ 0 và xk − tgk ∈ Bk }, (1.17) Nếu gk = 0. xk − tgk ∈ Bk tức ||x − xk || ≤ ∆k . Khi đó, ||xk − tCk gk − xk || ≤ ∆k , suy ra t||gk || ≤ ∆k . Do đó, t≤ ∆k . ||gk || Từ đó, điều kiện (1.17) có thể viết lại thành tCk = arg min mk (xk − tgk ) | 0 < t ≤ ∆k ||gk || Định lý 1.1. ([1, Theorem 6.3.1, p.125]) Nếu hàm xấp xỉ được cho bởi (1.8) và điểm Cauchy được xác định bởi (1.17), khi đó chúng ta có 1 ||gk || C , νk ∆k , mk (xk ) − mk (xCk ) ≥ ||gk || min 2 βk 10 (1.18) Khóa luận tốt nghiệp Đào Thị Hậu trong đó βk được xác định bởi (1.15) và νk = ||gk || . ||gk ||k (1.19) Chứng minh. Với mọi t ≥ 0 ta có: mk (xk − tgk ) = mk (xk ) − t||gk ||2 + 1 gk , Hk gk 2 (1.20) Trường hợp 1: gk , Hk gk > 0 (1.21) Khi đó ta tính toán giá trị của tham số t tại điểm cực tiểu của (1.20), kí hiệu tham số tối ưu là t∗k . Lấy vi phân theo tham số t của (1.20), ta được 0 = ||gk ||2 − t∗k gk , Hk gk từ đó suy ra t∗k ||gk ||2 = gk , Hk gk (1.22) Nếu t∗k ||gk || ≤ ∆k (tức điểm cực tiểu nằm trong miền tin cậy). Khi đó tCk = t∗k và thay vào (1.20) ta được 1 mk (xk ) − mk (xCk ) = t∗k ||gk ||2 − (t∗k )2 gk , Hk gk 2 4 ||gk || 1 ||gk ||4 = − gk , Hk gk 2 gk , Hk gk 1 ||gk ||4 = , 2 gk , Hk gk Theo bất đẳng thức Cauchy- Schwarz ta có | gk , Hk gk | ≤ ||gk ||||Hk gk || ≤ ||gk ||2 βk . Vì vậy mk (xk ) − mk (xCk ) 11 ||gk ||2 ≥ . 2βk (1.23) Khóa luận tốt nghiệp Đào Thị Hậu Nếu t∗k ||gk || > ∆k (1.24) (đường cực tiểu nằm ngoài miền tin cậy). Khi đó, ta có: tCk ||gk || = ∆k . (1.25) Kết hợp (1.22), (1.24) và (1.25) ta thấy tCk ||gk ||k < t∗k ||gk ||k hay t∗k ||gk ||2 > tCk . = gk , Hk gk Điều này dẫn tới gk , Hk gk < ||gk ||2 . tCk Ta có 1 mk (xk ) − mk (xCk ) = tCk ||gk ||2 − (tCk )2 gk , Hk gk 2 1 C 2 ||gk ||2 C 2 > tk ||gk || − (tk ) 2 tCk 1 = νkC ||gk ||∆k − νkC ||gk ||∆k , 2 do đó 1 mk (xk ) − mk (xCk ) > νkC ||gk ||∆k 2 với νkC được cho bởi (1.19). Nếu (1.26) gk , Hk gk < 0. Khi đó, ta có 1 mk (xk − tgk ) = mk (xk ) − t||gk ||2 + t2 gk , Hk gk 2 2 ≤ mk (xk ) − t||gk || 12 (1.27) Khóa luận tốt nghiệp Đào Thị Hậu với t ≥ 0. Trong trường hợp này, điểm Cauchy phải nằm trên biên của miền tin cậy, do đó (1.25) vẫn đúng. Có mk (xk ) − mk (xCk ) ≥ ||gk ||2 ∆k ||gk ||k = νkC ||gk ||∆k . Vì vậy 1 mk (xk ) − mk (xCk ) ≥ νkC ||gk ||∆k . 2 Từ (1.23), (1.26) và (1.28) ta có điều phải chứng minh. (1.28) Định lí 1.1 là một trường hợp đặc biệt của kết quả tổng quát cho bài toán tìm cực tiểu hóa của hàm toàn phương q(s) = f + g, s + 1 s, Hs 2 (1.29) với tất cả các điểm nằm dọc theo arcs = −tg trong miền ||s||α ≤ ∆, (1.30) chuẩn ||.||α cho trước tùy ý. Từ đây ta có hệ quả Hệ quả 1.1. ([1, Corollary 6.3.2, p.127]) Giả sử rằng sC là cực tiểu của hàm toàn phương (1.29) trong miền tin cậy (1.30) cho mọi điểm nằm dọc theo arcs = −tg. Khi đó chúng ta có ||g|| 1 , νC ∆ , q(0) − q(sC ) ≥ ||g|| min 2 1 + ||H|| khi νC = ||g|| ||g||α Chứng minh. Điều này được suy ra từ Định lí 1.1 nếu chúng ta chọn q(s) = mk (xk + s), f = mk (xk ), g = g(xk ), H = Hk , ∆ = ∆k và ||.||α = ||.||k và thay βk bởi cận trên. 13 Khóa luận tốt nghiệp Đào Thị Hậu Chúng ta thấy hàm xấp xỉ giảm tại điểm Cauchy phụ thuộc vào giá trị của νkC , ít nhất là bán kính miền tin cậy ∆k . Ở mỗi bước lặp ta thường sử dụng chuẩn Eclidean ||.||2 , khi đó νk = 1. Đối với các chuẩn khác thì AN.1 đảm bảo rằng νkC ≥ 1 κune >0 Khi đó, điểm Cauchy thỏa mãn AA.1 mk (xk ) − mk (xk + sk ) ≥ κmdc ||gk || min ||gk || , ∆k βk (1.31) với mọi k và hằng số κmdc ∈ (0, 1). Điều này có nghĩa là hàm xấp xỉ sẽ giảm một phần tại điểm Cauchy. Chữ A thứ hai trong cụm từ AA có nguồn gốc từ "accept", cụm từ ”mdc” là viết tắt của "model decrease". 14 Chương 2 Sự hội tụ 2.1. Sự hội tụ đến điểm tới hạn bậc nhất Bây giờ chúng ta sẽ đi chứng minh rằng, với hệ thống những giả thiết đã nêu trong phần trước, tất cả các điểm giới hạn x∗ của chuỗi lặp {xk } được tạo ra bởi thật toán BTR là điểm tới hạn bậc nhất của bài toán (1.1), tức là, chúng thỏa mãn x f (x∗ ) =0 không phụ thuộc vào vị trí vủa vecto x0 ban đầu và sự lựa chọn bán kính miền tin cậy ∆0 ban đầu. Định lí sau sẽ cho phép chúng ta tính sai số giữa hàm mục tiêu và hàm xấp xỉ tại điểm xk + sk ∈ B. Định lý 2.1. ([1, Theorem 6.4.1, p.133]) Giả sử các điều kiện AF.1, AF.3, và AM.1- AM.4 được thỏa mãn. Khi đó chúng ta có |f (xk + sk ) − mk (xk + sk )| ≤ [νks ]2 max[κuf h , κumh ]∆k 2 , khi xk + sk ∈ Bk và νks = ||sk || . ||sk ||k 15 (2.1) (2.2) Khóa luận tốt nghiệp Đào Thị Hậu Hơn nữa, nếu AN.1 vẫn đúng, khi đó |f (xk + sk ) − mk (xk + sk )| ≤ κubh ∆k 2 (2.3) ở đây def κubh = κune 2 max[κuf h , κumh ]. (2.4) Chứng minh. Với các giả thiết AF.1 và AM.1, chúng ta có thể áp dụng định lí giá trị trung bình cho hàm mục tiêu và hàm xấp xỉ. Ta có f (xk + sk ) = f (xk ) + sk , x f (xk ) + 1 sk , 2 xx f (ξk )sk (2.5) với mọi ξk ∈ [xk , xk + sk ], và tương tự mk (xk + sk ) = mk (xk ) + sk , gk + 1 sk , 2 xx mk (ζk )sk (2.6) với ζk ∈ [xk , xk + sk ]. Trừ vế với vế của cho và lấy giá trị tuyệt đối, với chú ý rằng mk (xk ) = f (xk ) và x f (xk ) 1 |f (xk + sk ) − mk (xk + sk )| = | sk , 2 1 ≤ | sk , 2 1 + | sk , 2 = gk , ta được xx f (ξk )sk − sk , xx f (ξk )sk | xx mk (ζk )sk xx mk (ζk )sk | |. Theo bất đẳng thức Cauchy- Schwarz, có 1 |f (xk + sk ) − mk (xk + sk )| ≤ (|| xx f (ξk )|| + || xx mk (ζk )||)||sk ||2 2 1 ≤ (κuf h + κumh − 1)||sk ||2 2 1 = (κuf h + κumh − 1)[νks ]2 ||sk ||k 2 2 với xk + sk ∈ Bk thì ||sk || ≤ ∆k , do đó 1 |f (xk + sk ) − mk (xk + sk )| ≤ (κuf h + κumh − 1)[νks ]2 ∆k 2 2 16 (2.7) Khóa luận tốt nghiệp Đào Thị Hậu Vậy định lí đã được chứng minh, trong đó (2.3) được suy ra từ AN.1 và cách xác định (2.2), (2.4). Định lí cho thấy mối liên hệ giữa sai số giữa hàm mục tiêu và hàm xấp xỉ với bán kính miền tin cậy. Khi bán kính này đủ nhỏ thì hàm xấp xỉ sẽ gần với hàm mục tiêu hơn; tức là với một miền tin cậy đủ nhỏ, việc làm giảm hàm xấp xỉ cũng sẽ làm giảm hàm mục tiêu. Định lí sau đây sẽ đảm bảo sự thành công của lần lặp khi mà lần lặp hiện tại không phải là tới hạn bậc nhất và miền tin cậy đủ nhỏ. Định lý 2.2. ([1, Theorem 6.4.2, p.134]) Giả sử AF.1, AF.3, AN.1, AM.1- AM.4 và AA.1 được thỏa mãn. Hơn nữa, chúng ta giả sử thêm ||gk || = 0 và κmdc ||gk ||(1 − η2 ) κubh khi đó bước lặp k là chấp nhận được tốt và ∆k ≤ ∆k+1 ≥ ∆k . (2.8) (2.9) Chứng minh. Với η2 ∈ (0.1) và 0 < κmdc < 1 thì κmdc (1 − η2 ) < 1 Khi đó κmdc ||gk ||(1 − η2 ) ||gk || < . κubh κubh Mặt khác, với những điều kiện (1.16) và (2.4) ta có: ∆k ≤ κubh > κumh > βk , do đó ∆k < ||gk || βk (2.10) Kết hợp với AA.1 ta có mk (xk )−mk (xk +sk ) ≥ κmdc ||gk || min 17 ||gk || , ∆k = κmdc ||gk ||∆k . (2.11) βk Khóa luận tốt nghiệp Đào Thị Hậu Mặt khác, |ρk − 1| = f (xk + sk ) − mk (xk + sk ) . mk (xk )m( xk + sk ) Theo Định lí 2.1 thì |f (xk + sk ) − mk (xk + sk )| ≤ κubh ∆k Do đó |ρk − 1| ≤ κubh ∆k ≤ 1 − η2 . κmdc ||gk || (2.12) Từ đây ta thấy ρk ≥ η2 và bước lặp là chấp nhận được tốt. Ngoài ra (1.6) đảm bảo cho (2.9) là đúng. Từ tính chất này, chúng ta có thể chứng minh bán kính không thể trở nên quá nhỏ. Định lý 2.3. ([1, Theorem 6.4.3, p.135]) Giả sử rằng AF.1- AF.3, AN.1, AM.1- AM.4 và AA.1 được thỏa mãn. Hơn nữa giả sử thêm rằng tồn tại một hằng số κlbg > 0 sao cho ||gk || ≥ κlbg với mọi k. Khi đó tồn tại một hằng số κlbd > 0 sao cho ∆k ≥ κlbd (2.13) với mọi k. Chứng minh. Giả sử k là bước lặp đầu tiên thỏa mãn ∆k+1 ≤ γ1 κmdc κlbg (1 − η2 ) . κubh (2.14) Khi đó theo cách xác định bán kính miền tin cậy (1.6) thì γ1 ∆k ≤ ∆k+1 , và do đó γ1 ∆k ≤ γ1 κmdc κlbg (1 − η2 ) κmdc κlbg (1 − η2 ) hay ∆k ≤ κubh κubh Với giả thiết về ||gk || thì khi đó ∆k ≤ κmdc ||gk ||(1 − η2 ) κubh 18 Khóa luận tốt nghiệp Đào Thị Hậu và do đó theo định lí (2.2) ta có ∆k+1 ≥ ∆k . Do đó ∆k ≤ γ1 κmdc κlbg (1 − η2 ) . κubh (2.15) Điều này mâu thuẫn với điều giả sử lúc đầu k là bước lặp đầu tiên để (2.14) là đúng. Vậy chỉ có thể xảy ra trường hợp κlbd = γ1 κmdc κlbg (1 − η2 ) . κubh Cụm "lbg", "lbd" lần lượt có nguồn gốc từ "lower bound on the gradient", "lower bound on delta". Hai kết quả có trước đủ để chứng minh tính tới hạn của điểm giới hạn của dãy các bước lặp khi chỉ có hữu hạn các bước lặp chấp nhận được. Định lý 2.4. ([1, Theorem 6.4.4, p.136]) Giả sử rằng AF.1, AF.3, AN.1, AM.1- AM.4 và AA.1 được thỏa mãn. Hơn nữa giả sử thêm rằng có hữu hạn các bước lặp chấp nhận được. Khi đó xk = x∗ với k đủ lớn và x∗ là điểm tới hạn bậc nhất của bài toán (1.1). Chứng minh. Theo giả thiết thì tồn tại chỉ số k0 của bước lặp chấp nhận được cuối cùng. Khi đó theo thuật toán thì xk0 +1 = xk0 +j với mọi j > 1 Đặt x∗ = xk0 +1 . 19 Khóa luận tốt nghiệp Đào Thị Hậu Khi đó, x∗ = xk với mọi k ≥ k0 + 1 tức x∗ là giới hạn của dãy {xk }. x f( x∗ ) Ta đi chứng minh = 0. Theo (1.4) và (1.6) thì dãy ∆k là đơn điệu giảm, hội tụ về 0. Nếu ||gk0 +1 || > 0 ta có ||gk0 +1 || = || x f( xk0 +j )|| = || x f( xk0 +1 )|| = gk0 +1 (j ≥ 1). Khi đó tồn tại số k1 > k0 sao cho ∆k1 ≤ κmdc ||gk+1 ||(1 − η2 ) κmdc ||gk1 ||(1 − η2 ) = . κubh κubh Theo Định lí 2.2 thì bước lặp k1 chấp nhận được tốt. Điều này mâu thuẫn với giả sử ban đầu k0 là bước lặp chấp nhận được tốt cuối cùng. Do đó, ||gk0 +1 || = 0 và x∗ là điểm tới hạn bậc nhất. Định lý 2.5. ([1, Theorem 6.4.5, p.136]) Giả sử rằng AF.1- AF.3, AN.1, AM.1- AM.4 và AA.1 được thỏa mãn. Khi đó ta có lim inf || k→∞ x f (xk )|| = 0. (2.16) Chứng minh. Trường hợp 1: nếu có hữu hạn bước lặp chấp nhận được thì theo Định lí 2.4 ta có || x f (xk )|| = 0 do đó (2.16) là đúng. Trường hợp 2: có vô hạn bước lặp chấp nhận được. Giả sử (2.16) là không đúng. Khi đó, tồn tại > 0 và chỉ số k0 > 0 thỏa mãn || x f (xk )|| = ||gk || ≥ 20 (2.17) Khóa luận tốt nghiệp Đào Thị Hậu với mọi k > k0 . Xét bước lặp chấp nhận được k, tức k ∈ S = {k ≥ k0 | ρk ≥ η1 }. Khi đó, với AA.1 và các điều kiện (1.16), (2.17), (2.13) ta có f (xk ) − f (xk+1 ) ≥ η1 [mk (xk ) − mk (xk + sk )] ≥ κmdc η1 min κumh (2.18) , κlbd . Lấy tổng tất cả các bước lặp từ k0 đến k, ta được k [f (xj ) − f (xj+1 )] ≥ σk κmdc min f (xk0 ) − f (xk+1 ) = j=0,j∈S κumh , κlbd trong đó σk là tổng số bước lặp chấp nhận được cho đến bước thứ k. Vì có vô hạn các bước lặp chấp nhận được nên lim σk = +∞. k→∞ Khi đó , κlbd ≥ f (xk+1 ) κumh do đó dãy {f (xk+1 )} không bị chặn dưới. Điều này mâu thuẫn với AF.2. f (xk0 ) − σk κmdc min Vậy điều giả sử là sai. Từ đó ta có điều phải chứng minh. Định lý 2.6. ([1, Theorem 6.4.6, p.137]) Nếu AF.1- AF.3, AN.1, AM.1AM.4 và AA.1 vẫn thỏa mãn thì lim || k→∞ x f (xk )|| = 0. (2.19) Chứng minh. Giả sử (2.19) là không đúng. Khi đó, tồn tại > 0 và một dãy con các bước lặp chấp nhận được {xti }, ti ∈ S sao cho || x f (xti )|| = ||gti || ≥ 2 > 0 (2.20) với mọi i. Theo Định lí 2.5 thì với mỗi ti tồn tại một bước lặp chấp nhận được đầu tiên l(ti ) > ti sao cho ||gl(ti ) < 21 Khóa luận tốt nghiệp Đào Thị Hậu def Kí hiệu li = l(ti ), khi đó chúng ta thu được một dãy con khác xl(ti ) của S sao cho ||gk || ≥ vớiti ≤ k < li và ||gli || < (2.21) Từ (2.20) và (2.21) ta có ||gti − gk || ≥ ||gti || − ||gk || ≥ (2.22) Ta kí hiệu tập các chỉ số k thỏa mãn (2.21) là tập def K = {k ∈ S | ti ≤ k < li } và dễ thấy K ∈ S Theo AA.1 và (2.21) và (1.16) ta có f (xk ) − f (xk+1 ) ≥ η1 [mk (xk ) − mk (xk + sk )] ≥ κmdc η1 min κumh , ∆k (2.23) với mọi k ∈ K. Tuy nhiên, theo AF.2 thì dãy {f (xk } là đơn điệu giảm và bị chặn. Do đó nó hội tụ và vế trái của (2.23) tiến dần về 0 khi k tiến tới vô cùng. Điều này dẫn tới vế phải của (2.23) cũng tiến tới 0, khi đó ∆k ≤ κumh hay lim k→∞,k∈K ∆k = 0. Khi đó ta có ∆k ≤ 1 κmdc η1 [f (xk ) − f (xk+1 )] (2.24) với k ∈ K đủ lớn. Từ AN.1 và (2.2), với i đủ lớn li −1 ||xti − xli || ≤ ||xj − xj+1 || j=ti ,j∈K li −1 υjs ∆j ≤ j=ti ,j∈K ≤ κune [f (xti − f (xli ]. κmdc η1 22 (2.25) Khóa luận tốt nghiệp Đào Thị Hậu Vì AF.2 và dãy {f (xk )} là đơn điệu giảm nên vế phải của bất đẳng thức này phải hội tụ về 0, và khi đó chúng ta có ||xti − xli || cũng hội tụ về 0 khi i tiến tới vô cùng. Do tính liên tục của gradient AF.1, chúng ta suy ra || x f (xti ) − x f (xli )||, và theo AM.3, ||gti − gli || cũng sẽ hội tụ về 0. Điều này mâu thuẫn với (2.22). Do đó, không tồn tại dãy con nào thỏa mãn (2.20). Vậy định lý đã được chứng minh. 2.2. Sự hội tụ đến điểm tới hạn bậc hai Định nghĩa 2.1. Nếu hàm f(x) khả vi liên tục cấp 2 thì ma trận Hessian xx f (x) được gọi là nửa xác định dương khi s, xx f (x∗ )s ≥ 0 (2.26) với mọi s ∈ Rn . Định nghĩa 2.2. Điểm x∗ được gọi là điểm tới hạn bậc hai nếu nó thỏa mãn: (i) (ii) x f (x∗ ) =0 xx f (x) là nửa xác dịnh dương Bổ đề 2.1. ([1, lemma 6.5.1, p.140]) Nếu AM.1 được thỏa mãn và λmin [ với mọi x ∈ [xk , xk + sk ] và với xx mk (x)] ≥ (2.27) > 0 thì 2 ||sk || ≤ ||gk ||. (2.28) Chứng minh. Xét hàm mục tiêu giảm tại điểm xk + sk mk (xk ) − mk (xk + sk ) = − gk , sk − 23 1 sk , 2 xx mk (ξk )sk Khóa luận tốt nghiệp Đào Thị Hậu với mọi ξ ∈ [xk , xk + sk ]. Nếu mk (xk + sk ) = mk (xk ) Khi đó theo AM.3 thì gk = x f (xk ) = 0, do đó sk , xx mk (ξk )sk = 0. Mặt khác, theo (2.27) thì < sk , xx mk (ξk )sk > ≥ ||sk ||2 từ đây suy ra sk = 0. Và hiển nhiên (2.28) là đúng. Nếu mk (xk + sk ) < mk (xk ) ta có sk = 0. Đặt 1 def φ(t) = mk (xk ) − mk (xk + tsk ) = −t gk , sk − t2 sk , 2 xx mk (ξk )sk (2.29) với t > 0. Do (2.27) và sk = 0 nên sk , xx mk (ξk )sk > 0. Hơn nữa, φ(0) = 0 và φ(1) > 0. Theo tính chất đối xứng của hàm toàn phương, ta có t∗ = arg max φ(t) ≥ t 1 . 2 (2.30) Mặt khác, t∗ = | gk , sk | ||gk || ≤ . sk , xx mk (ξk )sk ||sk || Kết hợp điều này với (2.30) ta có (2.28) Vậy bổ đề đã được chứng minh. Định lý 2.7. ([1, theorem 6.5.2, p.141]) Giả sử AF.1- AF.3, AM.1AM.4 và AA.1 được thỏa mãn, hơn nữa dãy con các bước lặp {xki } hội tụ đến điểm tới hạn bậc nhất x∗ và tồn tại một hằng số κsmh > 0 sao cho min λmin [ x∈Bk xx mk (x)] khi xk đủ gần x∗ . Cuối cùng giả sử ≥ κsmh xx f (x∗ ) các bước lặp {xk } hội tụ tới điểm x∗ . 24 (2.31) không suy biến. Khi đó dãy Khóa luận tốt nghiệp Đào Thị Hậu Chứng minh. Nếu chỉ có hữu hạn các bước lặp chấp nhận được, thì theo Định lý 2.4 và2.6 dãy các bước lặp {xk } sẽ hội tụ đến x∗ . Xét trường hợp có vô hạn các bước lặp chấp nhận được. Không mất tính tổng quát ta giả sử dãy con {ki , i ∈ N} là dãy chỉ số của các bước lặp chấp nhận được, tức là xki +1 = xki + sk (2.32) với mọi i ∈ N. Chọn δ > 0 đủ nhỏ để (2.31) được thỏa mãn mọi k sao cho ||xk − x∗ || ≤ 0 và || xx f (x) − xx f (x∗ )|| ≤ 1 min[σ, 1, κsmh ] 4 trong đó σ > 0 là giá trị riêng nhỏ nhất của ma trận xx f (x∗ ). (2.33) Bất đẳng thức (2.33) có được là do tính liên tục của Hessian của hàm mục tiêu (theo AM.1). Đặt 1 min[σ, 1, κsmh ] 4 Vì dãy {xki } hội tụ đến x∗ ta có thể chọn i1 > 0 đủ lớn sao cho δ0 := ||xki − x∗ || ≤ κsmh δ = δ1 2δ0 + κsmh (2.34) với mọi i ≥ i1 và ||gk || ≤ δ0 δ1 < δ (2.35) với mọi k ≥ ki1 . Bất đẳng thức (2.34) có được là do giả sử {xki } hội tụ đến x∗ và (2.35) là do Định lý 2.6 và bất đẳng thức δ0 < 1 và δ1 < δ. Áp dụng Bổ đề 2.1 tại bước lặp ki với = κsmh ta có ||ski || ≤ 2 κsmh ||gki ||. (2.36) Kết hợp (2.32), (2.34), (2.35) và (2.36) có ||xki +1 − x∗ || ≤ ||xki +1 − xki || + ||xki − x∗ || = ||xki − x∗ || + ||ski || 2δ0 ≤ 1+ δ1 = δ. κsmh 25 (2.37) Khóa luận tốt nghiệp Đào Thị Hậu Bây giờ ta giả sử ||xki +1 − x∗ || > δ1 . (2.38) Ta có gki +1 = x f (xki +1 ) = x f (x∗ ) − G∗ (xki +1 − x∗ ) trong đó 1 G∗ = xx f (xki +1 + t(x∗ − xki +1 ))dt. (2.39) 0 Vì x∗ là điểm tới hạn bậc nhất nên x f (x∗ ) = 0. Do đó ||gki +1 || = || xx f (x∗ )(xki +1 − x∗ ) + (G∗ − ≥ || xx f (x∗ )(xki +1 − x∗ )|| − ||G∗ − > σδ1 − ||G∗ − xx f (x∗ ))(xki +1 xx f (x∗ )|| − x∗ )|| ||(xki +1 − x∗ )|| xx f (x∗ )||δ. (2.40) Mặt khác, từ (2.39) và (2.33) ta có 1 ||G∗ − xx f (x∗ )|| = [ xx f (xki +1 + t(x∗ − xki +1 )) − xx f (x∗ )]dt 0 ≤ max || t∈[0,1] xx f (xki +1 + t(x∗ − xki +1 )) − xx f (x∗ )|| ≤ δ0 . (2.41) Kết hợp (2.40), (2.41), định nghĩa δ1 trong (2.34) và định nghĩa δ0 trong (2.33) ta có ||gki +1 || > σδ1 − δ0 δ 2δ0 + κsmh κsmh δ0 δ1 (3κsmh − 2δ0 ) = κsmh ≥ 4δ0 δ1 − δ0 δ1 > δ0 δ1 . 26 Khóa luận tốt nghiệp Đào Thị Hậu Điều này là không thể vì (2.35), và do đó ||xki +1 − x∗ || ≤ δ1 < δ. Tất cả các đều kiện được thỏa mãn tại điểm xki cũng vẫn được thỏa mãn tại điểm xki +1 , và với mọi j ≥ 1 ta cũng có ||xki +j − x∗ || ≤ δ1 < δ. Khi δ nhỏ tùy ý thì dãy {xk } sẽ hội tụ tới điểm x∗ . Ở đây, cụm từ "smh" có nguồn gốc từ "smallest eigenvalue of the model’ s Hessian". Chúng ta sẽ đưa thêm giả thiết về hàm mục tiêu và hàm xấp xỉ. AM.5 Giả sử lim || k→∞ xx f (xk ) − xx mk (xk )|| = 0 khi lim ||gk || = 0. k→∞ (2.42) Bổ đề 2.2. ([1, lemma 6.5.3, p.144]) Giả sử AF.1- AF.3, AM.1- AM.3 và AM.5 được thỏa mãn. Giả sử tồn tại một dãy con {ki } và hằng số κmqd > 0 sao cho mki (xki ) − mki (xki + ski ) ≥ κmqd ||ski ||2 (2.43) với mọi i đủ lớn. Cuối cùng giả sử lim ||ski || = 0. i→∞ Khi đó ρki ≥ η2 với i đủ lớn. Chứng minh. Với mọi k đủ lớn và với mọi ξki , ζki ∈ [xki , xki + ski ] ta có |ρki − 1| = f (xki + ski ) − mki (xki + ski ) . mki (xki ) − mki (xki + ski ) 27 Khóa luận tốt nghiệp Đào Thị Hậu Có |f (xki + ski ) − mki (xki + ski )| ≤ | ski , xx f (ξki )ski − ski , |. xx mki (ζki )ski Và theo (2.43) thì 1 1 ≤ |mki (xki ) − mki (xki + ski )| κmqd ||ski ||2 do đó 1 | ski , κmqd ||ski ||2 1 | ski , [ = κmqd ||ski ||2 |ρki − 1| ≤ xx f (ξki )ski xx f (ξki ) − ski , − | xx mki (ζki )ski xx mki (ζki )]ski | Theo bất đẳng thức Cauchy- Schwarz thì | ski , [ xx f (ξki ) − xx mki (ζki )]ski | ≤ ||ski ||2 || − xx f (ξki ) xx mki (ζki )|| suy ra 1 ||ski ||2 || xx f (ξki ) − 2 κmqd ||ski || 1 ≤ || xx f (ξki ) − xx f (xki )|| κmqd |ρki − 1| ≤ + || xx f (xki ) − + || xx mki (xki ) − xx mki (ζki )|| (2.44) xx mki (xki )|| xx mki (ζki )|| . Do giả thiết ||ski || tiến dần tới 0 khi i dần tới vô cùng và ||ξki − xki || ≤ ||ski || và ||ζki − xki || ≤ ||ski || nên || xx f (ξki ) − xx f (xki )|| → 0 và || xx mki (xki ) − xx mki (ζki )|| →0 khi i → 0. Mặt khác, theo AM.5 và Định lý 2.6 thì || 28 xx f (xki ) − xx mki (xki )|| sẽ Khóa luận tốt nghiệp Đào Thị Hậu nhỏ tùy ý. Vì vậy ρki → 1 khi i → ∞. Vậy với i đủ lớn thì ρki ≥ η2 . Ở đây, cụm từ "mqd" có nguồn gốc từ "model quadratic decrease". Bổ đề 2.3. ([1, lemma 6.5.4, p.145]) Giả sử AF.1- AF.3, AM.1- AM.3 và AM.5 được thỏa mãn và tồn tại một hằng số κmqd > 0 sao cho mk (xk ) − mk (xk + sk ) ≥ κmqd ||sk ||2 > 0 (2.45) với k đủ lớn. Cuối cùng giả sử lim ||sk || = 0. k→∞ Khi đó tất cả các bước lặp đều chấp nhận được tốt và ∆k bị chặn khỏi 0. Chứng minh. Áp dụng Bổ đề 2.2, với k đủ lớn, thì các bước lặp là chấp nhận được tốt. Theo thuật toán BTR, trong mỗi bước lặp chấp nhận được, bán kính miền tin cậy ∆k là không giảm; tức nó bị chặn khỏi 0. Định lý 2.8. ([1, theorem 6.5.5, p.146]) Giả sử AF.1- AF.3, AN.1, AM.1- AM.5 và AA.1 được thỏa mãn và thuật toán BTR tạo ra một dãy con của dãy các bước lặp {xki } hội tụ đến điểm tới hạn bậc nhất x∗ . Hơn nữa giả sử thêm sk = 0 với mọi k đủ lớn. Cuối cùng giả sử xx f (x∗ ) là ma trận xác định dương. Khi đó dãy các bước lặp chấp nhận được tốt {xk } sẽ hội tụ tới x∗ và bán kinh miền tin cậy ∆k bị chặn khỏi 0. Chứng minh. Vì dãy {xki } hội tụ tới điểm x∗ với gki = x f (xki ) x f (x∗ ) nên dãy {||gk ||} sẽ hội tụ về 0. Do ma trận là xác định dương nên λmin ( xx f (x∗ )) tồn tại một hằng số λ2 sao cho λmin ( đó, theo AM.5 thì xx mki (x) = 0, và vì xx f (x∗ ) =0 > 0. Mặt khác, vì xki → x∗ nên xx f (x∗ )) > λ2 với i đủ lớn. Do là xác định dương với i đủ lớn và x ∈ Bk . 29 Khóa luận tốt nghiệp Đào Thị Hậu Đồng thời, tồn tại một hằng số κsmh > 0 sao cho (2.31) được thỏa mãn. Theo Định lý 2.7 thì toàn dãy {xk } sẽ hội tụ tới x∗ . Mặt khác, theo Bổ đề 2.1 thì ||gk || ≥ κsmh ||sk || > 0 2 (2.46) với k đủ lớn. Do AA.1 và các bất đẳng thức ||sk || = υks ||sk ||k ≤ υks ∆k , βk ≤ κumh và υks ≤ κune (được xác định bởi AN.1), với k đủ lớn, ta có 1 κsmh ||sk || mk (xk ) − mk (xk + sk ) ≥ κsmh κmdc ||sk || min , ∆k 2 2βk κsmh 1 1 , ≥ κsmh κmdc ||sk ||2 min 2 2βk κune ≥ δ||sk ||2 . trong đó 1 κsmh 1 . δ = κsmh κmdc min , 2 2βk κune Hơn nữa, dãy {||gk ||} sẽ hội tụ về 0. Từ (2.46) ta thu được lim ||sk || = 0. k→∞ Áp dụng Bổ đề 2.4 với κmqd = δ ta có điều phải chứng minh. 30 (2.47) Kết luận chung Khóa luận đã trình bày một số kiến thức về phương pháp Miền tin cậy cho các bài toán tối ưu phi tuyến không có ràng buộc; tính ổn định và sự hội tụ địa phương của dãy lặp, và chứng minh một kết quả về tính ổn định và sự hội tụ địa phương của các dãy lặp {xk } được sinh ra bởi thuật toán miền tin cậy trong trường hợp bài toán không có ràng buộc, dựa theo cuốn chuyên khảo [1]. 31 Tài liệu tham khảo [1] A. R. Conn, N. I. M. Gould, and P. L. Toint, Trust-Region Methods, MPS-SIAM Series on Optimization, Philadelphia, 2000. [2] J. Nocedal, S. J. Wright, Numerical Optimization, SpringerVerlag, New York, 1999. [3] B. T. Polyak, Introduction to Optimization, Optimization Software, Inc., New York, 1987. [4] N. N. Tam, N. D. Yen, Continuity properties of the KarushKuhn-Tucker point set in quadratic programming problems, Math. Program., 2 (1999), 193–206. 32 [...]... δ ta có điều phải chứng minh 30 (2.47) Kết luận chung Khóa luận đã trình bày một số kiến thức về phương pháp Miền tin cậy cho các bài toán tối ưu phi tuyến không có ràng buộc; tính ổn định và sự hội tụ địa phương của dãy lặp, và chứng minh một kết quả về tính ổn định và sự hội tụ địa phương của các dãy lặp {xk } được sinh ra bởi thuật toán miền tin cậy trong trường hợp bài toán không có ràng buộc,... (2.2), (2.4) Định lí cho thấy mối liên hệ giữa sai số giữa hàm mục tiêu và hàm xấp xỉ với bán kính miền tin cậy Khi bán kính này đủ nhỏ thì hàm xấp xỉ sẽ gần với hàm mục tiêu hơn; tức là với một miền tin cậy đủ nhỏ, việc làm giảm hàm xấp xỉ cũng sẽ làm giảm hàm mục tiêu Định lí sau đây sẽ đảm bảo sự thành công của lần lặp khi mà lần lặp hiện tại không phải là tới hạn bậc nhất và miền tin cậy đủ nhỏ Định... trong miền tin cậy; tức là, || xx mk (x)|| ≤ κumh − 1 (1.11) với mọi k, khi κumh ≥ 1 là hằng số phụ thuộc vào k Ta chú ý rằng những giả thiết này được đáp ứng nếu ta xem xét một miền tin cậy đơn giản nhưng rất quan trọng của phương pháp Newton trên miền bị chặn đóng, tức là, nếu chúng ta chọn mk sao cho (1.9) và (1.10) được thỏa mãn, như tốt hơn xx mk (xk + s) = xx f (xk ) (1.12) với mọi s sao cho xk... nằm trên biên của miền tin cậy, do đó (1.25) vẫn đúng Có mk (xk ) − mk (xCk ) ≥ ||gk ||2 ∆k ||gk ||k = νkC ||gk ||∆k Vì vậy 1 mk (xk ) − mk (xCk ) ≥ νkC ||gk ||∆k 2 Từ (1.23), (1.26) và (1.28) ta có điều phải chứng minh (1.28) Định lí 1.1 là một trường hợp đặc biệt của kết quả tổng quát cho bài toán tìm cực tiểu hóa của hàm toàn phương q(s) = f + g, s + 1 s, Hs 2 (1.29) với tất cả các điểm nằm dọc... tất cả các điểm giới hạn x∗ của chuỗi lặp {xk } được tạo ra bởi thật toán BTR là điểm tới hạn bậc nhất của bài toán (1.1), tức là, chúng thỏa mãn x f (x∗ ) =0 không phụ thuộc vào vị trí vủa vecto x0 ban đầu và sự lựa chọn bán kính miền tin cậy ∆0 ban đầu Định lí sau sẽ cho phép chúng ta tính sai số giữa hàm mục tiêu và hàm xấp xỉ tại điểm xk + sk ∈ B Định lý 2.1 ([1, Theorem 6.4.1, p.133]) Giả sử các. .. thuận tiện cho việc nêu các giả thiết trong các định lý hội tụ, chúng ta nhóm tất cả chúng lại trong một phần; phân biệt giữa giả thiết cho hàm mục tiêu và giả thiết cho hàm xấp xỉ 1.2.1 Giả thiết cho hàm mục tiêu Ta có các giả thiết cho hàm mục tiêu AF.1 f (x) nhận giá trị thực và khả vi liên tục cấp 2 trong Rn AF.2 f (x) bị chặn dưới trong Rn , nghĩa là, tồn tại một hằng số κlbf sao cho với mọi... xấp xỉ bậc hai Một cách cụ thể để tìm bước thử sk hoặc điều kiện " đủ giảm" không được mô tả cụ thể ở đây Đặc biệt, khi thuật toán BTR không chứa bước dừng, ta giả thiết rằng có một chuỗi vô hạn {xk } được tạo ra Nếu thuật toán BTR được thực hiện như một chương trình máy tính, nó sẽ dừng lại ngay khi bước lặp xk được đánh giá là "đủ gần điểm tới hạn" Trong trường hợp không có ràng buộc, tiêu chuẩn đơn... f + g, s + 1 s, Hs 2 (1.29) với tất cả các điểm nằm dọc theo arcs = −tg trong miền ||s||α ≤ ∆, (1.30) chuẩn ||.||α cho trước tùy ý Từ đây ta có hệ quả Hệ quả 1.1 ([1, Corollary 6.3.2, p.127]) Giả sử rằng sC là cực tiểu của hàm toàn phương (1.29) trong miền tin cậy (1.30) cho mọi điểm nằm dọc theo arcs = −tg Khi đó chúng ta có ||g|| 1 , νC ∆ , q(0) − q(sC ) ≥ ||g|| min 2 1 + ||H|| khi νC = ||g|| ||g||α... và AM.4 cũng có nghĩa là βk ≤ κumh với mọi k 9 (1.16) Khóa luận tốt nghiệp 1.3.2 Đào Thị Hậu Điểm Cauchy cho hàm xấp xỉ dạng toàn phương Nếu chúng ta giả thiết rằng hàm xấp xỉ của chúng ta là hàm toàn phương, tức là, nó có dạng (1.8), khi đó nó có thể có cực tiểu nằm trên phương Cauchy Định nghĩa 1.4 Điểm Cauchy, kí hiệu là xCk (t), là điểm cực tiểu (duy nhất) của hàm xấp xỉ dọc theo phương Cauchy,... model’s Hessian" và "uniform norm equivalence" 1.3 Điểm và một hàm xấp xỉ giảm Điểm cốt yếu trong thuật toán của ta là sự xác định bước k, để hàm xấp xỉ giảm trong miền tin cậy Trong phần này, chúng ta đưa ra cách xác định bước lặp như thế từ một kĩ thuật tính toán đơn giản 1.3.1 Phương Cauchy Định nghĩa 1.3 Phương Cauchy được xác định bởi def xCk (t) = {x | x = xk − tgk , t ≥ 0 và x ∈ Bk } Chú ý rằng xCk ... tiết lý thuyết phương pháp miền tin cậy Lịch sử phát triển phương pháp miền tin cậy số ứng dụng thuật toán miền tin cậy giới thiệu [1, tr 8-12] Khi nghiên cứu phương pháp miền tin cậy, em quan... } sinh thuật toán miền tin cậy trường hợp toán ràng buộc [1, Chương 6] Chương Thuật toán miền tin cậy 1.1 Một số khái niệm Trước hết ta xét toán tối ưu ràng buộc (P) Bài toán (P ) : minn f (x)... mở đầu Bài toán tối ưu có ứng dụng rộng rãi toán học đời sống Nó nghiên cứu cách toàn diện nhờ phương pháp định tính định lượng phương pháp gradient, phương pháp gradient chiếu, phương pháp Newton,