1 MỞ ĐẦU Lý chọn đề tài Nhiều toán khoa học tự nhiên, kinh tế, kỹ thuật, sống … dẫn đến việc tìm cực trị hàm n biến g : D ⊂ R n → R1 Có nhiều nhà khoa học tiếng đề cập đến việc tìm cực trị hàm n biến, có nhiều phương pháp để tìm cực trị hàm n biến Xong để nghiên cứu sâu phương pháp tìm cực trị hàm n biến tơi chọn phương pháp “cực tiểu hố” Đó lý tơi chọn đề tài: “Phương pháp cực tiểu hố” Mục đích nghiên cứu Nghiên cứu Phương pháp cực tiểu hố ứng dụng Nhiệm vụ nghiên cứu Ứng dụng phương pháp tìm cực tiểu hàm n biến Đối tượng phạm vi nghiên cứu “Các phương pháp tìm cực tiểu hàm n biến” Phương pháp nghiên cứu Phân tích, tổng kết tài liệu 2 CHƯƠNG I: KIẾN THỨC BỔ TRỢ 1.1 Không gian R 1.1.1 R n không gian vectơ 1.1.2 R n không gian mêtric với mêtric n d ( x, y ) = n ∑ (x j =1 j − y j )2 1.1.3 R n không gian mêtric đầy Định nghĩa 1.1.1 Cho không gian metric M = ( X , d ) Tập K ⊂ X gọi tập compact không gian M , dãy phần tử thuộc K chứa dãy hội tụ tới phần tử thuộc K Định lý 1.1.2 Cho f ánh xạ từ không gian metric M = ( X , d ) vào không gian metric R1 Nếu ánh xạ f liên tục tập compact K ⊂ X f đạt giá trị lớn giá trị nhỏ K Định lý 1.1.3 Trong không gian Eukleides R n tập đóng bị chặn tập compact 1.1.4 R n không gian định chuẩn Với chuẩn n x = ∑ xi , i =1 x = n ∑x i =1 i , x ∞ = max xi i =1, n 1.1.5 R n không gian định chuẩn đủ (không gian Banach) 1.1.6 R n không gian Hilbert với tích vơ hướng n ( x, y ) = ∑ x j y j j =1 (1.1.4) 1.2 Đạo hàm vi phân Frechet 1.2.1 Khái niệm đạo hàm vi phân Frechet Cho X,Y không gian vectơ định chuẩn, f : X → Y ánh xạ, x ∈ X Ta nói ánh xạ f khả vi x tồn ánh xạ tuyến tính liên tục A, A ∈ L( X , Y ) cho f ( x + h) − f ( x ) = A(h) + α ( x , h), h ∈ X Trong lim h →0 α ( x , h) h = Biểu thức A(h) gọi vi phân ánh xạ f x ∈ X Kí hiệu: df ( x , h) Ánh xạ tuyến tính liên tục A A : X → Y , h  A(h) = df ( x , h) gọi đạo hàm ánh xạ f x Kí hiệu: A = f ' ( x ) Do đó: df ( x , h) = f ' ( x )(h) Ánh xạ f khả vi theo nghĩa gọi ánh xạ khả vi theo nghĩa Frechet (khả vi theo nghĩa mạnh) 1.2.2 Các tính chất đạo hàm vi phân Frechet 3 Định lý 1.2.2.1: Cho X,Y không gian vectơ định chuẩn, f : X → Y ánh xạ tuyến tính f ' ( x )(h) = f (h), h ∈ X Định lý 1.2.2.2: Cho X,Y,Z không gian vectơ định chuẩn ϕ : X → Y , ψ : Y → Z ánh xạ Nếu ϕ khả vi Frechet x ∈ X , ψ khả vi Frechet y = ϕ ( x ) ∈ Y ánh xạ f =ψ 0ϕ : X → Z khả vi x ta có f ' ( x )(h) = (ψ 0ϕ )' ( x )(h) = ψ ' ( y ).ϕ ' ( x )(h), (h ∈ X ) Định lý 1.2.2.3: Cho X,Y không gian vectơ định chuẩn, ánh xạ f : X → Y khả vi x ∈ X , f liên tục x 1.3 Đạo hàm vi phân Gateaux 1.3.1 Khái niệm đạo hàm vi phân Gateaux Cho X,Y không gian vectơ định chuẩn, f : X → Y ánh xạ, x ∈ X, h∈ X, t ∈ R Nếu tồn giới hạn lim t →0 f ( x + th) − f ( x ) t (1.3.1) Thì giới hạn (1.3.1) gọi biến phân hàm f x Nếu biến phân ánh xạ tuyến tính liên tục theo h biến phân gọi vi phân hàm f x (vi phân Gateaux hay vi phân yếu) kí hiệu Df ( x , h) d f ( x + th) − f ( x ) f ( x + th) = lim t =0 t →0 dt t Nghĩa là, ∀ε > 0, ∃δ ) cho ∀t ∈ R mà t < δ f ( x + th) − f ( x ) − Df ( x , h) < ε t Df ( x , h) = Nếu vi phân Gateaux tuyến tính h ta viết Df ( x , h) = L[ h] = f 'G ( x )[ h] Toán tử f 'G ( x ) : h  Df ( x , h) gọi đạo hàm Gateaux (đạo hàm yếu) ánh xạ f Suy Df ( x , h) = f 'G ( x )(h) 1.3.2 Các định lý mối liên hệ vi phân mạnh vi phân yếu Định lý 1.3.2.1 Nếu tồn vi phân mạnh df ( x , h) ánh xạ f x tồn vi phân yếu Df ( x , h) ánh xạ f x hai vi phân Định lý 1.3.2.2 Nếu hình cầu x − x < r tồn vi phân yếu Df ( x, h) Và Df ( x, h) liên tục theo x , liên tục theo h, hình cầu tồn vi phân mạnh df ( x, h) Df ( x, h) = df ( x, h), ∀x : x − x < r 1.4 Các định nghĩa định lý cực tiểu, điểm tới hạn ánh xạ gradient Định nghĩa 1.4.1 Cho g : D ⊂ R n → R1 Điểm x* ∈ D cực tiểu địa phương g có lân cận mở S x* cho với x ∈ S ∩ D g ( x) ≥ g ( x * ) (1.4.1) x* cực tiểu địa phương thực g bất đẳng thức (1.4.1) ngặt với x ∈ S ∩ D , x ≠ x* Nếu bất đẳng thức (1.4.1) với x thuộc tập D0 D chứa x * , x* cực tiểu tồn cục g tập D0 Định nghĩa 1.4.2 Điểm x * ∈ int D điểm tới hạn g : D ⊂ R n → R1 g khả vi x* g ' ( x * ) = (hay g ' ( x * ) T = ) Định lý 1.4.3 Giả sử x * ∈ int D cực tiểu địa phương g : D ⊂ R n → R1 Nếu g khả vi x* , g ' ( x * ) = Định lý 1.4.4 Cho g : D ⊂ R n → R1 giả sử tồn đạo hàm cấp hai g * x * ∈ int D Nếu x* điểm tới hạn g g ' ' ( x ) xác định dương, x* cực tiểu địa phương thực g Ngược lại, x* cực tiểu địa phương g, g ' ' ( x * ) nửa xác định dương Định nghĩa 1.4.5 Ánh xạ F : D ⊂ R n → R n ánh xạ gradient tập D ⊂ D tồn hàm khả vi g : D0 ⊂ R n → R cho Fx = g ' ( x ) T , ∀x ∈ D0 Nguyên lý đối xứng Giả sử F : D ⊂ R n → R n khả vi liên tục tập lồi mở D ⊂ D Khi F ánh xạ gradient tập D F ' ( x) đối xứng với x ∈ D0 Định lý 1.4.6 Giả sử f : R n → R1 khả vi R n có điểm tới hạn x = Cho F : D ⊂ R n → R n , định nghĩa g : D ⊂ R n → R , g ( x) = f ( Fx), x ∈ D , giả sử x * ∈ int D F có đạo hàm khơng suy biến Thì x * điểm tới hạn g Fx * = 1.5 Các định lý tính Định nghĩa 1.5.1 Cho g : D ⊂ R n → R1 , tập khác rỗng L(γ ) = { x ∈ D g ( x) ≤ γ }, γ ∈ R gọi tập mức g Định lý 1.5.2 Cho g : D ⊂ R n → R1 liên tục có tập mức compact, tồn điểm x * ∈ D cho g ( x * ) ≤ g ( x), ∀x ∈ D Định nghĩa 1.5.3 Hàm g : D ⊂ R n → R1 liên thông D0 ⊂ D với x, y ∈ D0 , tồn hàm liên tục p : [ 0,1] → D0 cho p (0) = x, p (1) = y g ( p (t )) ≤ max{ g ( x ), g ( y )} , ∀t ∈ ( 0,1) (1.5.1) Hàm g liên thơng ngặt với x ≠ y , hàm p chọn cho bất đẳng thức (1.5.1) ngặt Ta nói tập S ⊂ R n thành phần liên thông với x, y ∈ S , có ánh xạ liên tục p : [ 0,1] → S cho p (0) = x, p (1) = y n Định lý 1.5.4 Hàm g : D ⊂ R → R liên thông D tập mức g thành phần liên thông Định nghĩa 1.5.5 Hàm g : D ⊂ R n → R1 tựa lồi tập lồi D0 ⊂ D với x, y ∈ D0 , g (tx + (1 − t ) y ) ≤ max{ g ( x), g ( y )} , ∀t ∈ ( 0,1) Hàm g tựa lồi ngặt bất đẳng thức (1.5.2) ngặt x ≠ y (1.5.2) Nhận xét: Một hàm lồi hàm tựa lồi, ngược lại không Định lý 1.5.6 Giả sử hàm g : D ⊂ R n → R1 liên thông D , g có cực tiểu địa phương thực x * , g ( x * ) < g ( x), ∀x ⊂ D, x ≠ x * Nếu g liên thơng nghiêm ngặt có cực tiểu địa phương x * , g ( x * ) < g ( x), ∀x ⊂ D, x ≠ x * Nhận xét: Hàm tựa lồi ngặt hàm lồi ngặt hàm liên thông ngặt Hệ Định lý 1.5.6 Giả sử hàm g : D ⊂ R n → R1 tựa lồi ngặt tập lồi D0 ⊂ D , g có cực tiểu địa phương D0 , cực tiểu địa phương D0 cực tiểu toàn cục D0 Định lý 1.5.7 Giả sử hàm g : D ⊂ R n → R1 lồi khả vi tập lồi mở D0 ⊂ D Khi x * ∈ D0 điểm tới hạn g x * cực tiểu toàn cục D0 Hơn nữa, g lồi ngặt D0 , g có điểm tới hạn D0 Hệ Định lý 1.5.7 Giả sử hàm g : D ⊂ R n → R1 có đạo hàm cấp hai xác định dương điểm tập lồi mở D0 ⊂ D , g có điểm tới hạn (hoặc cực tiểu địa phương cực tiểu toàn cục) D0 1.6.Các định lý tồn Định lý 1.6.1 Giả sử hàm g : D ⊂ R n → R1 liên tục tập đóng D g có tập mức bị chặn tập cực tiểu toàn cục g khác rỗng bị chặn Định lý 1.6.2 Giả sử hàm g : D ⊂ R n → R1 , D khơng bị chặn tập mức g ( x k ) = +∞, ∀{ x k } ∈ D lim x k = ∞ g bị chặn lim k →∞ k →∞ Định lý 1.6.3 Giả sử hàm g : D ⊂ R n → R1 liên tục tập đóng D0 ∈ D lim g ( x k ) = +∞ lim x k = ∞ với { x k } ∈ D0 g có cực tiểu tồn cục x * ∈ D0 Nếu k →∞ k →∞ thêm điều kiện hàm liên thông nghiêm ngặt D0 x * cực tiểu địa phương nhất, g ( x * ) < g ( x), ∀x ∈ D0 , x ≠ x * Hệ Định lý 1.6.3 Giả sử hàm g : R n → R lồi ngặt (hoặc liên tục tựa lồi g ( x k ) = +∞ lim x k = ∞ g có cực tiểu x * ngặt) lim k →∞ k →∞ Định nghĩa 1.6.4 Một hàm g : D ⊂ R n → R1 liên thông D0 ∈ D hàm bảo toàn thứ tự d : [ 0, ∞ ) → [ 0, ∞ ) cho d (t ) > 0, t > với x, y ∈ D0 có ánh xạ liên tục p : [ 0,1] ∈ R → D0 thoả mãn p(0) = x, p(1) = y Hơn ∀t ∈ ( 0,1) ta có g ( p(t )) ≤ max{ g ( x), g ( y )} − max{ x − p(t ) d ( y − p (t ) ), y − p(t ) d ( x − p(t ) )} (1.6.1) Định lý 1.6.5 Giả sử hàm g : D ⊂ R n → R1 liên tục liên thơng tập đóng D0 ∈ D Khi g có cực tiểu địa phương x * ∈ D0 g ( x * ) < g ( x), ∀x ∈ D0 , x ≠ x * Định lý 1.6.6 Giả sử hàm g : D ⊂ R n → R1 lồi R n g có cực tiểu địa g ( x k ) = +∞ phương cực tiểu toàn cục nhất, Hơn lim k →∞ lim x k = ∞ , tập mức g compact k →∞ Bổ đề 1.6.7 Cho F : D ⊂ R n → R n Nếu với γ > , Fx − Fy ≥ γ x − y , ∀x, y ∈ D (1.6.2) tồn F xác định F (D) F −1u − F −1v ≤ γ −1 u − v , ∀u , v ∈ F ( D) Định lý 1.6.8 Giả sử hàm g : D ⊂ R n → R1 lồi khả vi liên tục R n Khi ánh xạ F : R n → R n , xác định Fx = g ' ( x) T , x ∈ R n , đồng cấu từ R n lên R n Hệ định lý 1.6.8 Cho ánh xạ F : R n → R n khả vi liên tục R n F ' ( x) đối xứng với x ∈ R n Nếu có số c > cho h T F ' ( x)h ≥ ch T h, ∀x, h ∈ R n (1.6.3) −1 Thì F đồng cấu từ R n lên R n CHƯƠNG II: CÁC PHƯƠNG PHÁP CỰC TIỂU HOÁ 21 Phương pháp paraboloid 2.1.1 Xét hàm bậc hai g : R n → R , g ( x) = C − b T x + T x Ax (2.1.1) Nếu A ∈ L(R n ) ma trận đối xứng, xác định dương g có giá trị cực tiểu tồn cục x* , nghiệm hệ phương trình tuyến tính g ' ( x) T = Ax − b = (2.1.2) 2.1.2 Các phương pháp lặp để cực tiểu hoá hàm bậc hai g : R n → R1 a Xét hàm bậc hai g k xấp xỉ g lân cận điểm x k + Thay g bước lặp thứ k hàm bậc hai g k + Cực tiểu g k lặp tiếp x k +1 + Để thu hàm bậc hai g k ta mở rộng Taylor hàm g x k g k ( x) = g ( x k ) + g ' ( x k )( x − x k ) + ( x − x k ) T H g ( x k )( x − x k ) (2.1.3) Là xấp xỉ g x k k Nếu ma trận Hessian H g ( x ) đối xứng, xác định dương cực tiểu k k k T g k nghiệm hệ phương trình tuyến tính H g ( x )( x − x ) = g ' ( x ) Lấy x k +1 = x k − H g ( x k ) −1 g ' ( x k ) T (2.1.4) Đây phương pháp lặp Newton đơn giản phương trình F ( x) = g ' ( x) T = Mỗi bước lặp cho hệ thu cực tiểu parabol mật tiếp g k x k k Nếu ma trận Hessian H g ( x ) không xác định dương, khơng suy biến, cơng thức (2.1.4) tương ứng thu điểm tới hạn hàm mật tiếp bậc hai g k k Trong trường hợp ma trận Hessian H g ( x ) suy biến, không xác định, xét công thức (2.1.3), xấp xỉ hàm bậc hai [ ] g k ( x) = g ( x k ) + g ' ( x k )( x − x k ) + ( x − x k ) T H g ( x k ) + λk I ( x − x k ) (2.1.5) k Nếu vô hướng λk chọn cho H g ( x ) + λ k I xác định dương g k có cực tiểu x k +1 nghiệm phương trình Fx = g ' ( x) T = Từ (2.1.5) ta có [ ] x k +1 = x k − F ' ( x k ) + λk I Fx k , k = 0,1,2 (2.1.6) b Tổng quát, ta xét hàm bậc hai xấp xỉ dạng g k ( x) = g ( x k ) + bkT ( x − x k ) + ( x − x k ) T Ak ( x − x k ) (2.1.7) Ở Ak ma trận đối xứng Với phương pháp Newton phương pháp cát tuyến, ta thu hàm bậc hai (2.1.7) cách nội suy Điều cần n + n(n + 1) điểm nội suy x k ,i để tính hệ số chưa biết bk Ak từ hệ phương trình tuyến tính n( n + 1) (2.1.8) x k , x k + hi e i , i = 1, n, x k + hi e i + h j e j , j = 1, n (2.1.9) g k ( x k ,i ) = g ( x k ,i ), i = 1,2, ,1 + n + Xét + n + n(n + 1) điểm nội suy Ta có: ∆ j g(x k ) = g(x k + h j e j ) − g(x k ) ∆ i ∆ j g ( x k ) = g ( x k + hi e i + h j e j ) − g ( x k + h j e j ) − g ( x k + hi e i ) + g ( x k ) Dễ thấy hàm bậc hai nội suy n 1  g k ( x) = g ( x k ) + ∑ ∆ i g ( x k ) − ∆2i g ( x k )  ( xi − xik )  i =1 h  n + ∑ (hi h j ) −1 ∆ i ∆ j g ( x k )( xi − xik )( x j − x kj ) i , j =1 (2.1.10) với g xác định điểm (2.1.9) Dùng hàm bậc hai nội suy g k ta có q trình lặp x k +1 = x k − Ak−1bk Ở ( ) Ak = (hi h j ) −1 ∆ i ∆ j g ( x k ) ,   1   bkT =  h1−1 ∆1 g ( x k ) − ∆21 g ( x k ), , hn−1 ∆ n g ( x k ) − ∆2n g ( x 2      )   2.2 Phương pháp gốc 2.2.1 Phương pháp gốc Phương pháp lặp làm giảm giá trị hàm giai đoạn Nghĩa là, g ( x k +1 ) ≤ g ( x k ), k = 0,1, gọi phương pháp gốc (2.2.1) Ta thấy phương pháp khác không thiết phải thoả mãn (2.2.1) Tuy nhiên thay đổi chúng để trở thành phương pháp gốc Ví dụ: Bằng phương pháp lặp Newton cho hệ F ( x) = g ' ( x)T = thêm tham số α k để x k +1 = x k − α k F ' ( x k ) −1 Fx k , k = 0,1, (2.2.2) k Nếu F ( x ) ≠ tham số α k (2.2.2) chọn để (2.2.1) Bổ đề 2.2.1 Giả sử g : D ⊂ R n → R1 khả vi x ∈ int(D) cho p ∈ R n , g ' ( x) p > Thì tồn số δ > cho g ( x − αp) < g ( x), ∀α ∈ (0, δ ) Chú ý: Đối với phương pháp Newton, thiết lập p k = F ' ( x k ) −1 Fx k điều kiện g'(x k ) p k > (2.2.3) thoả mãn Thay đổi công thức (2.2.2) với α k đủ nhỏ gọi phương pháp Newton tắt dần Cơng thức (2.2.2) có dạng tổng qt x k +1 = x k − α k p k , k = 0,1, (2.2.5) k Chú ý: Chọn ngẫu nhiên p cho (2.2.3) Khi g ' ( x k ) T ≠ p k = g ' ( x k ) T Nghĩa là, hướng p k hướng vectơ gradient g Các phương pháp gọi phương pháp gradient Chú ý: g ' ( x k ) ∈ L( R n , R ) Ta có g ' ( x k ) = sup g ' ( x k )h h =1 k Do đó, p hướng tốt g'(xk ) = g'(x k ) p k pk Ta gọi hướng p k hướng dốc gốc, phương pháp có dạng (2.2.5) phương pháp dốc gốc Bổ đề 2.2.2 Nếu C ∈ L( R n ) đối xứng, xác định dương g : D ⊂ R n → R1 khả vi x, hướng dốc gốc g x theo chuẩn x = ( xT Cx ) cho − C −1 g ' ( x) T (2.2.7) T Chú ý: C đồng thức p = g ' ( x) Nghĩa là, hướng dốc gốc chuẩn l2 hướng âm vectơ gradient Hệ bổ đề 2.2.2 x k +1 = x k − α k C −1 g ' ( x k ) T , k = 0,1,2 phương pháp dốc gốc theo chuẩn x = ( xT Cx ) 2.2.2.Xét phương pháp dạng: x k +1 = x k − α k C k−1 g ' ( x k ) T , k = 0,1,2 (2.2.8) Ở ma trận Ck thay đổi bước, đối xứng xác định dương Ở (2.2.8), giai đoạn thứ k , lặp x k +1 chọn theo hướng dốc gốc theo chuẩn xác định x k = ( x T C k x) Bổ đề 2.2.3 Giả sử B ∈ L( R ) ma trận đối xứng, xác định dương giả sử r , q ∈ R n thoả mãn r T q > n ∧ B = B+ rr T ( Bq )( Bq ) T − rT q q T Bq đối xứng, xác định dương Bổ đề 2.2.4 Giả sử g : R n → R khả vi thoả mãn [ g ' ( x) − g ' ( y)] ( x − y) > 0, ∀x, y ∈ R n , x ≠ y (2.2.12) với x, có chuỗi α k > cho lặp (2.2.9), (2.2.11) xác định với k (trừ g ' ( x k ) T = với vài trường hợp k, trường hợp trình dừng), g ( x k +1 ) < g ( x k ) 2.3 Thuật toán bước dài Ta xét chi tiết khác việc chọn bước dài α k bước lặp tổng quát x k +1 = x k − α k p k , k = 0,1,2, (2.3.1) k Giả sử hướng p cho trước 2.3.1 Nguyên lý cực tiểu hoá Ở bổ đề 2.2.1 g ' ( x k ) p k > , chọn α k cho g ( x k +1 ) < g ( x k ) Có thể giảm tối đa p k cho trước, α k chọn làm cực tiểu hàm g dọc theo tia { x x = x k − αp k , α ∈ R1 } Nghĩa là, α k thoả mãn nguyên lý cực tiểu g ( x k − α k p k ) = min{ g ( x k − αp k ) x k − αp k ∈ D} (2.3.2) Mặt khác, giả sử Lk biểu thị tập mức { x ∈ D g ( x) ≤ g ( x k )} giả sử L0k thành phần liên thông Lk bao gồm x k , có hai sửa đổi ngẫu nhiên (2.3.2): { g ( x k − α k p k ) = g ( x k − αp k ) x k − αp k ∈ L0k } (2.3.3) g ( x − α k p ) = min{ g ( x − αp ) [ x , x − αp ] ⊂ L } (2.3.4) Ở đó, [ x, y ] biểu thị đoạn thẳng { z z = tx + (1 − t ) y, t ∈ [ 0,1]} 2.3.2 Nguyên lý Curry-Altman Một cách lựa chọn cực tiểu (2.3.2)-(2.3.4), x k − α k p k điểm bên D, α k gốc đạo hàm hàm k k k k k k k k ϕ (α ) = g ( x k − αp k ) Nghĩa là, α k nghiệm phương trình g ' ( x k − αp k ) p k = (2.3.5) Trong đó, giả sử g hàm khả vi liên tục D Nếu g lồi D (2.3.5) có nghiệm α k nghiệm (2.3.5) Đối với hàm tổng qt, (2.3.5) có nghiệm khơng liên kết với cực tiểu ϕ Tuy nhiên, xác định bước dài α k nghiệm (2.3.5) 10 Liên quan chặt chẽ với nguyên lý Curry ngun lý Altman, với µ cố định, µ ∈ [ 0,1) , α k chọn làm gốc dương nhỏ [ g ' ( x k − αp k ) − µg ' ( x k )] p k = (2.3.6) µ = Nếu , (2.3.6) dẫn (2.3.5) Nếu µ > , giải thích ngun lý Altman α k số α dương mà g ' ( x k − αp k ) p k phần nhỏ µ giá trị ban đầu g ' ( x k ) p k 2.3.3 Cực tiểu hoá gần tìm kiếm gốc Để giải xấp xỉ tốn cực tiểu hố chiều, ta tiến hành theo phương pháp 2.1 lấy α k cực tiểu parabol mật tiếp ψ (α ) = g ( x k ) − αg ' ( x k ) p k + α g ' ' ( x k ) p k p k (2.3.7) Nếu g ' ' ( x k ) p k p k > α k cho αk = g'(x k ) p k g''(x k ) p k p k (2.3.8) Thuật toán (2.3.8) α k không thiết dẫn đến phương pháp gốc, chí g ' ' ( x k ) p k p k > Tuy nhiên, g ' ( x k ) p k > , chọn yếu tố giảm ω k cho g ( x k − ωkα k p k ) < g ( x k ) 2.3.4 Nguyên lý Majorization  ∧ Nguyên lý Majorization: Nếu hàm ψ : 0, α  → R cho ∧   (2.3.11) g ( x k − αp k ) ≤ ψ (α ) < g ( x k ), ∀α ∈ (0, α ) với bước dài ∧ (2.3.12) α k ∈ (0, α ) , Hàm g giảm Bổ đề 2.3.1: Giả sử g : D ⊂ R n → R khả vi liên tục D0 ⊂ D mô đun liên tục ω (t ) ≡ sup { g ' ( x) − g ' ( y ) x − y ≤ t , x, y ∈ Do } n n g ': D0 ⊂ R → L( R , R ) xác định định liên tục [ 0, ∞ ) với x ∈ D0 , p ≠ , ta có g ( x − αp ) ≤ g ( x) − αg ' ( x) p + α p ∫ ω (tα p ) dt , (2.3.13) α [ x , x − α p ] ⊂ D λ ∈ [ , ] với mà : Đặc biệt, g’ thoả mãn với λ g ' ( x ) − g ' ( y ) ≤ γ x − y , ∀x, y ∈ D0 , (2.3.14) g ( x − αp ) ≤ g ( x) − αg ' ( x ) p + γ ( p α )1+λ (2.3.15) 1+ λ 2.3.5 Nguyên lý bước dài Goldstein Giả sử g khả vi x k ∈ int(D) g ' ( x k ) p k > , từ tiếp tuyến với đường cong g ( x k − αp k ) α = cho τ (α ) = g ( x k ) − αg ' ( x k ) p k Do đó, cho tuỳ ý µ1 , µ thoả mãn < µ1 ≤ µ < , đường σ i (α ) = g ( x k ) − µ iαg ' ( x k ) p k , i = 1,2, nằm đường tiếp tuyến Đặc biệt, τ (α ) < σ (α ) < σ (α ), ∀α > 11 Xét tập {α > [ x ] , x k − αp k ⊂ D, σ (α ) ≤ g ( x k − αp k ) ≤ σ (α )} Rõ ràng với α ∈ J k , ta có < µ1αg ' ( x k ) p k < g ( x k ) − g ( x k − αp k ) ≤ µ 2αg ' ( x k ) p k Ở cho thấy, chọn α k ∈ J k , g giảm ta có phương pháp gốc Đây nguyên lý Goldstein Ở J k không thiết khoảng không k thiết phải có khoảng trùng với khoảng (2.3.12) nguyên lý Majorization Chú ý, µ − µ1 nhỏ J k nhỏ, trường hợp µ1 = µ = µ , ta có σ (α ) = σ (α ) , cho α k phải thoả mãn g ( x k − α k p k ) + µα k g ' ( x k ) p k = g ( x k ) Nguyên lý Goldstein việc sử dụng phương pháp lặp khác (như phương pháp Newton) theo cách sau Giả sử bước lặp thứ k, x k , hướng p k cho g ' ( x k ) p k > bước dài α k cho trước Hơn nữa, giả sử < µ1 ≤ µ < số cố định Nếu g ( x k ) − g ( x k − α k p k ) ≥ α k µ1 g ' ( x k ) p k (2.3.18) ta chấp nhận điểm x k +1 = x k − α k p k bước lặp Nếu (2.3.8) khơng ta chọn tham số ω k cho < µ1ωkα k g ' ( x k ) p k ≤ g ( x k ) − g ( x k − ωkα k p k ) ≤ µ 2α kωk g ' ( x k ) p k ,(2.3.19) thiết lập x k +1 = x k − ω k α k p k Bổ đề 2.3.2 Giả sử g : D ⊂ R n → R khả vi liên tục D giả sử x k , α k > p k thoả mãn g ' ( x k ) p k > , x k , x k − α k p k ⊂ D g ( x k ) − g ( x k − α k p k ) < α k µ1 g ' ( x k ) p k (2.3.20) ω ∈ ( , ) với µ1 ∈ (0,1) với µ ∈ [ µ1 ,1) có k cho (2.3.19) [ ] 2.4 Các phương pháp hướng liên hợp Xét hàm bậc hai g ( x) = C − b T x + T x Ax (2.4.1) Ở A ∈ L(R n ) ma trận đối xứng, xác định dương 2.4.1 Định nghĩa: Cho A ∈ L(R n ) ma trận đối xứng, xác định dương, hai vectơ khác không p, q ∈ R n liên hợp với A p T Aq = Một tập n vectơ khác không p , , p n sở liên hợp p i p j liên hợp với i ≠ j Vì A ma trận xác định dương, ta định nghĩa tích ( x, y ) A = x T Ay Do đó, p q liên hợp với A chúng A-trực giao, nghĩa trực giao tích Do p , , p n tạo thành sở liên hợp tập trực giao tích Bất kì phương pháp hướng liên hợp hàm (2.4.1) có dạng x k +1 = x k − α k p k , k = 0,1, (2.4.2) 12 Ở p k vectơ A-trực giao R n , α k xác định phương pháp cực tiểu hoá αk ( Ax − b) p = ( Ap ) p T k k T k k (2.4.3) Kết phương pháp g hàm bậc hai lặp { x } hội tụ tới cực tiểu g hầu hết n bước 2.4.2 Giả sử g cho (2.4.1) với A ∈ L(R n ) ma trận đối xứng, xác định dương giả sử p , , p n−1 sở liên hợp với A, vectơ x k (2.4.2) (2.4.3) thoả mãn x m = A −1b với m ≤ n 2.4.3 Cho hàm bậc hai (2.4.1) với ma trận A đối xứng, xác định dương, phép lặp gradient liên hợp (2.4.5), (2.4.6) thoả mãn x m = A −1b, m ≤ n Hơn ( Ap i ) T p j = 0, i ≠ j, i ≥ 0, j ≤ m (2.4.7) 2.5 Phương pháp Gauss-Newton phương pháp liên quan 2.5.1 Cho ánh xạ F : D ⊂ R n → R m f : R m → R Ánh xạ g : D ⊂ R n → R xác định g ( x) = f ( Fx), ∀x ∈ D (2.5.1) k T x Ax cực tiểu g, T g ( x ) = ( Fx ) Fx (2.5.2) nghiệm bé phương trình Fx = Nếu m = n x = cực tiểu f hàm g (2.5.1) có cực tiểu tồn cục x * Fx * = Do phương pháp cực tiểu hoá (2.5.1) phương pháp giải phương trình Fx = Giả sử F khả vi D x k xấp xỉ cực tiểu (2.5.1) xấp xỉ x k +1 tiếp Nếu f hàm bậc hai theo cực tiểu hàm g k ( x) = f ( Fx k + F ' ( x k )( x − x k )) (2.5.3) có cách tuyến tính F theo x Nếu f khả vi lần ta xấp xỉ cực tiểu (2.5.3) bước lặp Newton x k Vì k g ' k ( x) = f ' ( Fx k + F ' ( x k )( x − x k )) F ' ( x k ) ma trận Hessian H g k ( x) = F ' ( x k ) T H f ( Fx k + F ' ( x k )( x − x k )) F ' ( x k ) Dẫn tới thuật toán x k +1 = x k − H g k ( x k ) −1 g ' ( x k )T [ ] −1 (2.5.4) = x k − F ' ( x k )T H f ( F ( x k ) F ' ( x k ) F ' ( x k )T f ' ( F ( x k ))T Trong trường hợp đặc biệt f ( x) = x T x , (2.5.4) quy phương pháp Gauss-Newton −1 (2.5.5) x k +1 = x k − F ' ( x k ) T F ' ( x k ) F ' ( x k ) T Fx k , k = 0,1, [ ] Ta gọi (2.5.4) phương pháp Gauss-Newton tổng quát Lưu ý rằng, phép lặp tìm x k +1 (2.5.5) đơn giản cực tiểu toàn cục hàm bậc hai [ Fx k + F ' ( x k )( x − x k )]T [ Fx k + F ' ( x k )( x − x k )] Do đó, (2.5.5) phương pháp Paraboloid 13 Trong (2.5.5) ta xét phương pháp lặp Gauss-Newton cải biên với tham số ω k λk −1 x k +1 = x k − ω k [ F ' ( x k ) T F ' ( x k ) + λk I ] F ' ( x k ) T Fx k (2.5.6) Vì F ' ( x k ) T F ' ( x k ) đối xứng, nửa xác định dương nên nghịch đảo (2.5.6) tồn với λk > 2.6 Phụ lục Sự hội tụ thuật toán Gradient liên hợp thuật toán Davidon-FletcherPowell hàm bậc hai 2.6.1 Cho hàm bậc hai g ( x) = x T Ax − b T x + C , A ∈ L( R n ) đối xứng, xác định dương, lặp gradient liên ihợp (2.4.5)-(2.4.6) thảo mãn x m = A −1b, m ≤ n Hơn nữa, T j ( Ap ) p = 0, i ≠ j , ≤ i, j ≤ m (2.6.1) β 2.6.2 Cách tính k cho (2.4.6) tương đương với βk = − ( Ax ( Ax k +1 k ) ( Ax − b ) ( Ax −b T k +1 T k −b −b ) ) 2.6.3 Giả sử A, H ∈ L( R đối xứng, xác định dương, x ∈ R n , lặp (2.6.9)-(2.6.10) xác định x m = A −1b với m ≤ n Hơn nữa, x k ≠ A −1b với k=0,…,n-1 H n = A −1 2.7 Phụ lục Các phương pháp nghiên cứu cực tiểu hoá hàm biến 2.7.1 Định nghĩa Một hàm ϕ : [ a, b] ⊂ R → R1 hàm mốt nghiêm ngặt [ a, b] * tồn số t * ∈ [ a, b] cho ϕ (t ) = min{ϕ (t ) t ∈ [ a, b]} với a ≤ t1 < t ≤ b n) t ≤ t * ⇒ ϕ (t1 ) > ϕ (t )  *  t ≤ t1 ⇒ ϕ (t ) > ϕ (t1 ) (2.7.1) Rõ ràng, hàm mốt nghiêm ngặt [ a, b] có cực tiểu toàn cục [ a, b] Một mốt nghiêm ngặt tương đương với khái niệm tựa lồi ngặt 2.7.2 Giả sử hàm ϕ : [ a, b] ⊂ R → R có số t * ∈ [ a, b] với ϕ (t * ) = min{ϕ (t ) t ∈ [ a, b]} ϕ mốt ngặt [ a, b] ϕ tựa lồi ngặt Chương III ỨNG DỤNG CỦA PHƯƠNG PHÁP CỰC TIỂU HỐ Ví dụ 3.1 Tìm cực tiểu hàm 2 g ( x) = g ( x1 , x ) = + x1 + x + x1 + x1 x + x Bài làm: Dễ thấy g(x) hàm bậc hai dạng g ( x) = C + b T x + 1 x   1 T x Ax  với C = 1, b =  , x =  , A =   2  2  x2  A ∈ L( R ) ma trận xác định dương, đối xứng nên g có cực tiểu nghiệm hệ phương trình Ax = b 14 Hay  x1 + x = x = ⇔   x1 + x =  x2 = * Vậy cực tiểu g x = (0;1) g = Ví dụ 3.2 Tìm cực tiểu hàm 2 g ( x) = g ( x1 , x ) = x1 + x − x1 x − x1 + x Đáp số: cực tiểu g x * = (1,0) , g = g (1,0) = −1 Ví dụ 3.3 Tìm cực tiểu hàm 2 g ( x) = g ( x1 , x ) = x1 + x + x3 − x1 x + x1 − x3 Đáp số: cực tiểu g x * = (− ,− ,1) , 3 g = g (− ,− ,1) = − 3 Ví dụ 3.4 Tìm cực tiểu hàm 3 2 g ( x) = g ( x1 , x ) = x1 + x + x1 + x − Đáp số: cực tiểu g x * = (0,0) , g = g (0,0) = −4 Ví dụ 3.5 Tìm cực tiểu hàm g : D ⊂ R → R , g ( x) = x1 + x1 x + x 2 Với   2 D =  x = ( x1 , x ) ∈ R x1 + x − < 0, x1 > , x < 0   1 1 Đáp số: cực tiểu g x * = ( ,− ) , g = g ( ,− ) = − 8 128 Ví dụ 3.6 Tìm cực tiểu hàm 4 g ( x) = g ( x1 , x ) = x1 + x − 2( x1 − x ) , x1 x ≠ Đáp số: cực tiểu g hai điểm x *1 = ( ,− ), x *2 = (− , ) , g = −8 Ví dụ 3.7 Tìm cực tiểu hàm 50 20 + , x1 > 0, x > x1 + x + = 30 g ( x) = g ( x1 , x ) = ( x1 + 1)( x + 1) + Đáp số: cực tiểu g x * = (4,1) , g 15 KẾT LUẬN Bản luận văn trình bày phương pháp tìm cực tiểu hàm n biến Cụ thể: Chương 1: Trình bày khái niệm, định lý, tính chất hàm n biến đạt cực trị Chương 2: Trình bày lý thuyết số phương pháp tìm cực tiểu hàm n biến Chương 3: Một số ví dụ tìm cực tiểu hàm n biến Với khả có hạn chắn luận văn cịn nhiều thiếu sót, mong q thầy bạn đóng góp ý kiến để luận văn hồn thiện tốt  ... phương trình Fx = Nếu m = n x = cực tiểu f hàm g (2.5.1) có cực tiểu tồn cục x * Fx * = Do phương pháp cực tiểu hố (2.5.1) phương pháp giải phương trình Fx = Giả sử F khả vi D x k xấp xỉ cực. ..   2.2 Phương pháp gốc 2.2.1 Phương pháp gốc Phương pháp lặp làm giảm giá trị hàm giai đoạn Nghĩa là, g ( x k +1 ) ≤ g ( x k ), k = 0,1, gọi phương pháp gốc (2.2.1) Ta thấy phương pháp khác... , g có cực tiểu địa phương D0 , cực tiểu địa phương D0 cực tiểu toàn cục D0 Định lý 1.5.7 Giả sử hàm g : D ⊂ R n → R1 lồi khả vi tập lồi mở D0 ⊂ D Khi x * ∈ D0 điểm tới hạn g x * cực tiểu toàn