Nhóm 2 l04 Đstt (2) (4) (1)

Báo cáo bài tập lớn Đại số tuyến tính, phân tích QR bằng 2 phương pháp GRAM-SMITH, GIVEN, Trường Đại học Bách Khoa, Đại học quốc gia TPHCM.

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA

 Giảng viên hướng dẫn: Nguyễn Hữu Hiệp

ĐỀ TÀI

PHÂN TÍCH QR BẰNG 2 TRONG 3 PHƯƠNG PHÁP: GRAM-SMITH, HOUSEHOLDER, GIVEN

MÔN: ĐẠI SỐ TUYẾN TÍNH Lớp: L04

TP.HỒ CHÍ MINH, tháng 4 năm 2023

LỜI MỞ ĐẦU

Môn học Đại số tuyến tính là môn đại cương có tầm quan trọng đối với sinh viên Đại học Bách Khoa – ĐHQG TPHCM nói riêng và sinh viên thuộc các khối ngành khoa học kỹ thuật – công nghệ nói chung Vì vậy, việc dành ra một thời gian để nghiên cứu và thực hành là điều tất yếu để giúp cho sinh viên hiểu sâu sắc về môn học và có được cơ sở vững chắc từ lý thuyết để áp dụng vào thực tế Những bài toán về ma trận phức tạp sẽ khiến chúng ta tốn rất nhiều thời gian và đôi khi hiệu quả công việc không cao nếu chúng ta chỉ giải bài toán theo phương pháp truyền thống Sự ra đời và phát triển của toán tin đã góp phần hỗ trợ rất lớn trong quá trình phát triển của các lĩnh vực trong đại số tuyến tính Việc ứng dụng tin học trong quá trình giải thích các cơ sở dữ liệu của đại số tuyến tính để giải các bài toán đã giúp rút ngắn thời gian để giải các bài toán phức tạp và mang lại hiệu quả cao hơn Một trong những phần mềm ứng dụng giúp giải quyết những vấn đề đó là phần mềm ứng dụng Matlab Vì vậy, việc tìm hiểu và ứng dụng phần mềm Matlab trong việc thực hành môn Đại số tuyến tính là rất quan trọng và có tính cấp thiết cao Ở bài tập lớn này, nhóm tập trung thực hiện nội dung “Phân tích QR bằng phương pháp: Gram-smith, Householder, Given” thông qua phần mềm Matlab Đây là một nội dung khá quan trọng của bộ môn Đại số tuyến tính

MỤC LỤC

CHƯƠNG I MỞ ĐẦU

1.1 Giới thiệu về đề tài 1

CHƯƠNG II CƠ SỞ LÝ THUYẾT 1

2.1 Giới thiệu thuật toán A=QR: 1

4.1 Ứng dụng phân tích QR cho hệ phương trình tuyến tính: 13

4.2 Ánh xạ tuyến tính trong phân tích mã QR: 14

4.3 Sử dụng phương pháp QR để tìm trị riêng của ma trận: 15

CHƯƠNG V LẬP TRÌNH BẰNG PHẦN MỀM MATLAB: 20

5.1 Phương pháp Gram-Schmidt: 20

5.2 Phép biến đổi Household: 22

CHƯƠNG VI TÀI LIỆU THAM KHẢO 24

LỜI CẢM ƠN 25

1

CHƯƠNG I MỞ ĐẦU 1.1 Giới thiệu về đề tài

Trong đại số tuyến tính, phân rã QR, còn được gọi là phân tích nhân tố QR hoặc phân tích nhân tố QU là phân rã ma trận A thành tích A = QR của ma trận trực giao Q và ma trận tam giác trên R Phân rã QR thường được sử dụng để giải quyết vấn đề bình phương tối thiểu tuyến tính và là cơ sở cho một thuật toán eigenvalue cụ thể, thuật toán QR Tronng đó là hai phép phân tích A=QR qua phép biến đổi Householder và Gram-Schmidt

1.2.1 Đối tượng nghiên cứu

Thuật toán phân rã A = QR bằng phép biến đổi Householder, Gram-Schmidt

1.2.2 Phạm vi nghiên cứu

• Ma trận vuông

• Ma trận hình chữ nhật

1.2.3 Phương pháp nghiên cứu

Sử dụng thuật toán để giải các bài toán, chạy chương trình Matlab để phân rã A = QR bằng phép biến đổi Householder, Gram-Schmidt

1.2.4 Mục đích nghiên cứu

Đề tài nhằm đáp ứng nhu cầu học tập của học sinh, sinh viên Giải quyết các bài toán liên quan đến trực giao ma trận với sai số nhỏ nhằm giải quyết các bài toán và các ứng dụng thực tế chính xác hơn.

CHƯƠNG II CƠ SỞ LÝ THUYẾT

2.1 Giới thiệu thuật toán A=QR:

2

Phân rã QR, còn được gọi là phân tích nhân tố QR hoặc phân tích nhân tố QU là phân rã ma trận A thành tích A = QR của ma trận trực giao Q và ma trận tam giác trên R Phân tích thừa số A = QR của ma trận A là một kỹ thuật hữu ích để ước tính giá trị riêng Nó luôn tồn tại khi số hạng của A bằng số cột của A.Vì thế nếu A là ma trận vuông cấp n thì Q là ma trận trực giao cấp n

Trong đó :

• A là ma trận ban đầu cần phân rã

• Q là ma trận có các cột trực giao (có nghĩa là 𝑄𝑇𝑄 = 𝑄𝑄𝑇 = 𝐼) • R là ma trận tam giác trên cấp m khả nghịch

b Các phương pháp thực hiện phân rã A=QR

3

Định nghĩa 3.4.2:

Tập hợp con M được gọi là họ trực chuẩn, nếu: M là họ trực giao ||x|| = 1, ∀x ∈ M

Định lý 3.4.1:

Cho E = {e1,e2, · · · ,en} là cơ sở trực chuẩn của không gian V

1/ ∀x ∈ V Giả sử [x]E = (x1; x2; · · · ; xn) T Khi đó ∀i = 1 · · · n, xi = (x,ei); 2/ Giả sử [x]E = (x1; x2; · · · ; xn) T và [y]E = (y1; y2; · · · ; yn) T Khi đó: (x, y) = x1y1 + x2y2 + · · · + xnyn

Định lý 3.4.2:

Cho E = {e1,e2, · · · ,en} là một họ độc lập tuyến tính Khi đó có thể xây dựng một họ trực giao F = {f1, f2, · · · , fn} sao cho không gian con được sinh ra bởi F trùng với không gian con được sinh ra bởi E

• Xem xét quy trình Gram – Schmidt được áp dụng cho các cột của ma trận xếp hạng cột đầy đủ A=[a1,…,an], với sản phẩm bên trong 〈u,w〉=vTw (hoặc là 〈u,w〉=v*w đối

4

Bây giờ chúng ta có thể thể hiện ai dựa trên cơ sở chuẩn mực mới được tính toán: a1=〈e1,a1〉e1

a2=〈e1,a2〉e1 + 〈e2,a2〉e2

a3=〈e1,a3〉e1 + 〈e2,a3〉e2 + 〈e3,a3〉e3

⋮

ak=∑𝑘 〈

𝑗=1 ej,ak〉ej

Ở đây 〈ei,ai〉=||ui||

Điều này có thể được viết dưới dạng ma trận:

Phép chiếu Householder cho phép thực hiện phân tích QR: Mục tiêu là tìm một phép biến đổi tuyến tính biến đổi vector X thành một vector có cùng độ dài và song song với e1 Chúng ta có thể sử dụng phép chiếu trực giao (Gram-Schmidt) nhưng điều này sẽ không ổn

5

định số học nếu các vector x và e1 gần với trực giao Thay vào đó, phép phản xạ Householder phản chiếu qua đường chấm (được chọn để chia đôi góc giữa x và e1) Góc tối đa với phép biến đổi này là 45 độ

Householder chiếu vectơ qua một “tấm gương” Chúng ta có vectơ x mà chúng ta muốn phản chiếu vectơ Qx Để phản chiếu, chúng ta sẽ sử dụng ma trận trực giao Q

Nội dung phản chiếu:

Từ trước, chúng ta biết rằng hình chiếu x lên u là: 𝑢𝑇𝑥 𝑢𝑇𝑢𝑢

Từ biểu đồ phản chiếu của Householder, chúng ta có thể thấy rằng nếu chúng ta lấy x

2.3.2 Lý thuyết và các bước hiện thực thuật toán: a) Đối với ma trận vuông:

7

Nhận xét:

- Nếu A là khả nghịch, thì việc phân tích này là duy nhất nếu chúng ta yêu cầu các phần

tử đường chéo của R dương Nếu thay vào đó A là một ma trận vuông phức, thì có một phép phân tách A = QR, trong đó Q là một ma trận đơn vị (vì vậy Q*Q = QQ* = 1)

- Nếu A có n cột độc lập tuyến tính, thì n cột đầu tiên của Q tạo thành cơ sở trực giao

cho không gian cột của A Tổng quát hơn, các cột k đầu tiên của Q tạo thành cơ sở trực giao cho nhịp của các cột k đầu tiên của A cho bất kì 1 ≤ k ≤ n Thực tế là bất kì cột k nào của A chỉ phụ thuộc vào các cột k đầu tiên của Q chịu trách nhiệm cho dạng tam giác của R

b) Đối với ma trận hình chữ nhật:

Chúng ta có thể tính đến một ma trận m×n phức tạp A, với m ≥ n, là tích của ma trận đơn nhất M×m Q và ma trận hình tam giác trên m×n R Vì các hàng dưới cùng (m−n) của ma trận hình tam giác trên m×n bao gồm hoàn toàn các số không, nó thường hữu ích cho

c) Thuật toán phép biến đổi Householder:

Giả sử 𝑢 là vectơ khác không tùy ý, khi đó hình chiếu vuông góc của vectơ 𝑣 lên không gian con F sinh bởi vectơ 𝑢 là pru(𝑣) = 𝑢𝑢𝑇𝑣

8

Vectơ 𝑣 được phân tích thành 𝑣 = a + b, với a là hình chiếu vuông góc của 𝑢 lên F và b là hình chiếu vuông góc của 𝑣 lên F

Trong quá trình biến đổi, chúng ta tình cờ thu được một ma trận R 4x3 với ma trận vuông 3x3 ở trên là ma trận tam giác trên bên phải, còn hàng 4 ở dưới cùng chỉ gồm số 0 Như vậy chúng ta đã tìm được ma trận R mà không phải làm bước biến đổi Householder lần thứ 3

*Lưu ý: Đây là trường hợp đặc biệt, ở những trường hợp khác sẽ có thể phải làm thêm 1 bước biến đổi Householder tương tự

13

- Phân hủy QR bằng đường chéo và ứng dụng để thiết kế mã cho trước

- Phân tích phân biệt trọng số dựa trên hạt nhân với phân rã QR và ứng dụng của nó dễ nhận dạng khuôn mặt

- Phân tích QR được sử dụng trong các mô hình hồi quy nếu các đầu vào có tương quan cao

- Phép biến đổi cho ma trận Q với các vectơ cột độc lập

4.1 Ứng dụng phân tích QR cho hệ phương trình tuyến tính:

- Phân tích QR có thể giải quyết trên cả ma trận vuông và ma trận hình chữ nhật

- Các phương pháp phân tích thừa số có thể sử dụng để giải quyết bài toán về ma trận, điển hình là giải hệ phương trình tuyến tính

- Nếu A ∈ 𝑅𝑚 𝑥 𝑛 có các cột độc lập tuyến tính thì

A = QR

Q: - Là m x n với các cột trực giao (𝑄𝑇𝑄 = I)

- Nếu A là ma trận vuông (m = n), thì Q trực giao (𝑄𝑇𝑄 = 𝑄𝑄𝑇 = I)

R : - Là n x n, gồm các ma trận tam giác trên với các phần tử đường chéo ≠ 0

- Là tập hợp của hai hay nhiều phương trình có cùng tập ẩn số Khi giải hệ phương trình, ta

tìm các giá trị cho từng ẩn số thỏa mãn {

4.2 Ánh xạ tuyến tính trong phân tích mã QR:

*Ánh xạ tuyến tính cho phép chuyển đổi một ma trận từ không gian n chiều sang

không gian m chiều, với điều kiện n >= m

Trọng tâm: Phân tích mã QR bằng các phương pháp Gram-smith, Householder, Given sử dụng ánh xạ tuyến tính để giải quyết vấn đề xác định vectơ cột và ma trận Q

1.Phương pháp Gram-smith sử dụng ánh xạ tuyến tính để biến đổi ma trận đầu vào sao cho các vectơ trong ma trận đó trở thành đôi một vuông góc và có độ dài là 1 Kết quả của phương pháp này là một ma trận Q có các cột là những vectơ vuông góc có độ dài bằng 1 2.Phương pháp Householder cũng sử dụng ánh xạ tuyến tính để biến đổi ma trận đầu vào thành một ma trận tam giác trên Quá trình này tạo ra một ma trận Q thỏa mãn tính chất

15

Q.T = I, trong đó T là ma trận tam giác trên thu được sau khi biến đổi đầu vào và I là ma trận đơn vị

3.Phương pháp Given sử dụng ánh xạ tuyến tính để xác định kỹ thuật xoay Givens, giúp biến đổi ma trận đầu vào thành một ma trận tam giác trên hoặc tam giác dưới Quá trình này cho phép xác định ma trận Q với các cột tạo thành bởi các vectơ cột không thay đổi

=> Tóm lại, ánh xạ tuyến tính là một công cụ hữu ích trong phân tích mã QR bằng 2 trong

3 phương pháp Gram-smith, Householder, Given Nó cho phép biến đổi một ma trận đầu vào để thu được ma trận Q với các cột là các vectơ vuông góc hoặc thu được ma trận tam

giác trên hoặc tam giác dưới

4.3 Sử dụng phương pháp QR để tìm trị riêng của ma trận:

Các công thức cần lưu ý:

A(i) = Q(i) R(i)A(i+1) = R(i) Q(i)

A2(1) = P2A(1)

A3(1) = P3A2(1)

A(2) = R(1)Q(1) = P3P2A(1) P2t P3t

là ma trận 3 đường chéo, đối xứng

❖ Ta tính s1 bằng cách tìm trị riêng ma trận vuông 2x2 tạo bởi dòng thứ 2,3 và cột thứ 2, 3

[3 1 1 3]

❖ Ma trận trên có 2 giá trị riêng là μ1 = 2 và μ2 = 4

Ta phải chọn s1 là 1 trong 1 trị riêng gần với giá trị a3 = A33= 3 (ở đây chọn 2 hay 4 đều được)

❖ Sau khi có A1(i) ta tìm ma trận quay P2

❖ Từ dạng tổng quát của Ak(i) ta sẽ có dạng của A1(i) là:

❖ Nhận xét nếu b2(2) và b3(2) đủ nhỏ thì có thể dừng lại, để tính toán các trị riêng ❖ Tiếp tục lặp lại các bước như trên

❖ Đầu tiên, ta tính s2 bằng cách tìm trị riêng ma trận vuông 2x2 tạo bởi dòng thứ 2,3 và cột thứ 2, 3 của ma trận A(2) vừa thu được

❖ Tiếp theo, từ ma trận A(3) ta bỏ đi hàng thứ 3 và cột thứ 3, rồi tính trị riêng của ma trận vừa thu được:

% Phan tich QR bang Gram-Schimidt

A=input(' Nhap ma tran A can phan tich ' );

21

5.1.2 Kết quả:

23

5.2.2 Kết quả:

24

CHƯƠNG VI TÀI LIỆU THAM KHẢO

[1] Giáo trình đại số tuyến tính – Đại học Bách Khoa (tác giả: Đặng Văn Vinh) [2] QR FACTORIZATION (tác giả: E.Anderson, Z.Bai and J Dongarra) [3] QR decomposition - Wikipedia

[4] Tài liệu hướng dẫn sử dụng Matlab [5] Tài liệu của các anh chị khóa trước

25

LỜI CẢM ƠN

Trong suốt quá trình thực hiện đề tài trên, nhóm đã gặp không ít khó khăn và thực sự may mắn khi nhóm đã nhận được sự quan tâm, ủng hộ và giúp đỡ tận tình từ các thầy cô, anh chị và bạn bè Ngoài ra, nhóm cũng xin gửi lời biết ơn chân thành nhất đến thầy Nguyễn Hữu Hiệp là giảng viên hướng dẫn cho đề tài này Nhờ sự hết lòng và luôn nhắc nhở của các thầy mà nhóm đã hoàn thành đề tài đúng tiến độ và giải quyết tốt những khó khăn, vướng mắc mà nhóm gặp phải Sự hướng dẫn của các thầy đã giúp nhóm xác định được đúng hướng đi và phát huy được những điểm tốt, khắc phục những hạn chế còn tồn tại Bên cạnh đó, kiến thức vũ trụ là vô hạn nhưng sự lĩnh hội, tiếp thu kiến thức của con người là hữu hạn Do đó, lần đầu tiên tiếp xúc với việc làm đề tài ở môi trường Đại học, nhóm chắc chắn không tránh khỏi những sai sót, nhóm chúng em hi vọng sẽ nhận được sự góp ý từ các thầy cô, để lấy kinh nghiệm cho bản thân, hoàn thành tốt hơn nữa những đề tài tiếp theo Lời cuối, xin một lần nữa gửi lời cảm ơn chân thành nhất đến thầy cô và mọi người đã dành thời gian để chia sẻ và chỉ dẫn nhóm Đây chính là động lực to lớn giúp nhóm làm việc hết mình để hoàn thành đề tài một cách tốt nhất

Chúng em xin chân thành cảm ơn!

26

27