Nhập mơn sở liệu Tối ưu hố câu hỏi Vũ Tuyết Trinh trinhvt@it-hut.edu.vn Bộ môn Các hệ thống thông tin, Khoa Công nghệ thông tin Đại học Bách Khoa Hà Nội Xử lý câu hỏi truy vấn Câu lệnh SQL Phân tích cú pháp (parser) Biểu thức ĐSQH Bộ tối ưu (optimizer) Biểu thức ĐSQH tối ưu Bộ sinh mã (code generator) Chương trình tối ưu Vũ Tuyết Trinh, b/m Các hệ thống thông tin, khoa CNTT, ĐHBKHN SinhVienZone.com https://fb.com/sinhvienzonevn Nhập môn sở liệu Tối ưu hoá { { { { Biến đổi biểu thức ĐSQH để tìm biểu thức hiệu Tối ưu dựa cấu trúc nội dung liệu Nâng cao hiệu thực câu hỏi hay nhiều tiêu chí: thời gian, sử dụng nhớ, Lưu ý: z z Khơng thiết phải tìm biểu thức tối ưu Chú ý tới tài nguyên sử dụng cho tối ưu Kỹ thuật tối ưu hoá { kỹ thuật z z { Tối ưu llogic i ((rewriting) iti ) Tối ưu vật lý (access methods) TYPE Mục đích kỹ thuật tối ưu z z Giảm số ghi Giảm kích thước ghi NW { Ví dụ d WAGON (NW, TYPE, COND, STATION, CAPACITY, WEIGHT) TRAIN (NT, NW) WAGON (NW, TYPE ) NT = 4002 TRAIN (NT, NW) Vũ Tuyết Trinh, b/m Các hệ thống thông tin, khoa CNTT, ĐHBKHN SinhVienZone.com https://fb.com/sinhvienzonevn Nhập môn sở liệu Nội dung { { { Giới thiệu chung Tối ưu logic Tối ưu vật lý Mơ hình giá Tối ưu hố logic { Sử dụng phép biến đổi tương đương để tìm biểu ể thức ĐSQH tốt ố { Gồm giai đoạn z Biến đổi dựa ngữ nghĩa z Biến đổi dựa tính chất phép tốn ĐSQH Vũ Tuyết Trinh, b/m Các hệ thống thơng tin, khoa CNTT, ĐHBKHN SinhVienZone.com https://fb.com/sinhvienzonevn Nhập môn sở liệu Tối ưu dựa ngữ nghĩa { Mục đích: z z { Dựa ràng buộc liệu để ể xác định biểu ể thức tương đương Viết lại câu hỏi khung nhìn dựa định nghĩa khung nhìn Ví dụ EMPLOYEE (FirstName, LastName, SSN, Birthday, Adrresse, NoDept) DEPARTEMENT (DNO, DName, SSNManager) PROJECT (PNO, PName, PLocation, DNo) WORK-IN (ESSN, PNO, Heures) EMPLOYEE (Name, SSN, Birthday, Adrresse, NoDept) DEPARTEMENT (DNO, DName, SSNManager) PROJECT (PNO, PName, PLocation, DNo) WORK-IN (ESSN, NoProj, Heures) Tên nhân viên sinh sau ngày 30/01/70 làm việc cho dự án "Esprit" Result WORK-IN.ESSN Name = EMPLOYEE SSN = WORK-IN PNO WORK-IN PROJECT.PNO NoProj = PNO ESSN=SSN EMPLOYE PROJET PROJECT.PNO = PName = “Esprit” Birthday > “30/01/70 Đồ thị kết nối quan hệ EMPLOYEE Birthday “Esprit” > “30/01/70” Đồ thị kết nối thuộc tính Vũ Tuyết Trinh, b/m Các hệ thống thông tin, khoa CNTT, ĐHBKHN SinhVienZone.com https://fb.com/sinhvienzonevn Nhập môn sở liệu Tối ưu dựa ngữ nghĩa (2) { Loại bỏ đồ thị không liên kết đồ thị kết ế nối ố quan hệ { Kiểm tra mâu thuẫn đồ thị kết nối thuộc tính { Biế đổi câu Biến â hỏi ttương đ đương Tính chất phép toán ĐSQH A ~ tập thuộc tính, C ~ biểu thức điều kiện Phép chiếu phép chọn Π (R) => Π (Π (R) A ⊆ A1 A A A1 σ C (R) => σ (σ (R)) C = C1^C2 C1 C2 Tính giao hốn phép chọn chiếu σ (σ (R)) => σ (σ (R)) C1 C2 C2 C1 σ (Π (R)) => Π (σ (R)) C1 A2 A2 C1 thuộc tính C2 thuộc A1 Π (σ (R)) => σ (Π (R)) A1 C2 C2 A1 Π (Π (R)) => Π (R) A1 A2 A1 A1 ⊆ A2 Vũ Tuyết Trinh, b/m Các hệ thống thông tin, khoa CNTT, ĐHBKHN SinhVienZone.com https://fb.com/sinhvienzonevn Nhập môn sở liệu Tính chất phép tốn ĐSQH (2) Tính g giao hốn kết hợp ợp p phép p toán ∗, ∩, ∪, −, x R X S => S X R R * S => S * R R ∩ S => S ∩ R R ∪ S => S ∪ R (R X S) X T => R X (S X T) (R ∩ S) ∩ T => R ∩ (S ∩ T) (R ∪ S) ∪ T => R ∪ (S ∪ T) (R * S) * T => R * C1 C2 C1 (S * C2 T) Attr(C2) ⊆ Attr(S) U Attr(T) Tính chất phép tốn ĐSQH (3) Tính phân phối σ Π phép toán *, ∩, ∪, -, X Nếu C = (CR ^ CS) Attr(CR) ⊆ R Attr(CS) ⊆ S : σ (R *JC S) => σ (R) * JC σ (S) C CR CS σ (R X S) => σ (R) X σ (S) C CR CS Vũ Tuyết Trinh, b/m Các hệ thống thông tin, khoa CNTT, ĐHBKHN SinhVienZone.com https://fb.com/sinhvienzonevn Nhập môn sở liệu Biến đổi biểu thức ĐSQH T1 R: F1 ∧ F2 ∧ Fn (( (R:F1) : F2 ): ):Fn _ T2 ((R[Y]) [ ]) [[Z]] R[Z] [ ]n u Z⊆Y _ T3 (R[Y]) :F (X) (R :F(X)) [Y] n u X ⊆ Y (R: F(X)) [Y] (R[X ∪ Y]) : F(X) ) [Y] n u X ⊄ Y _ T4 (R(X) x S(Y)) : F(Z) (R(X):F) x S(Y) n u Z ⊆ X (R(X) x S(Y)) : F(Z1)∧ F(Z2) (R(X):F(Z1)) x (S(Y): F(Z2)) n u Z1 ⊆ X Z2 ⊆ Y _ T5 (R ∪ S): F (R:F) ∪ (S:F) _ T6 (R - S): F (R:F) - S _ T7 (R(X) x S(Y))[Z] R[X ∩ Z] x S[Y ∩ Z] _ (R[Z]) ∪ (S[Z]) T8 (R ∪ S) [Z] _ Trình tự áp dụng { Khai triển phép lựa chọn dựa nhiều điều kiện: T1 { Hoán vị phép chọn với tích đề-các, hợp, trừ: T3, T4, T5, T6 { Hốn vị phép chiếu với tích đề-các, hợp : T2, T7,, T8 { Nhóm điều kiện chọn T1 áp dụng T2 để loại phép chiếu dư thừa Vũ Tuyết Trinh, b/m Các hệ thống thông tin, khoa CNTT, ĐHBKHN SinhVienZone.com https://fb.com/sinhvienzonevn Nhập môn sở liệu Bài tập Lựa chọn cách truy nhập liệu { Giả thiết z z { TRAIN : có số ố NT WAGON : có số NW TYPE Thực phép kết nối z z Lựa chọn giải thuật Lựa chọn cách truy nhập quan hệ NW WAGON (NW, TYPE ) NT = 4002 TRAIN (NT, NW) Vũ Tuyết Trinh, b/m Các hệ thống thông tin, khoa CNTT, ĐHBKHN SinhVienZone.com https://fb.com/sinhvienzonevn Nhập môn sở liệu Relation S Nested-loop-join (NLJ) { Nguyên tắc z Duyệt lần quan hệ R & lặp quan hệ S Matching Tuple R { Các mở rộng thuật toán z Tuple-based NLJ, blockbased NLJ, index-based NLJ Tuple p R Tuple p S SOURCE R SOURCE S Thực nào? TYPE NW WAGON (NW, TYPE ) NT = 4002 TRAIN (NT, NW) Vũ Tuyết Trinh, b/m Các hệ thống thông tin, khoa CNTT, ĐHBKHN SinhVienZone.com https://fb.com/sinhvienzonevn Nhập môn sở liệu Thông tin quan hệ { Kích thước quan hệ ghi Relation WAGON TRAIN TRAFFIC {Thông Record size 60 30 20 tin thuộc tính Attribute NW TYPE COND CAPACITY NT DATE {Thông Cardinality 200000 60000 80000 Cardinality 200000 200 400 2000 00 Size 20 15 15 10 -max -45 tin số Relation WAGON WAGON WAGON WAGON TRAIN TRAFFIC TRAFFIC Attributes NW TYPE COND CAPACITY NT NT DATE Relation Cardinality WAGON TRAIN TRAFFIC 200000 60000 80000 Unique Yes N No No No No No no Type Principal Secondary S d Secondary Secondary Principal Principal Principal Record size (num of rec./page) 60(100) 30 (200) 20 (300) Num of pages 45 25 30 25 18 20 40 Num of pages (NP’) 1500(375) 225(60) 200(60) Mơ hình giá { Chí phí thực câu hỏi phụ thuộc: z đọc/ghi ọ g ộ nhớ g ((số trang g nhớ)) thước liệu phải xử lý zKích {Chi phí truy nhập liệu zĐọc ghi liệu zxử lý zTruyền y thông gg trạm làm việc CTA = σ * NBPAGES + τ ∗ NBNUPLETS (+ µ ∗ NBMESSAGES) {Trọng số σ = trọng số đọc/ghi liệu (ví dụ = 1) τ = trọng số xử lý CPU (ví dụ = 1/3) {µ = trọng số truyền liệu { { Vũ Tuyết Trinh, b/m Các hệ thống thông tin, khoa CNTT, ĐHBKHN SinhVienZone.com 10 https://fb.com/sinhvienzonevn Nhập môn sở liệu Tối ưu hố dựa mơ hình giá { { Mục đích: Chọn phương án thực câu hỏi với chi phí thấp ấ ấ Nhận xét: z z ¾ Chi phí cho liệt kê phương án trả lời câu hỏi Chi phí cho lượng hố phương án theo mơ hình giá Có thể sử dụng « mẹo » (heuristics) để giảm khơng gian tìm kiếm câu hỏi Kết luận { Tối ưu hố nhằm tìm phương án tốt để th thực hiệ ột câu â hỏi z { Cần lưu ý: chí phí thực tối ưu hố chi phí thực câu hỏi Các kỹ thuật tối ưu z z ¾ Logic : kiểm tra điều kiện ràng buộc thuộc tính/quan hệ điều kiện lựa chọn câu hỏi, biến đổi tương đương biểu thức ĐSQH Vật lý : tổ chức vật lý liệu đĩa, mơ hình giá Khơng thiết phải áp dụng tất kỹ thuật thực tối ưu hoá câu hỏi Vũ Tuyết Trinh, b/m Các hệ thống thông tin, khoa CNTT, ĐHBKHN SinhVienZone.com 11 https://fb.com/sinhvienzonevn ... (NT, NW) Vũ Tuyết Trinh, b/m Các hệ thống thông tin, khoa CNTT, ĐHBKHN SinhVienZone. com https://fb .com/ sinhvienzonevn Nhập môn sở liệu Nội dung { { { Giới thiệu chung Tối ưu logic Tối ưu vật lý... khơng gian tìm kiếm câu hỏi Kết luận { Tối ưu hố nhằm tìm phương án tốt để th thực hiệ ột câu â hỏi z { Cần lưu ý: chí phí thực tối ưu hố chi phí thực câu hỏi Các kỹ thuật tối ưu z z ¾ Logic : kiểm... biểu thức tối ưu Chú ý tới tài nguyên sử dụng cho tối ưu Kỹ thuật tối ưu hoá { kỹ thuật z z { Tối ưu llogic i ((rewriting) iti ) Tối ưu vật lý (access methods) TYPE Mục đích kỹ thuật tối ưu z z