BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ KHOA CÔNG NGHỆ THÔNG TIN Bài tiểu luận cuối kỳ Giảng viên HưỚng dẫn : HÀ QUANG THỤY Mục lục Chương 16 : Các mơ hình xác suất có cấu trúc học sâu 16.1 Thách thức Mơ hình hóa khơng cấu trúc .2 16.2 Dùng đồ thị để mơ tả cấu trúc mơ hình 16.3 Lấy mẫu từ mơ hình đồ thị .11 16.4 Ưu điểm mơ hình hóa có cấu trúc 11 16.5 Học phụ thuộc .11 16.6 Suy luận suy luận xấp xỉ 11 16.7 Phương pháp tiếp cận học sâu với mơ hình xác suất có cấu trúc 12 Chương 4: Chatbot tạo văn tự động 15 Nhóm 11: Phạm Văn Duy Phạm Đức Anh Nguyễn Quang Nhật Dương Hồng Minh Lê Việt Thắng Chương 16 : Các mơ hình xác suất có cấu trúc học sâu Trong phần III này, mơ hình xác xuất có cấu trúc thành phần then chốt hầu hết chủ đề nghiên cứu quan trọng học sâu Để chuẩn bị cho việc thảo luận ý tưởng đó, chương này, chúng tơi trình bày mơ hình xác suất có cấu trúc cách chun sâu 16.1 Thách thức Mơ hình hóa khơng cấu trúc Ta dùng mơ hính xác suất để thực nhiều tác vụ khác phức tạp phân lớp Một vài tác vụ số yêu cầu tạo nhiều giá trị đầu Phần lớn yêu cầu hiểu biết đầy đủ toàn cấu trúc đầu vào, không bỏ qua phần Các tác vụ gồm: • Ước lượng mật độ (Density estimation): Với đầu vào cho trước, hệ thống học máy trả ước lượng mật độ thật theo phân bố tạo liệu Tác vụ địi hỏi đầu nhất, yêu cầu hiểu biết đầy đủ toàn đầu vào Chỉ cần phần tử vectơ đầu vào bất thường, hệ thống phải gán cho vector xác suất thấp • Khử nhiễu (Denoising): Cho trước đầu vào bị hư hại quan sát lỗi , hệ thống học máy trả ước lượng giá trị gốc/giá trị Ví dụ, hệ thống học máy yêu cầu loại bỏ bụi vết trầy xước từ ảnh cũ Tác vụ đòi hỏi nhiều đầu (mọi phần tử phiên ước lượng ) hiểu biết tồn đầu vào (vì cần phần bị hư hại cho ước lượng cuối bị hư hại) • Gán giá trị thiếu (Missing value imputation): Với quan sát số phần tử , mơ hình trả ước lượng phân phối xác suất số tất phần tử không quan sát Tác vụ đòi hỏi nhiều đầu Vì mơ hình u cầu khơi phục phần tử/nhóm phần tử , nên cần hiểu tồn đầu vào • Lấy mẫu (Sampling): Mơ hình sinh mẫu từ phân phối Các ứng dụng bao gồm tổng hợp giọng nói, tức tạo dạng sóng giống lời nói tự nhiên người Tác vụ đòi hỏi nhiều giá trị đầu mơ hình tốt tồn đầu vào Chỉ cần mẫu có phần tử lấy mẫu từ phân phối khơng xác, tồn q trình lấy mẫu khơng xác Thơng thường, muốn mơ hình hóa phân phối vector ngẫu nhiên X gồm n biến ngẫu nhiên rời rạc, biến ngẫu nhiên nhận k giá trị, cách tiếp cận ngây thơ để biểu diễn P(X) - biểu diễn bảng tra với giá trị xác suất ứng với đầu yêu cầu tham số! Điều bất khả thi lí sau: • Ước lượng mật độ (Density estimation): Với đầu vào cho trước, hệ thống học máy trả ước lượng mật độ thật theo phân bố tạo liệu Tác vụ đòi hỏi đầu nhất, yêu cầu hiểu biết đầy đủ toàn đầu vào Chỉ cần phần tử vectơ đầu vào bất thường, hệ thống phải gán cho vector xác suất thấp • Khử nhiễu (Denoising): Cho trước đầu vào bị hư hại quan sát lỗi , hệ thống học máy trả ước lượng giá trị gốc/giá trị Ví dụ, hệ thống học máy yêu cầu loại bỏ bụi vết trầy xước từ ảnh cũ Tác vụ đòi hỏi nhiều đầu (mọi phần tử phiên ước lượng ) hiểu biết toàn đầu vào (vì cần phần bị hư hại cho ước lượng cuối bị hư hại) • Gán giá trị thiếu (Missing value imputation): Với quan sát số phần tử , mơ hình trả ước lượng phân phối xác suất số tất phần tử khơng quan sát Tác vụ địi hỏi nhiều đầu Vì mơ hình u cầu khơi phục phần tử/nhóm phần tử , nên cần hiểu toàn đầu vào • Lấy mẫu (Sampling): Mơ hình sinh mẫu từ phân phối Các ứng dụng bao gồm tổng hợp giọng nói, tức tạo dạng sóng giống lời nói tự nhiên người Tác vụ đòi hỏi nhiều giá trị đầu mơ hình tốt tồn đầu vào Chỉ cần mẫu có phần tử lấy mẫu từ phân phối khơng xác, tồn q trình lấy mẫu khơng xác Thơng thường, muốn mơ hình hóa phân phối vector ngẫu nhiên X gồm n biến ngẫu nhiên rời rạc, biến ngẫu nhiên nhận k giá trị, cách tiếp cận ngây thơ để biểu diễn P(X) - biểu diễn bảng tra với giá trị xác suất ứng với đầu yêu cầu tham số! Điều bất khả thi lí sau: • Bộ nhớ—chi phí lưu trữ biểu diễn (Memory—the cost of storing the representation): Trừ n k nhỏ, biểu diễn phân phối dạng bảng tra yêu cầu nhiều giá trị để lưu trữ • Tính hiệu theo thống kê (Statistical efficiency): Do số lượng tham số mơ hình tăng lên, nên lượng liệu huấn luyện cần thiết để chọn giá trị tham số ướng ượng thống kê tăng lên theo Vì mơ hình dựa bảng tra có số lượng tham số lớn, u cầu tập huấn luyện lớn để khớp mơ hình cách xác Bất kì mơ hình khớp (overfitting) tập huấn luyện trừ giả định bổ sung đưa vào để liên kết mục nhập (entries) khác bảng (như mơ hình -gram co dần (back-off –gram models) hay mơ hình –gram trơn (smoothed -gram models); mục 12.4.1) • Thời gian thực thi—chi phí suy luận (Runtime—the cost of inference): Giả sử muốn thực tác vụ suy luận (inference task): sử dụng mơ hình phân phối đồng thời để tính tốn vài phân phối khác, chẳng hạn phân phối biên phân phối có điều kiện Để tính phân phối đó, ta phải cầu cộng dồn tồn bảng, thời gian thực thi phép tốn lớn (khơng thể biểu diễn hàm đa thức độ lớn đầu vào) (intractable memory cost) • Thời gian thực thi—chi phí lấy mẫu (Runtime—the cost of sampling): Tương tự trên, giả sử muốn lấy mẫu từ mơ hình Cách ngây thơ để thực điều lấy mẫu số giá trị , sau lặp qua bảng, cộng dồn giá trị xác suất chúng vượt trả kết tương ứng với vị trí bảng Trong trường hợp xấu nhất, cách thực yêu cầu truy xuất tồn bảng, đó, chi phí thực theo cấp số mũ Vấn đề với cách tiếp cận sử dụng bảng mơ hình hóa rõ ràng kiểu tương tác tập tạo từ biến Các phân phối xác suất gặp phải thực tế thường đơn giản nhiều Thông thường, hầu hết biến ảnh hưởng vô hướng tới Các mơ hình xác suất có cấu trúc cung cấp đối số sườn (framework) để mơ hình hóa tương tác có hướng biến ngẫu nhiên Điều cho phép mơ hình loại có tham số nhờ ước lượng cách đáng tin cậy từ liệu Các mơ hình nhỏ giảm đáng kể chi phí tính tốn theo nghĩa chi phí lưu trữ mơ hình, thực suy luận mơ hình, lấy mẫu từ mơ hình 16.2 Dùng đồ thị để mơ tả cấu trúc mơ hình Các mơ hình xác suất có cấu trúc sử dụng đồ thị (theo nghĩa lý thuyết đồ thị: “nút/ đỉnh” nối với “cạnh”) để biểu diễn tương tác biến ngẫu nhiên Mỗi nút biểu diễn biến ngẫu nhiên Mỗi cạnh biểu diễn tương tác có hướng Các tương tác có hướng kéo theo tương tác vơ hướng khác, song tương tác có hướng cần mơ hình hóa rõ ràng Các mơ hình đồ thị tạm chia làm hai loại: mơ hình dựa đồ thị có hướng khơng có chu trình (directed acyclic graphs) (Đồ thị có hướng khơng có vịng khép kín) mơ hình dựa dựa đồ thị vơ hướng (undirected graphs) 16.2.1 Mơ hình có hướng Kiểu mơ hình xác suất có cấu trúc thứ mơ hình đồ thị có hướng, cịn gọi mạng tin cậy (belief network) hay mạng Bayes (Bayesian network) Về mặt tốn học, mơ hình đồ thị có hướng định nghĩa biến x định nghĩa đồ thị có hướng khơng chu trình với đỉnh biến ngẫu nhiên mơ hình, tập phân phối xác suất có điều kiện cục cho biết đỉnh cha xi G Phân phối xác suất tính bởi: Cụ thể, ví dụ chạy tiếp sức Thơng thường, để mơ hình hóa biến rời rạc, biến nhận k giá trị, chi phí cho phương pháp dùng bảng đơn tăng theo tỷ lệ, ta thấy ví dụ Bây giả sử xây dựng mơ hình đồ thị có hướng từ biến Nếu số lượng lớn biến xuất (ở phía dấu điều kiện) phân phối xác suất có điều kiện, chi phí bảng cho mơ hình có hướng tăng theo tỷ lệ Nếu ta thiết kế mơ hình để m