Học bán giám sát sử dụng giải thuật lan truyền nhãn đồ thị Trần Mai Vũ Cơng trình liên quan Bài báo n ền: X Zhu and Z Ghahramani Learning from labeled and unlabeled data with label propagation Technical Report CMU-CALD-02-107, Carnegie Mellon University, Pittsburgh, 2002 X Zhu, Z Ghahramani, and J Lafferty Combining active learning and semi-supervised learning using Gaussian fields and harmonic functions In ICML-2003 Workshop on the Continuum from Labeled to Unlabeled Data in Machine Learning, pages 912–912, Washington, DC, 2003a X Zhu, Z Ghahramani, and J Lafferty Semi-supervised learning using Gaussian fields and harmonic functions In Twentieth International Conference on Machine Learning, pages 912–912, Washington, DC, 2003b AAAI Press X Zhu, J Lafferty, and Z Ghahramani Semi-supervised learning: From Gaussian fields to Gaussian processes Technical Report CMU-CS-03-175, Carnegie Mellon University, Pittsburgh, 2003c D Zhou, O Bousquet, T N Lal, J Weston, and B Scholkopf Learning with local and global consistency In S Thrun, L Saul, and B Schăolkopf, editors, Advances in Neural Information Processing Systems 16, pages 321–328 MIT Press, Cambridge, MA, 2004 D Zhou, J Huang, and B Scholkopf Learning from labeled and unlabeled data on a directed graph In L De Raedt and S Wrobel, editors, Proceedings of the Twenty-second International Conference on Machine Learning, 2005a D Zhou, B Scholkopf, and T Hofmann Semi-supervised learning on directed graphs In L K Saul, Y Weiss, and L Bottou, editors, Advances in Neural Information Processing Systems 18, pages 1633–1640, Cambridge, MA, 2005b MIT Press • • • • • • • Cơng trình liên quan  M Belkin, I Matveeva, and P Niyogi Regression and regularization on large graphs In Proceedings of the Seventeenth Annual Conference on Learning Theory, 2004a  M Belkin, I Matveeva, and P Niyogi Regularization and semi-supervised learning on large graphs In Proceedings of the Seventeenth Annual Conference on Computational Learning Theory, pages 624– 638, Banff, Canada, 2004b Sách:  Zhu, X (2005) Semi-supervised learning with graphs Doctoral dissertation, Carnegie Mellon University  Xiaojin Zhu and Andrew B Goldberg Introduction to Semi-Supervised Learning Morgan & Claypool, 2009  O Chapelle and B Schölkopf and A Zien, Semi-Supervised Learning, MIT Press, 2006 Bài báo mơ hình ứng d ụng:  Celikyilmaz, A & Thint, M., & Huang, Z.(2009) A Graph-based Semi-Supervised Learning for Question-Answering ACL-2009, Main Conference, Singapore  Jinxiu Chen, Donghong Ji, Chew L Tan, and Zhengyu Niu 2006 Relation extraction using label propagation based semi-supervised learning In Proceedings of ACL’06, pages 129–136 Học bán giám sát - Học bán giám sát với liệu có nhãn khơng nhãn Ký hiệu: Tập có nhãn XL U YL = {(x1, y1), , (xL , yL)} - Tập chưa có nhãn XU={xL+1,…,xL+U} - Nhãn thật XU: YU={yL+1,…,yL+U} - Nhãn dự đoán XU: ῩU={ẏL+1,…, ẏL+U}   Học bán giám sát Giả thuyết Cluster: Nếu điểm nằm cụm điểm nằm lớp  O Chapelle and B Schölkopf and A Zien, Semi-Supervised Learning, MIT Press, 2006 Học bán giám sát Học bán giám sát Giả thuyết Manifold: Dữ liệu nhiều chiều nằm nhiều liệu chiều  O Chapelle and B Schölkopf and A Zien, Semi-Supervised Learning, MIT Press, 2006 Học bán giám sát Giả thuyết Cluster/Manifold: Nếu điểm nằm cụm liệu lớp  Học bán giám sát Học bán giám sát dựa đồ thị  Tư tưởng chính: Xây dựng đồ thị G từ tập liệu XL U XU    Các đỉnh liệu có nhãn khơng có nhãn Cạnh đỉnh thể tượng tự đỉnh Các giải thuật   10 Nhóm giải thuật dựa lan truyền nhãn (Szummer and Jaakkola, 2002b; Zhu and Ghahramani, 2002;Zhou et al., 2004; Zhu et al., 2003b) Nhóm giải thuật cải tiến sử dụng chuẩn hóa đồ thị dựa vào đồ thị Laplace (Belkin and Niyogi, 2003b; Joachims, 2003; Zhou et al., 2004; Zhu et al., 2003b; Belkin et al.,2004b; Delalleau et al., 2005) Xây dựng đồ thị  Đồ thị đầy đủ: đồ thị đầy đủ có cạnh với trọng số độ tương đồng tất node    Độ tương đồng sử dụng số độ đo tương đồng “cục bộ” như: Euclidean, Cosine,… Thường sử dụng Gaussian Kernel: Đồ thị thưa: node có liên kết đến số node    11 Đồ thị kNN Đồ thị ϵNN Đồ thị trọng số Thuật toán gán nhãn  Lan truyền nhãn [Zhu and Ghahramani, 2002]  12 Tư tưởng: Từ node 1,2,…,l có nhãn, node b đ ầu gán nhãn có node láng gi ềng, trình lặp hội tụ Thuật toán gán nhãn 13 Thuật toán gán nhãn 14 Thuật toán gán nhãn   Thuật tốn hội tụ vector dự đốn khơng thay đổi Thuật tốn khơng làm thay đổi nhãn liệu gắn nhãn 15 Thuật toán gán nhãn  Thuật toán cải tiến Zhu 02:  Gán Wii=0 thay cho Wii=1  Cho phép nhãn liệu gắn nhãn thay đổi ῩL≠YL 16 Thuật toán gán nhãn  Thuật toán “lan truyền” nhãn [Zhou et al., 2004]  17 Tư tưởng: tải bước lặp node i nhận thêm đóng góp láng giềng j Thuật toán gán nhãn  Từ truyền dẫn qua quy nạp     18 Phân lớp liệu với độ phức tạp O(n) Tư tưởng: Giả sử có ẏ1,…, ẏn tính tốn giải thuật trên, tính toán ẏ liệu dựa vào nhãn có Nhóm tác giả [Delalleau et al., 2005] đưa công th ức quy nạp đơn giản với thời gian tính tốn tuyến tính WX hàm sinh từ ma trận W với X=(x 1, ,xn)  WX : hàm kNN  WX : Gaussian kernel Công việc   Các phương pháp gắn nhãn tối ưu sử dụng chuẩn hóa đồ thị Laplace Nghiên cứu số mơ hình cụ thể    Celikyilmaz, A & Thint, M., & Huang, Z.(2009) A Graph-based SemiSupervised Learning for Question-Answering ACL-2009, Main Conference, Singapore Jinxiu Chen, Donghong Ji, Chew L Tan, and Zhengyu Niu 2006 Relation extraction using label propagation based semi-supervised learning In Proceedings of ACL’06, pages 129–136 Thử nghiệm liệu cụ thể 19 XIN CẢM ƠN 20 ... lớp  Học bán giám sát Học bán giám sát dựa đồ thị  Tư tưởng chính: Xây dựng đồ thị G từ tập liệu XL U XU    Các đỉnh liệu có nhãn khơng có nhãn Cạnh đỉnh thể tượng tự đỉnh Các giải thuật. .. Kernel: Đồ thị thưa: node có liên kết đến số node    11 Đồ thị kNN Đồ thị ϵNN Đồ thị trọng số Thuật toán gán nhãn  Lan truyền nhãn [Zhu and Ghahramani, 2002]  12 Tư tưởng: Từ node 1,2,…,l có nhãn, ... Nhóm giải thuật dựa lan truyền nhãn (Szummer and Jaakkola, 2002b; Zhu and Ghahramani, 2002;Zhou et al., 2004; Zhu et al., 2003b) Nhóm giải thuật cải tiến sử dụng chuẩn hóa đồ thị dựa vào đồ thị