BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM Đỗ Viết Mạnh XÂY DỰNG CHATBOT BÁN HÀNG DỰA TRÊN MƠ HÌNH SINH LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội – 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM Đỗ Viết Mạnh XÂY DỰNG CHATBOT BÁN HÀNG DỰA TRÊN MƠ HÌNH SINH Chun ngành: Hệ thống thông tin Mã số: 8480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN CÁN BỘ HƯỚNG DẪN KHOA HỌC TS Nguyễn Việt Anh Hà Nội – 2020 LỜI CAM ĐOAN Tơi Đỗ Viết Mạnh, học viên khóa 2018A, ngành Công nghệ thông tin, chuyên ngành Hệ Thống Thông Tin Tôi xin cam đoan luận văn “Xây dựng Chatbot bán hàng dựa mơ hình sinh” tơi nghiên cứu, tìm hiểu phát triển hướng dẫn TS Nguyễn Việt Anh, chép từ tài liệu, cơng trình nghiên cứu người khác mà không ghi rõ tài liệu tham khảo Tôi xin chịu trách nhiệm lời cam đoan Hà Nội, ngày tháng năm 2020 Tác giả Đỗ Viết Mạnh LỜI CẢM ƠN Lời cảm ơn trân trọng em muốn dành tới thầy cô Học viện khoa học công nghệ Việt Nam, Viện công nghệ thông tin, Viện Hàn lâm khoa học cơng nghệ Việt Nam nói chung thầy môn Hệ thống thông tin khoa Cơng nghệ thơng tin nói riêng tận tình giảng dạy truyền đạt kiến thức quý báu suốt khố cao học vừa qua, giúp em có kiến thức chuyên môn tảng để làm sở lý luận khoa học cho luận văn Đặc biệt em xin chân thành cảm ơn thầy TS Nguyễn Việt Anh dìu dắt hướng dẫn em suốt trình làm luận văn, bảo định hướng thầy giúp em tự tin nghiên cứu vấn đề giải toán cách khoa học Em xin trân trọng cảm ơn Ban giám hiệu Học viện khoa học công nghệ Việt Nam - Viện Hàn lâm khoa học công nghệ Việt Nam tạo điều kiện cho em học tập làm luận văn cách thuận lợi Mặc dù cố gắng nhiều, chắn trình học tập luận văn khơng khỏi thiết sót Em mong thơng cảm bảo tận tình thầy bạn Hà Nội, ngày tháng năm 2020 Tác giả Đỗ Viết Mạnh MỤC LỤC DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ MỞ ĐẦU .1 Động lực nghiên cứu 2 Mục tiêu luận văn 3 Cấu trúc luận văn CHƯƠNG : TỔNG QUAN CÁC HỆ THỐNG CHATBOT 1.1 Giới thiệu 1.2 Các mơ hình chatbot bán hàng tiêu biểu hỗ trợ Tiếng Việt 1.2.1 Chatbot theo kịch (menu/button) 1.2.2 Chatbot nhận dạng từ khoá 1.2.3 Mơ hình Chatbot bán hàng mà luận văn nghiên cứu 1.3 Cấu trúc thành phần hệ thống Chatbot 1.4 Hiểu ngôn ngữ tự nhiên (NLU) .10 1.4.1 Xác định ý định người dùng 13 1.5 Quản lý hội thoại (DM) 15 1.5.1 Mơ hình máy trạng thái hữu hạn FSA .17 1.5.2 Mô hình Frame-based .18 1.6 Mơ hình sinh ngơn ngữ (NLG) 19 1.6.1 Template-based NLG 19 1.6.2 Plan-based NLG 20 1.6.3 Class-based NLG 20 1.7 Kết luận chương .21 CHƯƠNG 2: CÁC KỸ THUẬT SỬ DỤNG TRONG CHATBOT 22 2.1 Kiến trúc mạng nơ-ron nhân tạo .22 2.2 Mạng nơ-ron hồi quy RNN .24 2.2.1 Vấn đề phụ thuộc dài 27 2.2.2 Kiến trúc mạng LSTM 28 2.2.3 Phân tích mơ hình LSTM 30 2.3 Word embeddings 33 2.3.1 Word2vec 33 2.3.2 Glove 35 2.4 Ứng dụng RNN vào quản lý hội thoại 36 2.4.1 Mô hình word-based DST 36 2.4.2 Mơ hình Global-Locally Self-Attentive DST (GLAD) .38 2.5 Mơ hình CRF 39 2.5.1 Định nghĩa CRF 39 2.5.2 Huấn luyện CRF 41 2.5.3 Suy diễn CRF 43 2.6 Giải thuật phân loại văn Starspace 44 2.7 Kết luận chương .45 CHƯƠNG 3: XÂY DỰNG CHATBOT BÁN HÀNG 46 3.1 Bài toán 46 3.2 Xây dựng Chatbot hỗ trợ nghiệp vụ bán hàng 46 3.3 Ứng dụng RASA xây dựng Chatbot .48 3.4 Xây dựng liệu Chatbot .50 3.4.1 Xây dựng ý định 51 3.4.2 Xây dựng entity 52 3.4.3 Xây dựng câu trả lời cho bot .53 3.4.4 Xây dựng khung kịch (history) 54 3.5 Thử nghiệm .55 3.5.1 Dữ liệu thử nghiệm 55 3.5.2 Môi trường công cụ sử dụng thực nghiệm 56 3.5.3 Thiết kế chương trình thử nghiệm .56 3.5.4 Thử nghiệm .57 3.6 Đánh giá 63 CHƯƠNG 4: KẾT LUẬN 64 TÀI LIỆU THAM KHẢO PHỤ LỤC DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT Từ viết tắt Từ chuẩn Diễn giải AI Artificial Intelligence Trí tuệ nhân tạo ANN Artificial Nerual Network Mạng nơ-ron nhân tạo CBOW Continuous Bag of Words CNN Convolution Neural Network Mạng nơ-ron tích chập CRF Conditional Random Fields Mơ hình xác xuất trường điều kiện ngẫu nhiên DM Dialogue Management Quản lý hội thoại DNN Deep Neural Networks Mơ hình học sâu DTS Dialogue State Tracking Theo dõi trạng thái hội thoại FSA Finite State Automata Mô hình dựa máy trạng thái hữu hạn FSM Finite State Machine Máy trạng thái hữu hạn GLAD Global-Locally SelfAttentive State Tracker Dialogue HMM Hiden Markov Models Mơ hình Markov ẩn LSTM Long short-term memory Mạng cải tiến để giải vấn đề phụ thuộc dài NLG Natural Language Generation Thành phần sinh ngôn ngữ NLP Natural Language Processing Xử lý ngôn ngữ tự nhiên NLU Natural Language Hiểu ngôn ngữ tự nhiên Understanding ML Machine Learning Học máy, máy có khả học tập POS Part Of Speech Gán nhãn từ loại RNN Recurrent Neural Network Mạng nơ-ron hồi quy SVM Vector Support Machine Máy vector hỗ trợ DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ Hình 1: Ví dụ dạng Chatbot (menu/button) Hình 2: Ví dụ Chatbot nhận dạng từ khố Hình 3: Cấu trúc thành phần hệ thống Chatbot [12] Hình 4: Mơ hình thành phần xử lý Chatbot [1] 10 Hình 5: Các bước xử lý pipeline NLU [1] .11 Hình 6: Các bước xử lý NLU [2] .11 Hình 7: Mơ hình bước xác định ý định .13 Hình 8: Mơ hình quản lý trạng thái định action hội thoại [2] 16 Hình 9: Quản lý hội thoại theo mơ hình máy trạng thái hữu hạn FSA 17 Hình 10: Frame cho Chatbot hỏi thông tin khách hàng .18 Hình 11: Phương pháp sinh ngơn ngữ dựa tập mẫu câu trả lời [1] 19 Hình 12: Phương pháp sinh ngôn ngữ Plan-based [1] .20 Hình 13: Phương pháp sinh ngơn ngữ class-based [1] 20 Hình 14: Kiến trúc mạng nơ-ron nhân tạo [15] 22 Hình 15: Q trình xử lý thơng tin mạng nơ-ron nhân tạo [15] 23 Hình 16: Mạng RNN [15] 25 Hình 17: Mạng RNN chiều [15] .26 Hình 18: Mạng RNN nhiều tầng [15] 27 Hình 19: RNN phụ thuộc short-term [17] 28 Hình 20: RNN phụ thuộc long-term [17] 28 Hình 21: Các mô-đun lặp mạng RNN chứa layer [17] 29 Hình 22: Các mơ-đun lặp mạng LSTM chứa bốn layer [17] 29 Hình 23: Tế bào trạng thái LSTM giống băng truyền [17] 30 Hình 24: Cổng trạng thái LSTM [17] 31 Hình 25: LSTM focus f [17] 31 Hình 26: LSTM focus I [17] 32 Hình 27: LSTM focus c [17] .32 Hình 28: LSTM focus o [17] .33 Hình 29: Mơ hình từ nhúng [16] .34 Hình 30: Mơ hình CBOW Skip-Ngram [16] 34 Hình 31: Xác xuất từ k ngữ cảnh từ i j [16] 35 3.5.4 Thử nghiệm Tiến hành thử nghiệm tương tác với Chatbot với số câu thấy độ xác Chatbot đạt khoảng 80% tính câu hỏi xung quanh kịch đào tạo cho Chatbot Còn câu hỏi mà chưa trainning(out of scops) bot đưa số mẫu câu trả lời điều hướng người dùng tới số câu hỏi sẵn có mà Chatbot đáp ứng Một số biểu đồ đánh giá ước lượng tập liệu training khung kịch (history) cho bot: Hình 49: Hình ma trận ước lượng nhầm lẫn xây dựng liệu intent 59 Với biểu đồ ước lượng ta thấy liệu câu đầu vào cho intent người dùng bị xung đột hay nhầm lẫn với Điều đảm bảo tính đắn tập liệu cho việc đào tạo bot Intent Độ đo precision recall f1-score support ask_hello 1.0 1.0 1.0 ask_product_feedbac k 1.0 1.0 1.0 ask_product_num 1.0 1.0 1.0 11 ask_product_payment 1.0 1.0 1.0 ask_product_price 1.0 1.0 1.0 ask_product_quality 1.0 1.0 1.0 12 ask_product_ship 1.0 1.0 1.0 17 ask_product_size 1.0 1.0 1.0 11 ask_product_warranty 1.0 1.0 1.0 Hình 50: Ước lượng độ xác tập liệu trainning intent Sử dụng mơ hình EmbeddingIntentClassifier dựa tảng mơ hình starspace [26] facebook để đào tạo cho Chatbot phục vụ việc phân loại ý định người dùng cho thấy độ xác tương đối cao tập liệu cho toán ngân hàng Entities Độ đo precision recall f1-score support product_name 1.0 1.0 1.0 24 location 1.0 1.0 1.0 21 kilogam 1.0 1.0 1.0 height 1.0 1.0 1.0 60 size 1.0 1.0 1.0 Hình 51: Ước lượng độ xác trích chọn thơng tin Việc áp dụng mơ hình CRF cho trích chọn thơng tin đạt độ xác cao 0.99% Qua q trình đào tạo cho bot thấy việc training nhiều liệu độ xác trích xuất cao với CRF Để đảm bảo việc trích chọn thơng tin xác entity phải trainning cho bot từ 10 đến 20 liệu Dưới danh sách câu hỏi trả lời người dùng tương tác với Chatbot thử nghiệm cuối No Người dùng Chatbot Ý định Xin chào shop Xin chào! Chúng tơi giúp cho bạn? ask_hello Hi shop Xin chào! Chúng hân hạnh phục vụ bạn! ask_hello Slot Bộ sp1 có cịn Bộ sp1 cịn bạn khơng shop product_num product_name: sp1 Mẫu sp2 Mẫu sp2 bên có cịn cịn bạn khơng product_num product_name: sp2 Có cịn Bộ bên cịn sp33 khơng hàng shop product_num product_name: sp3 Hiện shop full Bộ size cho sản phẩm bạn size product_size 61 Mình nặng 80kg, cao Bạn nên mặc size XL để 1m7 mặc cho thoải mái nhá size product_size Giá sp33 shop product_price Giá sp4 Giá sp4 bên là 299k b shop Xin giá mẫu 10 sp5 với shop Giá sản phẩm sp33 299k Giá mẫu sp5 bên 299k product_price product_price Sản phẩm bên sử dụng chất vải thun co dãn Bộ mặc chiều, chống tia uv, 11 có mát product_quality kháng khuẩn, giặt khơng khơng shop phai màu, shop xin đảm bảo chất lượng 12 Bên đảm bảo chất Bộ lượng hàng bên giặt có bị ok nhé, chất vải co dãn product_quality phai màu chiều, chống tia uv, kháng khơng khuẩn, giặt khơng phai màu, Với sách trả hàng Được đổi trả bạn trả hàng hàng trong vòng ngày, bạn 13 product_warranty vui lòng để nguyên tem shop mác sản phẩm giúp 62 kilogame: 80kg, height: 1m7 Tức ngày 14 trả lại hàng khơng Có ship Bên khuyến 15 Thái Nguyên mại free ship toàn quốc không shop product_ship Ship hàng thời 16 gian nhận 17 Nhận hàng với tốn khơng Mình Tất sản phẩm ship 18 toán cod COD nhận tiền giao product_payment không hàng 19 20 Cảm ơn Cảm ơn bạn phản hồi! product_feedback Mình Cảm ơn bạn phản hồi! nhận Chúc bàn ngày tốt product_feedback hàng lành shop Hình 52: Bảng mô tả đoạn hội thoại test với Chatbot 3.6 Đánh giá Từ trình tìm hiểu, xây dựng kết khách quan từ thực nhiệm tơi có đánh sau: 63 - Xây dựng liệu đào tạo, huấn luyện cho Chatbot kịch xây dựng hội thoại yếu tố vô quan trọng Đây hai yếu tố có ảnh hưởng lớn đến tính linh hoạt độ thông minh Chatbot - Việc định nghĩa xây dựng ý định quan trọng phải phân tích tỉ mỉ với chủ đề khác để đưa tập ý định tốt Đối với ý định không rõ ràng hay gần mặt ngữ nghĩa khiến cho độ xác Chatbot giảm Nên việc thiết kế ý định slot vô quan trọng Với đoạn hội thoại nằm kịch dựng sẵn Chatbot đáp ứng tốt trả lời cho người dùng Tuy nhiên việc xây dựng kịch cho Chatbot khó khăn đoạn hội thoại xảy nhiều trường hợp Đối với hội thoại dài phức tạp việc lưu trữ slot để lưu ngữ cảnh hội thoại Chatbot có khả trả lời ngẫu nhiên mẫu câu template khiến cho đoạn hội thoại trở nên tự nhiên Bên cạnh bot có khả điều hướng người dùng đến mẫu câu trả lời sẵn, người dùng hỏi câu phạm vi huấn luyện Tuy nhiên việc điều hướng dựa khả trả lời ngẫu nhiên bot dẫn đến việc bot chưa thông minh việc xử lý tình Qua tốn tơi đánh giá việc áp dụng toán Chatbot cho nghiệp vụ bán hàng khả thi, có tính thực tiễn cao đáp ứng số vấn đề nghiệp vụ bán hàng 64 CHƯƠNG 4: KẾT LUẬN Trong luận văn tìm hiểu số kiến thức tổng quan hệ thống Chatbot, thành phần cấu trúc nhiệm vụ thành phần Chatbot, tìm hiểu số thuật toán áp dụng vào việc xây dựng Chatbot để giải toán Chatbot bán hàng Trong trình tìm hiểu xây dựng ứng dụng Chatbot hỗ trợ người dùng cho nghiệp vụ bán hàng đạt số kết định sau: Các vấn đề mà luân văn làm được: Trình bày kiến thức tổng quan hệ thống Chatbot, mơ hình Chatbot bán hàng nay, tìm hiểu chi tiết cấu trúc thành phần vấn đề gặp phải xây dựng hệ thống Chatbot Nắm luồng hoạt động hay bước xử lý thành phần mơ hình Chatbot Bên cạnh tơi nắm số thuật toán phương pháp để xử lý liệu Chatbot Trong trình xây dựng tập liệu đào tạo, huấn luyện cho Chatbot giúp tơi có kinh nghiệm quý báu việc xử lý gán nhãn liệu với ngữ nghĩa nhập nhằng Từ xây dựng liệu huấn luyện tốt đem lại độ xác cao mơ hình Xây dựng thành cơng chương trình thử nghiệm hệ thống Chatbot phục vụ nghiệp vụ bán hàng theo mơ hình thuật tốn trình bày với CSDL thử nghiệm tham khảo qua kênh Fanpage Facebook bán hàng thật đánh giá kết thử nghiệm Tuy nhiên, việc đánh giá kết cịn thực thủ cơng Định hướng nghiên cứu tiếp theo:  Tích hợp speech to text text to speech cho bot Khi tích hợp vào Chatbot để hỗ trợ người dùng qua giọng nói song song với giao diện  Xây dựng bot hỗ trợ multi intent Hay người dùng hỏi nhiều câu hỏi kép  Xây dựng bot mang tính cảm xúc hay nhân cách hóa Chatbot giúp Chatbot trở nên giống người 65 TÀI LIỆU THAM KHẢO Yun-Nung (Vivian) Chen, Asli Celikyilmaz and Dilek Hakkani-Tur, 2018:” Deep Learning for Dialogue Systems” Tom Bocklisch, 2018: “Conversational AI with Rasa NLU & Rasa Core” Hongshen Chen, Xiaorui Liu, Dawei Yin and Jiliang Tang, 11 Jan 2018: “A Survey on Dialogue Systems: Recent Advances and New Frontiers” Daniel Jurafsky & James H Martin, 23 September 2018: “Dialog Systems and Chatbots” Daniel Jurafsky & James H Martin, 23 September 2018: “Advanced Dialog Systems” Jason D Williams, Kavosh Asadi and Geoffrey Zweig, 24 Apr 2017: “Hybrid Code Networks: practical and efficient end-to-end dialog control with supervised and reinforcement learning” Andrew Maas, Spring 2017: “Dialogue System Introduction and FrameBased Dialogue” Peng Jin, Yue Zhang, Xingyuan Chen and Yunqing Xia:“Bag-ofEmbeddings for Text Classification” Ledell Wu, Adam Fisch, Sumit Chopra, Keith Adams, Antoine Bordes and Jason Weston, 21 Nov 2017: “StarSpace: Embed All The Things!” 10 Bing Liu and Ian Lane, JUN 2018: “End-to-End Learning of TaskOriented Dialogs” 11 John A Bullinaria, 2005: “IAI: Semantic Networks and Frames” 12 Mikhail Burtsev, Alexander Seliverstov, Rafael Airapetyan, Mikhail Arkhipov, Dilyara Baymurzina, Nickolay Bushkov, Olga Gureenkova, Taras Khakhulin, Yuri Kuratov, Denis Kuznetsov, Alexey Litinsky, Varvara Logacheva, Alexey Lymar, Valentin Malykh, Maxim Petrov, Vadim Polulyakh, Leonid Pugachev, Alexey Sorokin, Maria Vikhreva and Marat Zaynutdinov, 15 JUN 2018: “DeepPavlov: Open-Source Library for Dialogue Systems” 13 Hao Fang, 17 Apr 2018: “Dialog Management and System Evaluation” 14 Jason Weston, “Tasks and Architectures for Language Understanding and Dialogue with memory” 15 DENNY BRITZ, 2015, “Recurrent Neural Networks Tutorial” 16 SONVX, 2018, “Học biểu diễn ngơn ngữ cho máy tính” 17 Colah’s blog, August 27, 2015, “Understanding LSTM Networks” 18 Van Deemter, Krahmer, Emiel; Theune, 1999 “Plan-based vs templatebased NLG” 19 Ondrej Plátek, Petr Belohlávek, Vojtech Hudecek, and Filip Jurcícek, 2016 “Recurrent Neural Networks for Dialogue State Tracking” 20 Matthew Henderson, Blaise Thomson and Steve Young, 2014 “WordBased Dialog State Tracking with Recurrent Neural Networks” 21 Victor Zhong, Caiming Xiong, Richard Socher, 2018 “Global-Locally SelfAttentive Dialogue State Tracker” 22 Pei-Hao Su, Nikola Mrksic, Inigo Casanueva, Ivan Vulic, 2018 “Deep Learning for Conversational AI” 23 Jagan Jami, 2017, “INFOGRAPHIC: THE FUTURE OF CHATBOTS STATISTICS & TRENDS” 24 Larry Kim, 2018 “The Top Messenger Apps in the World” 25 Liron Hakim Bobrov, January 2019, “Mobile Messaging App Map of the World” 26 Vu Anh, Jul 2019, “Underthesea - Vietnamese NLP Toolkit” 27 Hammersley, J., & Clifford P, Unpublished manuscript ,1971, “Markov fields on finite graphs and lattices” 28 PHỤ LỤC ... chatbot dịch vụ bán hàng, ship đồ ăn,…vv 1.2.3 Mô hình Chatbot bán hàng mà luận văn nghiên cứu Từ phân tích ưu nhược điểm mơ hình Chatbot dựa menu/button nhận dạng từ khố, lựa chọn xây dựng Chatbot. .. hàng Để giải toán trên, người bán hàng cần xây dựng hệ thống Chatbot bán hàng tự động giúp giảm thiểu chi phí nhân sự, tăng hiệu bán hàng, chăm sóc khách hàng tăng khả tương tác Vậy Chatbot bán. .. KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM Đỗ Viết Mạnh XÂY DỰNG CHATBOT BÁN HÀNG DỰA TRÊN MƠ HÌNH SINH Chun ngành: Hệ thống thông tin Mã số: 8480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN CÁN BỘ HƯỚNG DẪN KHOA