ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ  NGUYỄN VĂN QUYỀN XÂY DỰNG MÔ HÌNH BÁN HÀNG TỰ ĐỘNG TRÊN INTERNET LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI - 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ  NGUYỄN VĂN QUYỀN XÂY DỰNG MÔ HÌNH BÁN HÀNG TỰ ĐỘNG TRÊN INTERNET Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: TS Nguyễn Văn Nam HÀ NỘI – 2016 LỜI CAM ĐOAN Tôi Nguyễn Văn Quyền, học viên khóa K21, ngành Công nghệ thông tin, chuyên ngành Hệ Thống Thông Tin Tôi xin cam đoan luận văn “Xây dựng mô hình bán hàng tự động Internet” nghiên cứu, tìm hiểu phát triển dƣới hƣớng dẫn TS Nguyễn Văn Nam, chép từ tài liệu, công trình nghiên cứu ngƣời khác mà không ghi rõ tài liệu tham khảo Tôi xin chịu trách nhiệm lời cam đoan Hà Nội, ngày tháng năm MỤC LỤC TÓM TẮT NỘI DUNG 1 CHƢƠNG 1: GIỚI THIỆU CHUNG .2 CHƢƠNG 2: TỔNG QUAN BÁN HÀNG TỰ ĐỘNG 2.1 Các mô hình trả lời bán hàng tiêu biểu 2.2 Các vấn đề cần giải cải tiến 11 CHƢƠNG 3: MẠNG NƠ-RON VÀ PHƢƠNG PHÁP SEQ2SEQ .14 3.1 Kiến thức tổng quan 14 3.2 Framework TensorFlow 18 3.3 Lý thuyết mạng nơ-ron 19 3.3.1 Mạng nơ-ron nhân tạo ANN 19 3.3.2 Mạng nơ-ron tái phát RNN 22 3.3.3 Mạng Long Short Term Memory LSTM 24 3.4 Phương pháp học chuỗi Seq2Seq 30 CHƢƠNG 4: GIẢI PHÁP VÀ XÂY DỰNG MÔ HÌNH ĐỀ XUẤT ISALES .37 4.1 Giải pháp đề xuất 37 4.2 Nguồn liệu huấn luyện 40 4.2.1 Facebook 40 4.2.2 GraphAPI 41 4.3 Xây dựng mô hình iSales 43 4.3.1 Pha thu thập liệu 43 4.3.2 Pha tiền xử lý liệu 45 4.3.3 Pha phân mảnh liệu 47 4.3.4 Pha huấn luyện liệu 49 4.3.5 Pha sinh câu trả lời 52 CHƢƠNG 5: THỬ NGHIỆM, ĐÁNH GIÁ KẾT QUẢ 55 5.1 Phát biểu usecase 55 5.2 Thử nghiệm iSales 56 5.3 Đánh giá kết 61 KẾT LUẬN 63 TÀI LIỆU THAM KHẢO 64 DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT Từ viết tắt Chatbot Page Post Comment NLP ANN RNN LSTM Seq2Seq Từ chuẩn Diễn giải Chatbot Page Post Comment Hệ thống trả lời tự động Khái niệm trang thông tin facebook Khái niệm viết facebook Khái niệm bình luận facebook Natural Languague Processing Artificial Nerual Network Recurrent Neural Network Long short-term memory Xử lý ngôn ngữ tự nhiên Mạng nơ ron nhân tạo Mạng nơ ron tái phát Mạng cải tiến để giải vấn đề phụ thuộc dài sequence to sequence Phƣơng pháp học chuỗi liên tiếp DeepLearning DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ Hình 2.1: Luồng tƣơng tác mô hình bán hàng sử dụng Messenger Hình 2.2: Mô hình bán hàng sử dụng Messenger Hình 2.3: Từ điển sử dụng chatbot Skype Hình 2.4: Mô hình bán hàng sử dụng chatbot Skype Hình 2.5: Mô hình bán hàng sử dụng chatbot Skype Hình 2.6: Mô hình bán hàng sử dụng uhChat 10 Hình 2.7: Mô hình bán hàng sử dụng Subiz 11 Hình 3.1: Các bƣớc chung mô hình tự động 16 Hình 3.2: Mô hình bán hàng tự động 17 Hình 3.3: Kiến trúc mạng nơ-ron nhân tạo ANN 20 Hình 3.4: Quá trình xử lý thông tin nơ-ron j mạng ANN 20 Hình 3.5: Quá trình xử lý thông tin mạng RNN 23 Hình 3.6: RNN phụ thuộc short-term .25 Hình 3.7: RNN phụ thuộc long-term 25 Hình 3.8: Các module lặp mạng RNN chứa layer 26 Hình 3.9: Các mô-đun lặp mạng LSTM chứa bốn layer 26 Hình 3.10: Cell state LSTM giống nhƣ băng truyền 27 Hình 3.11: Cổng trạng thái LSTM 27 Hình 3.12: LSTM focus f 28 Hình 3.13: LSTM focus i 28 Hình 3.14: LSTM focus c 29 Hình 3.15: LSTM focus o 29 Hình 3.16: Mô hình phát sinh văn 30 Hình 3.17: Quá trình huấn luyện phát sinh văn 31 Hình 3.18: Mô hình chuỗi liên tiếp Seq2Seq 32 Hình 3.19: Mô hình đối thoại seq2seq 33 Hình 3.20: Bộ mã hóa giải mã seq2seq .34 Hình 4.1: Các pha mô hình bán hàng tự động .37 Hình 4.2: Sơ đồ quy trình mô hình đề xuất 38 Hình 4.3: Mô hình giao tiếp sử dụng graphAPI Facebook 41 Hình 4.4: Sử dụng graphAPI v2.6 để thu thập liệu page 42 Hình 4.5: Luồng nghiệp vụ pha thu thập liệu 44 Hình 4.6: Mã nguồn sample pha thu thập liệu 44 Hình 4.7: Kết sample pha thu thập liệu 45 Hình 4.8: Luồng nghiệp vụ pha tiền xử lý liệu 46 Hình 4.9: Kết sample pha tiền xử lý liệu 46 Hình 4.10: Luồng nghiệp vụ pha phân mảnh liệu 48 Hình 4.11: Kết sample pha phân mảnh liệu 48 Hình 4.12: Luồng nghiệp vụ pha huấn luyện liệu 50 Hình 4.13: Biểu đồ pha huấn luyện liệu .51 Hình 4.14: Mã nguồn sample cho huấn luyện liệu 52 Hình 4.15: Luồng nghiệp vụ pha sinh câu trả lời 53 Hình 4.16: Mã nguồn sample cho pha sinh câu trả lời 54 Hình 5.1: Quy trình bán hàng tự động iSales 56 DANH MỤC BẢNG BIỂU Bảng 2.1 Bảng phân loại mô hình bán hàng 12 Bảng 4.1 Các công cụ xây dựng mô hình iSales 39 Bảng 4.2 Các phiên graphAPI Facebook 41 Bảng 4.3 Bảng nội dung làm liệu .45 Bảng 4.4 Danh sách cấu phần xử lý pha huấn luyện .51 Bảng 5.1 Danh sách page facebook thu thập liệu 57 Bảng 5.2 Bảng kết huấn luyện liệu 58 Bảng 5.3 Danh sách câu hỏi thử nghiệm .58 Bảng 5.4 Thử nghiệm sinh câu trả lời trƣờng hợp 59 Bảng 5.5 Thử nghiệm sinh câu trả lời trƣờng hợp 60 Bảng 5.6 Thử nghiệm sinh câu trả lời trƣờng hợp 61 TÓM TẮT NỘI DUNG Trong năm gần đây, thƣơng mại điện tử bùng nổ mạnh, kèm theo nhu cầu giải đáp mua hàng tăng cao Điều dẫn tới cần có mô hình bán hàng, hỗ trợ ngƣời bán đƣa câu trả lời tự động, giảm thiểu công sức tƣ vấn nhƣ tăng khả tƣơng tác ngƣời dùng website thƣơng mại điện tử Bên cạnh đó, trí tuệ nhân tạo ngày phát triển, dần vào lĩnh vực ứng dụng đời sống hàng ngày Với mục đích nghiên cứu nhánh công nghệ học máy, đề xuất đƣợc phép nghiên cứu đề tài “xây dựng mô hình bán hàng tự động Internet” Hiện tại, mô hình iSales đƣợc thiết kế dựa mạng nơ-ron, kết hợp phƣơng pháp học chuỗi liên tiếp seq2seq, có khả hiểu Tiếng Việt, tự học từ đoạn đối thoại đƣợc thu thập mạng cung cấp ngƣời bán hàng sinh câu trả lời tự động Mặc dù nghiên cứu chƣa thể đáp ứng cho sản phẩm thƣơng mại nhƣng iSales có số kết định, đặc biệt ý nghĩa việc áp dụng phƣơng pháp học máy CHƢƠNG 1: GIỚI THIỆU CHUNG Mạng xã hội ngày phát triển, ngƣời bán hàng trực tiếp thông qua internet Ngƣời bán hàng quảng cáo sản phẩm họ, ngƣời mua hàng cần nắm thông tin nhƣ mức giá sản phẩm Giữa hai bên cần có đối thoại để tìm hiểu đến kết luận phiên tƣ vấn Bài toán đƣợc đặt nay, nhu cầu giới thiệu sản phẩm, ngƣời bán hàng cần thêm mô hình tƣ vấn tự động cho website Vậy mô hình bán hàng tự động gì? Tại lại cần mô hình nhƣ vậy? Những lợi ích thuận tiện đạt đƣợc sử dụng mô hình gì? Để giải đáp cho câu hỏi trên, ta lấy ba ví dụ cụ thể website bán giày da, website bán đồ thời trang online mạng, website bán hàng mỹ phẩm, ba website tích hợp ứng dụng chat Ở ví dụ đầu tiên, cửa hàng bán giày da bình thƣờng khách Buổi sáng yêu cầu tƣ vấn sản phẩm, buổi trƣa nhân viên bán hàng ăn trƣa Đầu chiều, quay lại, nhân viên bán hàng phát có khách hàng hỏi sản phẩm lúc Do phản hồi tƣ vấn, khách hàng rời Website bán giày da khách hàng tiềm Ngƣợc lại, website bán đồ thời trang online, số lƣợng khách hàng hỏi sản phẩm nhiều Hai nhân viên bán hàng vừa hỗ trợ khách mua hàng shop, vừa tƣ vấn online qua ứng dụng chat Công việc nhiều, nhân viên đảm đƣơng hết trọng trách, khách hàng online cảm thấy không thỏa mái không đƣợc tƣ vấn rời Website bán đồ thời trang online lợi nhuận không nhỏ Ở website cuối cùng, nữ nhân viên bán hàng mỹ phẩm liên tục phải trả lời thắc mắc gần nhƣ giống khách hàng mẫu sản phẩm Ứng dụng chat tích hợp sẵn website không cho phép đƣa câu trả lời cho câu hỏi tƣơng tự nhƣ Những vấn đề nêu trên, chứng minh lúc đủ thời gian nguồn nhân lực để sẵn sàng kết nối, tƣ vấn với khách hàng Do đó, cần có mô hình trả lời bán hàng tự động Tự động học liệu từ đoạn đối thoại mẫu, tự động sinh câu trả lời dựa câu hỏi đầu hỏi Microsoft đƣa lời giải cho nhánh nhỏ toán, xây dựng mô hình bán pizza tự động có tên chatbot Skype Mô hình xây dựng phƣơng pháp trích xuất câu trả lời, cho phép ngƣời mua hàng đặt hàng pizza cách trả lời thông tin đƣợc hỏi từ chatbot Tuy nhiên, lời giải chƣa hỗ trợ Tiếng Việt, kết ngƣời mua hàng không thực 50 Bắt đầu pha huấn luyện liệu Tìm kiếm file Tokenizer.txt ? Tìm thấy Phân tích tham số đầu vào: độ dài câu hỏi/trả lời (maxLength) tham số lưu trữ kết số lần huấn luyện liệu (numEpoch) Không tìm thấy Đọc liệu file huấn luyện Lọc bỏ câu có độ dài > tham số maxLength Phân tách word2Id Khởi tạo dataset Lưu trữ dataset Báo lỗi Số lần huấn luyện > numEpoch Sai Đúng Huấn luyện mô hình Lưu trữ kết huấn luyện (model.ckpt) Kết thúc pha huấn luyện liệu Hình 4.12: Luồng nghiệp vụ pha huấn luyện liệu Với luồng nghiệp vụ nhƣ trên, đề xuất sử dụng ngôn ngữ lập trình python, thƣ viện gồm có NLTK - công cụ xử lý ngôn ngữ tự nhiên mã nguồn mở, cho phép xử lý tách văn Framework học máy Tensor Flow, phạm vi luận văn, sử dụng phiên v0.9.0 đƣợc phát hành ngày 22 tháng năm 2016 Kiến trúc phần mềm pha huấn luyện gồm lớp chính: 51 Bảng 4.4 Danh sách cấu phần xử lý pha huấn luyện Tên lớp Main.py Mục đích Phân tích liệu đầu vào Huấn luyện mô hình theo số lần yêu cầu Cornelldata.py Textdata.py Lƣu trữ mô hình Đọc liệu từ file đầu vào, lƣu trữ thành câu hội thoại Biến đổi tập câu hội thoại thành cặp mô hình đối thoại seq2seq Sử dụng nltk phân tách câu hội thoại thành mã Lƣu trữ dataset Từ quy trình nghiệp vụ pha, kết hợp với danh mục cấu phần xử lý, có biểu đồ nhƣ sau: Main.py Textdata.py Cornelldata.py args corpusDir (data/cornell) loadVNConversation() conversations extractConversation() saveDataset() dataset trainingModel() saveModel() Hình 4.13: Biểu đồ pha huấn luyện liệu Trong loadVNConversation, hàm đọc liệu từ file kết tokenizer.txt từ pha phân mảnh liệu Hàm đọc dòng đƣa vào mảng conversations ExtractConversation hàm thao tác xử lý mảng conversations nhằm tạo tập trainingSamples chứa mẫu đối thoại seq2seq, loại bỏ dòng 52 cuối (do để dòng cuối câu hỏi câu trả lời), ghép cặp câu liền kề thành mô hình đối thoại seq2seq, lƣu trữ mô hình đối thoại vào mảng thƣ viện huấn luyện (trainingSamples) SaveDataset, hàm thao tác lƣu trữ dataset phục vụ huấn luyện Các thông tin có dataset gồm có word2id - object mapping từ sang mã, id2word - object mapping mã sang từ, trainingSamples - chứa mẫu đối thoại seq2seq Hàm cuối cùng, quan trọng trainingModel: hàm thao tác huấn luyện dựa dataset Với tham số truyền vào numEpochs, hàm thực tƣơng ứng số lần huấn luyện mô hình Trong lần huấn luyện, dataset đƣợc xáo trộn để tăng tính xác cuối Sau trình huấn luyện, hàm tiến hành lƣu trữ model Hình 4.14: Mã nguồn sample cho huấn luyện liệu Output pha dataset đƣợc tạo từ liệu thu thập mô hình iSales qua huấn luyện Mô hình giải vấn đề xây dựng mô hình hiểu đƣợc ngôn ngữ tiếng Việt Ở hàm extractConversation, nltk đƣợc sử dụng để tách từ thành mã (word2id) Các từ đƣợc tách thành mã không phân biệt ngôn ngữ tiếng Anh hay tiếng Việt Hơn nữa, pha phân mảnh liệu đảm bảo từ tách hoàn toàn dễ hiểu đứng 4.3.5 Pha sinh câu trả lời Dựa mô hình đƣợc xây dựng qua bƣớc huấn luyện liệu, ứng dụng mô hình liệu để dùng cho việc sinh câu trả lời tƣ vấn cho câu hỏi đầu vào Khi câu hỏi đƣợc đặt ra, hệ thống phân tách câu hỏi từ, 53 mapping theo dataset đƣợc tạo pha trƣớc Từ sử dụng Encoder Decoder để sinh câu trả lời phù hợp với ngữ cảnh Bắt đầu pha sinh câu trả lời Tìm kiếm file ? model.ckpt dataset Tìm thấy Không tìm thấy Encoder câu hỏi đầu vào model Decoder câu đáp án Báo lỗi Kết thúc pha sinh câu trả lời Hình 4.15: Luồng nghiệp vụ pha sinh câu trả lời Dựa hình trên, ta mô tả luồng nghiệp vụ nhƣ sau Bƣớc 1, kiểm tra file đầu vào (model.ckpt/dataset), báo lỗi Bƣớc 2, dựa model/dataset từ pha trƣớc, tái kiến trúc lại LSTM Bƣớc 3, sử dụng encoder để encode câu hỏi Bƣớc 4, đƣa kết encode vào LSTM nêu Bƣớc 5, sử dụng decoder LSTM để sinh câu trả lời hợp lý Ta xây dựng hàm ứng dụng cụ thể nhƣ sau: 54 Hình 4.16: Mã nguồn sample cho pha sinh câu trả lời Output pha câu trả lời đƣợc tạo từ mô hình liệu qua huấn luyện Rõ ràng, pha này, LSTM giúp giải vấn đề phát sinh câu hỏi nằm “tập liệu mẫu”: việc huấn luyện mô hình với phƣơng pháp LSTM cho phép mô hình có khả hiểu ngữ cảnh, sinh câu trả lời dựa tri thức học đƣợc Một vấn đề khác đƣợc xử lý câu hỏi dài phức tạp, mạng LSTM giải đƣợc toán trí nhớ dài hạn Bên cạnh đó, huấn luyện mô hình Tensorflow cho phép tham số đầu vào độ dài câu hỏi/trả lời học Đó lời giải thích đáng cho vấn đề iSales giải pháp đề xuất để giải toán mô hình bán hàng tự động Mô hình có tổng thể pha, đƣợc xây dựng dựa phƣơng pháp học chuỗi seq2seq mạng nơ-ron Trên lý thuyết, iSales đáp ứng yêu cầu ban đầu, có khả tự học liệu ngƣời dùng, tự sinh câu trả lời phạm vi thƣơng mại điện tử mà không gặp khó khăn với câu hỏi dài Và để có đánh giá khách quan nhất, thử nghiệm iSales với liệu thực tế mạng, với danh sách câu hỏi chƣơng 55 CHƢƠNG 5: THỬ NGHIỆM, ĐÁNH GIÁ KẾT QUẢ Ở Chƣơng này, thực thử nghiệm iSales usecase cụ thể Kết thử nghiệm đƣợc minh họa thông qua mô hình thực nghiệm, với liệu facebook danh sách loạt câu hỏi Môi trƣờng thử nghiệm hoạt động máy tính cá nhân, cài đặt tất pha hoạt động 5.1 Phát biểu usecase Chƣơng đƣa giải pháp xây dựng mô hình đề xuất iSales Để đánh giá khách quan cho mô hình, cần có usecase áp dụng cụ thể Sau trình khảo sát, tìm hiểu, xin đƣa đƣợc quy trình nghiệp vụ việc bán hàng tự động Internet nhƣ sau: - Bƣớc 1: Ngƣời mua hàng truy cập vào đƣờng link website bán hàng - Bƣớc 2: Ngƣời mua hàng xem mặt hàng cần mua, đặt câu hỏi tƣ vấn - Bƣớc 3: Câu hỏi đƣợc gửi đến iSales, iSales phân tích trả lời câu hỏi cách tự động Ngƣời mua hàng nhận đƣợc câu trả lời, không thỏa mãn, đặt câu hỏi tiếp theo, iSales tiếp tục công việc tƣ vấn Phiên tƣ vấn diễn liên tục ngƣời mua hàng đồng ý mua hàng rời khỏi hệ thống - Bƣớc 4: Ngƣời bán hàng nhận kết tƣ vấn iSales ngƣời mua hàng Hoặc xử lý đơn hàng, bỏ qua tùy thuộc vào kết tƣ vấn - Bƣớc 5: Ngƣời bán hàng thực sàng lọc, chuyển liệu tƣ vấn vào kho liệu cho iSales tự động học tiếp 56 Người mua hàng Mô hình bán hàng tự động iSales Bắt đầu (Đăng nhập website) Tự huấn luyện tạo mô hình Đặt câu hỏi Câu hỏi Người bán hàng Kho liệu người dùng Phân tích Sinh câu trả lời Chuyển liệu tới kho cho mô hình học tiếp Kết thúc phiên tư vấn Thực dựa kết tư vấn Câu trả lời Không đồng ý Quyết định dừng tư vấn ? (Mua hàng/thoát) Đồng ý Kết thúc Hình 5.1: Quy trình bán hàng tự động iSales Usecase đƣợc đề xuất ngƣời mua hàng muốn tƣ vấn đề sản phẩm “áo sơ mi” Kịch đặt ngƣời mua truy cập iSales, đƣa câu hỏi áo sơ mi, đặt câu hỏi tình liên quan đến màu sắc, cỡ, giá áo, tiếp định mua áo yêu cầu ship địa nhà riêng Yêu cầu đặt hệ thống cần thực đầy đủ pha, phiên tƣ vấn cần 10 câu hỏi Trên lý thuyết, phƣơng pháp đánh giá cho mô hình sử dụng trí tuệ nhân tạo phép thử Turing [15], kiểm tra đánh giá mang tính chất cảm tính Tuy nhiên, việc đánh giá cảm tính dựa hợp lý kết mà iSales cung cấp Ngoài ra, đứng dƣới phƣơng diện ngƣời dùng, so sánh kết iSales chatbot Skype để đƣa thêm số nhận xét 5.2 Thử nghiệm iSales Thử nghiệm mô hình iSales máy tính cá nhân với pha: thu thập liệu, tiền xử lý, phân mảnh, huấn luyện liệu sinh câu trả lời Usecase đặt phần 5.1 yêu cầu thực đầy đủ cần 10 câu hỏi Tuy nhiên, khả trả lời câu hỏi iSales nhƣ đa phần ứng dụng trí tuệ nhân tạo khác, bị ảnh hƣởng liệu huấn luyện, thời gian huấn luyện thuật 57 toán sử dụng Để có kết chi tiết hơn, áp dụng usecase với kết huấn luyện khác thời gian Với mong muốn đảm bảo lƣợng liệu tạm chấp nhận cho trình huấn luyện, thực pha thu thập liệu hệ điều hành window với danh sách 10 page bán hàng nhƣ sau Bảng 5.1 Danh sách page facebook thu thập liệu Tên page cuahangcongnghecom laroseshop1990 Hilheoshop96 92wear banhangtructuyen360 ChilloutVillage.vn ChoNinhHiep.net T.Shirt.Pro adoredressdesign cloud.cuckoo.shop Mô tả Trang bán hàng công nghệ Trang bán hàng quần áo Trang bán hàng quần áo Trang bán hàng quần áo Trang bán hàng quần áo Trang bán hàng quần áo Trang bán hàng quần áo Trang bán hàng quần áo Trang bán hàng quần áo Trang bán hàng quần áo Kết pha file collection.txt với số lƣợng dòng comment thu đƣợc 5683 dòng Nhận xét chung liệu xấu, có dòng trống, có comment ý nghĩa, xuất dòng lặp liền kề Thực tiếp pha tiền xử lý liệu, kết thu đƣợc file preprocess.txt với 5148 dòng liệu tạm ổn, không dòng trống, dòng lặp bị xóa, comment ý nghĩa bị loại bỏ Output pha phân mảnh liệu tokenizer.txt, với số dòng liệu không thay đổi, nhiên liệu không dòng trống, dòng lặp bị xóa, comment ý nghĩa bị loại bỏ, từ đƣợc tách theo chuẩn Tiếng Việt Mặc dù có số câu tách chƣa chuẩn nhƣ “Dạ giá 850k_ạ”…nhƣng đánh giá sơ kết áp dụng cho huấn luyện liệu Hai pha cuối huấn luyện liệu sinh câu trả lời đƣợc thử nghiệm VMware giả lập Ubuntu 14.04 Do khác biệt môi trƣờng nên cần chuyển file kết pha phân mảnh liệu (tokenizer.txt) sang thƣ mục /Home/Desktop/GR/DeepQA/data/cornell môi trƣờng giả lập Ubuntu 58 Theo nhƣ mở đầu phần, để có đánh giá tốt hơn, thực huấn luyện liệu với trƣờng hợp sau Trƣờng hợp 1, chấp nhận hỏi với độ dài hội thoại với số vòng huấn luyện 10 Trƣờng hợp 2, nâng độ dài hội thoại lên 10, nâng số vòng huấn luyện lên 20 Trƣờng hợp 3, nâng độ dài hội thoại lên 15, nâng số vòng huấn luyện lên 30 Kết huấn luyện liệt kê nhƣ bảng sau Rõ ràng, khối liệu nhƣ nhau, tăng tham số huấn luyện lên kéo theo thời gian huấn luyện tăng lên Bảng 5.2 Bảng kết huấn luyện liệu Trƣờng hợp Trƣờng hợp Trƣờng hợp Tham số huấn luyện maxlength = maxlength = 10 maxlength = 15 numEpochs=10 numEpochs=20 numEpochs=30 Dữ liệu huấn luyện 4460 từ 4460 từ 4460 từ 3896 cặp tƣ vấn 3896 cặp tƣ vấn 3896 cặp tƣ vấn Thời gian huấn luyện ~32 phút ~ 14 phút ~ 20 phút Thực sinh câu trả lời với danh sách gồm 15 câu hỏi usecase mua áo sơ mi, gồm câu hỏi liên quan đến màu sắc, cỡ, giá áo, yêu cầu thông tin ship địa phƣơng Các câu hỏi đƣợc đặt cách ngẫu nhiên Bảng 5.3 Danh sách câu hỏi thử nghiệm Câu hỏi thử nghiệm xin chào muốn mua áo sơ mi có màu trắng không màu đen không màu khác không cỡ áo l không cỡ áo s hết bạn áo trắng bn giá màu đen giá màu trắng tự phải mua ko hàng Mô tả Câu chào hỏi Câu mô tả mục đích Yêu cầu tƣ vấn màu sắc Yêu cầu tƣ vấn màu sắc Yêu cầu tƣ vấn màu sắc Yêu cầu tƣ vấn kích cỡ Yêu cầu tƣ vấn kích cỡ Yêu cầu tƣ vấn giá Yêu cầu tƣ vấn giá Yêu cầu tƣ vấn giá Yêu cầu tƣ vấn địa điểm Yêu cầu tƣ vấn địa điểm 59 ship tỉnh khác thêm khoảng Yêu cầu tƣ vấn địa điểm bạn Yêu cầu tƣ vấn địa điểm ship vĩnh phúc hết chuyển qua bình xuyên, vĩnh phúc bạn Yêu cầu tƣ vấn địa điểm nha Kết sinh câu trả lời không đƣợc tốt Với trƣờng hợp test có maxLength nhỏ, iSales không trả lời Những câu khác trả lời đƣợc nhƣng câu trả lời không hợp lý Bảng 5.4 Thử nghiệm sinh câu trả lời trường hợp Human: xin chào iSales (case01): yeah Human: muốn mua áo sơ mi iSales (case01) : Human: có màu trắng không iSales (case01): giá Human: màu đen không iSales (case01): ok Human: màu khác không iSales (case01): ok Human: cỡ áo l không iSales (case01): 40 Human: cỡ áo s hết bạn iSales (case01): Human: áo trắng bn iSales (case01): mũ 180k Human: giá màu đen iSales (case01): Áo 180k bn nha Human: giá màu trắng iSales (case01): Human: tự phải mua ko iSales (case01): Human: hàng iSales (case01): Human: ship tỉnh khác thêm khoảng bạn iSales (case01): Human: ship vĩnh phúc hết iSales (case01): Human: chuyển qua bình xuyên, vĩnh phúc bạn nha iSales (case01): 60 Bảng 5.5 Thử nghiệm sinh câu trả lời trường hợp Human: xin chào iSales (case02): vy ngoc Human: muốn mua áo sơ mi iSales (case02) : không Human: có màu trắng không iSales (case02): có Human: màu đen không iSales (case02): bn bn shop Human: màu khác không iSales (case02): ok Human: cỡ áo l không iSales (case02): hiccc Human: cỡ áo s hết bạn iSales (case02): hiccc Human: áo trắng bn iSales (case02): mũ 180k Human: giá màu đen iSales (case02): chất riêng Human: giá màu trắng iSales (case02): giá Human: tự phải mua ko iSales (case02): 40 Human: hàng iSales (case02): yeah Human: ship tỉnh khác thêm khoảng bạn iSales (case02): Human: ship vĩnh phúc hết iSales (case02): giá 550k Human: chuyển qua bình xuyên, vĩnh phúc bạn nha iSales (case02): không 61 Bảng 5.6 Thử nghiệm sinh câu trả lời trường hợp Human: xin chào iSales (case03): đẹp Human: muốn mua áo sơ mi iSales (case03) : ok a Human: có màu trắng không iSales (case03): láng ah Human: màu đen không iSales (case03): ok Human: màu khác không iSales (case03): ok Human: cỡ áo l không iSales (case03): b Human: cỡ áo s hết bạn iSales (case03): hiccc Human: áo trắng bn iSales (case03): mũ 80k Human: giá màu đen iSales (case03): sỉ Human: giá màu trắng iSales (case03): 40 Human: tự phải mua ko iSales (case03): 40 Human: hàng iSales (case03): yeah Human: ship tỉnh khác thêm khoảng bạn iSales (case03): Human: ship vĩnh phúc hết iSales (case03): giá 550k Human: chuyển qua bình xuyên, vĩnh phúc bạn nha iSales (case03): không 5.3 Đánh giá kết Sau thực thử nghiệm mô hình iSales usecase mua áo sơ mi, kết thu đƣợc đặt câu hỏi cho iSales tỷ lệ đáp án chấp nhận đƣợc thấp < 10% Tuy nhiên, iSales giải đƣợc số vấn đề: - Vấn đề phát sinh câu hỏi nằm “tập liệu mẫu”, phần câu hỏi đặt hoàn toàn mang tính chất khách quan Tuy nhiên thấy, iSales tự đƣa câu trả lời đƣợc với tất câu hỏi phù hợp 62 - Vấn đề xây dựng mô hình hiểu đƣợc ngôn ngữ tiếng Việt, iSales hiểu đƣợc câu hỏi tiếng Việt, trả lời tiếng Việt - Vấn đề câu hỏi dài phức tạp, tùy thuộc vào tham số độ dài huấn luyện, iSales thể nhƣ trƣờng hợp Huấn luyện với tham số độ dài cao, độ dài câu mà iSales có khả đƣa câu trả lời - Vấn đề “tự động”, iSales làm đƣợc điều này, nhƣng đáp án đƣa chƣa tốt, cần cải thiện nhiều Rõ ràng, với kết tại, iSales chƣa thể trở thành ứng dụng thị trƣờng Luận văn thành công phƣơng diện phƣơng án xây dựng phƣơng pháp mới, nhƣng chƣa đảm bảo đƣợc kết tốt Nếu so sánh với chatbot Skype dƣới mắt ngƣời dùng, chatbot Skype tốt hơn, hoàn thành đƣợc phiên giao dịch ngƣời mua hàng làm theo dẫn Tuy nhiên, iSales thử thách hay lĩnh vực ứng dụng mạng nơ-ron nói riêng ngành vực trí tuệ nhân tạo nói chung 63 KẾT LUẬN Luận văn tập trung tìm hiểu thực trạng mô hình bán hàng giới Việt Nam, đƣa nhƣợc điểm, thành phần cần cải tiến, từ đề xuất giải pháp, xây dựng mô hình bán hàng iSales có tính tự động, không phụ thuộc vào ngƣời bán hàng trình tƣ vấn dịch vụ Mô hình iSales tại, chƣa thể đƣa thành ứng dụng thƣơng mại Tuy đáp ứng đƣợc yêu cầu có khả hiểu Tiếng Việt sinh câu trả lời tự động với độ dài câu hỏi không giới hạn, nhƣng kết tƣ vấn iSales đƣa ngô nghê, khó hiểu Hƣớng nghiên cứu luận văn tập trung vào việc cải thiện chất lƣợng câu trả lời iSales - Mở rộng khả thu thập tiền xử lý liệu làm cho liệu thu thập đƣợc nhiều hơn, Phƣơng án đƣa sử dụng BigData để quản lý liệu cho phép tìm kiếm, lọc liệu nhanh [12], lựa chọn nguồn liệu nhƣ liệu sau tƣ vấn đƣợc lƣu trữ doanh nghiệp - Cải tiến pha huấn luyện liệu để giảm thời gian huấn luyện tăng hiệu đầu mô hình Đồng thời, muốn phối hợp nghiên cứu triển khai ứng dụng với đơn vị bên ngoài, đầu tƣ mở rộng phần cứng để giảm thời gian huấn luyện Những hƣớng phát triển nhằm hƣớng tới mục đích chung phát triển hệ thống iSales có tầm Từ đóng góp, phát triển trí tuệ nhân tạo giới nói chung Việt Nam nói riêng 64 TÀI LIỆU THAM KHẢO [1] Facebook Messenger, September 2016, “Facebook Messenger” [2] Microsoft, 31 Mar 2016, “Build 2016: Microsoft Skype bots preview announced” [3] Martín Abadi, 14 Mar 2016, “TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems” [4] Google Blog, 09 November 2015, “TensorFlow - Google’s latest machine learning system, open sourced for everyone” [5] S.M Al-Alawi, H.A Al-Hinai, May–August 1998, “An ANN-based approach for predicting global radiation in locations with no direct measurement instrumentation” [6] Ondřej Dušek, Filip Jurčíček, 17 Jun 2016, “Sequence-to-Sequence Generation for Spoken Dialogue via Deep Syntax Trees and Strings” [7] Razvan Pascanu, Tomas Mikolov, Yoshua Bengio, May 2013, “On the difficulty of training recurrent neural networks” [8] James Ryan, September 2016, “Translating Player Dialogue into Meaning Representations Using LSTMs” [9] Jay Parikh, August 2012, “Facebook processes more than 500 TB of data daily” [10] Facebook, August 2016, “The Graph API” [11] Lƣu Tuấn Anh, Yamamoto Kazuhide, 16 Feb 2013, “Pointwise for Vietnamese Word Segmentation” [12] Xue-Wen Chen, Xiaotong Lin, 16 May 2014, “Big Data Deep Learning: Challenges and Perspectives” [13] Francois Chaubard, Rohit Mundra, Richard Socher, Spring 2015, “CS 224D: Deep Learning for NLP” [14] Sepp Hochreiter; Jürgen Schmidhuber, 1997, "Long short-term memory" [15] Feigenbaum, Edward A 2003, “Some challenges and grand challenges for computational intelligence” ... Hình 2.5: Mô hình bán hàng sử dụng chatbot Skype Hình 2.6: Mô hình bán hàng sử dụng uhChat 10 Hình 2.7: Mô hình bán hàng sử dụng Subiz 11 Hình 3.1: Các bƣớc chung mô hình. .. sung kiến thức xây dựng mô hình bán hàng tự động - Chƣơng 4: Giải pháp xây dựng mô hình đề xuất iSales Đề xuất giải pháp cho mô hình đề xuất iSales, mô tả thành phần phƣơng án xây dựng chi tiết... sản phẩm, ngƣời bán hàng cần thêm mô hình tƣ vấn tự động cho website Vậy mô hình bán hàng tự động gì? Tại lại cần mô hình nhƣ vậy? Những lợi ích thuận tiện đạt đƣợc sử dụng mô hình gì? Để giải