Đang tải... (xem toàn văn)
Hệ thống chatbot tạo ra một môi trường để cho robot (máy tính) có thể tương tác với con người bằng ngôn ngữ sao cho có vẻ tự nhiên nhất. Ứng dụng này nhằm mục đích thay thế các nhân viên tư vấn, hỗ trợ đưa ra câu trả lời cho các câu hỏi của người dùng ngay lập tức. Chatbot thường giao tiếp với người dùng qua tin nhắn văn bản hoặc âm thanh 1. Lợi ích chính của việc sử dụng chatbot là cung cấp khả năng hoạt động 247, xử lý nhiều cuộc trò chuyện cùng một lúc, phản hồi yêu cầu của người dùng một cách hoàn toàn tự động và gần như ngay lập lức cho nên khách hàng cảm thấy hài lòng hơn bởi họ sẽ có cảm giác mình được chăm sóc và hỗ trợ rất tốt. Ngày nay, khi sự cạnh tranh thu hút tân sinh viên giữa các trường đại học ngày càng trở nên gay gắt, công tác tư vấn tuyển sinh đại học trở thành một trong những nhiệm vụ quan trọng hàng đầu. Do đó, nếu một trường đại học sử dụng ứng dụng chatbot của mình như một trợ lý ảo để cung cấp thông tin tuyển sinh một cách nhanh chóng cho những người quan tâm, thì số lượng sinh viên đăng ký có thể sẽ tăng lên bởi vì ngoài những lợi ích mà chatbot đem lại đã nêu thì chatbot còn thể hiện bộ mặt và sự chuyên nghiệp của trường.
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC ĐÀ LẠT BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG 2021 XÂY DỰNG ỨNG DỤNG CHATBOT HỖ TRỢ TUYỂN SINH TRƯỜNG ĐẠI HỌC ĐÀ LẠT Chủ nhiệm đề tài: ThS Phan Thị Thanh Nga Lâm Đồng, tháng 09/2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC ĐÀ LẠT BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG XÂY DỰNG ỨNG DỤNG CHATBOT HỖ TRỢ TUYỂN SINH TRƯỜNG ĐẠI HỌC ĐÀ LẠT Xác nhận Trường Đại học Đà Lạt Chủ nhiệm đề tài Phan Thị Thanh Nga Lâm Đồng, tháng 09/2022 Danh sách thành viên tham gia nghiên cứu đề tài Số TT Họ tên Chức danh khoa học, Đơn vị công tác học vị Nhiệm vụ đề tài Phan Thị Thanh Nga ThS Khoa Công nghệ Thông tin Chủ nhiệm Nguyễn Thị Lương TS Khoa Công nghệ Thông tin Thành viên Thái Duy Quý ThS Khoa Công nghệ Thông tin Thành viên Đơn vị phối hợp chính: Khoa Cơng nghệ Thơng tin Phịng Quản lý Đào tạo Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL MỤC LỤC Danh sách thành viên tham gia nghiên cứu đề tài MỤC LỤC DANH MỤC HÌNH ẢNH DANH MỤC BẢNG BIỂU DANH MỤC CHỮ VIẾT TẮT THÔNG TIN KẾT QUẢ NGHIÊN CỨU MỞ ĐẦU 11 CHƯƠNG TỔNG QUAN VỀ ỨNG DỤNG CHATBOT 14 1.1 Giới thiệu chatbot 14 1.2 Các kỹ thuật sử dụng để xây dựng ứng dụng chatbot 16 1.2.1 Một số kỹ thuật xây dựng chatbot sử dụng mạng nơ ron nhân tạo 16 1.2.2 Kỹ thuật Embedding 18 1.2.3 BERT 19 1.3 Khảo sát ứng dụng chatbot 21 1.3.1 Ứng dụng chatbot giáo dục 21 1.3.2 Ứng dụng chatbot tiếng Việt 22 1.4 RASA – Nền tảng xây dựng ứng dụng chatbot thông minh 23 1.4.1 Giới thiệu 23 1.4.2 NLU pipeline RASA 24 1.4.3 RASA policy 25 1.5 Kết chương 25 CHƯƠNG PHƯƠNG PHÁP TIẾP CẬN VÀ GIẢI PHÁP LỰA CHỌN 26 2.1 Một cách tiệp cận xây dựng ứng dụng chatbot 26 2.1.1 Giai đoạn huấn luyện 27 2.1.2 Giai đoạn dự đoán 29 2.1.3 Kết thử nghiệm 30 2.2 Xây dựng mơ hình cho ứng dụng chatbot dùng RASA 30 2.3 Đánh giá hiệu mơ hình 32 CHƯƠNG ỨNG DỤNG VÀ KẾT QUẢ TRIỂN KHAI 36 3.1 Giới thiệu liệu thu thập 36 3.2 Chương trình 37 3.3 Kết triển khai 38 Đề tài NCKH cấp trường năm 2021 Trang Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL 3.4 Kết chương 40 KẾT LUẬN 41 LỜI CẢM ƠN 42 TÀI LIỆU THAM KHẢO 43 PHỤ LỤC 45 Đề tài NCKH cấp trường năm 2021 Trang Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL DANH MỤC HÌNH ẢNH Hình Phân loại chatbot 14 Hình Tổng quan trình huấn luyện trước thủ tục tinh chỉnh cho BERT[3] 20 Hình Giai đoạn huấn luyện 27 Hình Mẫu liệu 28 Hình Giai đoạn dự đoán 29 Hình Các NLU pipeline dùng để đánh giá 31 Hình Cấu trúc tập tin ví dụ nội dung tập tin nlu.yml, stories.yml, domain.yml 32 Hình Điểm F1 trung bình tập thực nghiệm qua bước huấn luyện 34 Hình Số lượng câu hỏi thuộc tập ý định (chủ đề) 36 Hình 10 Số câu ví dụ thuộc lớp intent 37 Hình 11 Các kênh kết nối với RASA 37 Hình 12 Mơ hình triển khai ứng dụng tư vấn tuyển sinh sử dụng ứng dụng Facebook 38 Hình 13 Người dùng chat với RASA bot thông qua ứng dụng Messenger 38 Hình 14 Chat với bot sử dụng RASA X 39 DANH MỤC BẢNG BIỂU Bảng Các kết nghiên cứu đề tài Bảng F1 EM mô hình phương pháp biểu diễn phân bố từ 30 Bảng Kết phân lớp ý định trích xuất thực thể NLU pipeline 33 DANH MỤC CHỮ VIẾT TẮT BERT: Bidirectional Encoder Representation from Transformer GloVe: Global Vectors for Word Representation CBOW : Continuous Bag of Words POS: Part-of-Speech tagging NLP: Natural Language Processing NLU: Natural Language Understanding DIET: Dual Intent and Entity Transformer EM: Exact match LSTM: Long Short Term Memory networks RNN: Recurrent Neural Network Seq2seq: Sequence to Sequence Đề tài NCKH cấp trường năm 2021 Trang Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL Đề tài NCKH cấp trường năm 2021 Trang Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL THÔNG TIN KẾT QUẢ NGHIÊN CỨU Tổng quan Tên đề tài: Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh Trường Đại học Đà Lạt Chủ nhiệm đề tài: Phan Thị Thanh Nga Bộ môn: Kỹ thuật phần mềm Đơn vị chủ quản: Khoa Công nghệ Thông tin, Trường Đại học Đà Lạt Thời gian: Từ tháng 01/2021 đến tháng 09/2022 (gia hạn tháng so với kế hoạch) Tính cần thiết đề tài Chatbot chương trình kết hợp với trí tuệ nhân tạo (AI) để tương tác với người Công cụ thay cho nhân viên để tư vấn trả lời khách hàng thắc mắc Chatbot thường trao đổi với người dùng qua hình thức tin nhắn (Textual) âm (Audiotory) Chatbot chăm sóc khách hàng loại chatbot thường trung tâm chăm sóc khách hàng lớn sử dụng để trả lời câu hỏi thường gặp theo kịch liệu có sẵn Đối với câu hỏi đơn giản, chatbot tự trả lời Với câu hỏi phức tạp hơn, chatbot chuyển đến nhân viên chăm sóc khách hàng để giải Trong q trình hoạt động, chatbot tự học để đưa câu trả lời xác phù hợp với thực tế Một ưu điểm trội việc sử dụng chatbot người có lúc cần nghỉ ngơi chatbot khơng Một chatbot hoạt động 24/7 xuyên suốt 365 ngày Chatbot tiếp nhận xử lý yêu cầu khách hàng tự động, nhanh chóng Trong giai đoạn nay, trường đại học dần chuyển sang tự chủ, cạnh tranh trường ngày trở nên rõ nét trường đại học muốn tuyển nhiều sinh viên để đảm bảo khả tự chủ, từ tiếp tục phát triển lớn mạnh Vì vậy, Trường Đại học Đà Lạt, công tác tư vấn tuyển sinh trở thành công tác quan trọng Như vậy, ngồi cơng tác quảng bá tuyển sinh truyền thống, Trường sử dụng thêm ứng dụng chatbot để thực trả lời tự động câu hỏi người quan tâm vào thời điểm giúp tăng khả họ đăng ký nguyện vọng vào trường Ngoài ra, việc sử dụng ứng dụng trả lời tư vấn tuyển sinh cho thấy chuyên nghiệp Trường, làm cho người học tin tưởng vào chất lượng đào tạo Trường Đề tài NCKH cấp trường năm 2021 Trang Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL Mục tiêu đề tài Xây dựng ứng dụng chatbot nhằm hỗ trợ tư vấn tuyển sinh Trường Đại học Đà Lạt Học sinh, sinh viên phụ huynh đặt câu hỏi, hệ thống tự động tiếp nhận, phân tích để phân lớp câu hỏi sau liệu cho trước phản hồi lại cho người dùng cách tự động Phương pháp nghiên cứu Đề tài bước đầu vào khảo sát chức ứng dụng chatbot giải thuật AI áp dụng để xây dựng ứng dụng, sau thực xây dựng ngân hàng câu hỏi phục vụ huấn luyện ứng dụng Cuối xây dựng ứng dụng chatbot trả lời tự động, hỗ trợ tư vấn tuyển sinh trường Đại học Đà Lạt Một ứng dụng chatbot đặc trưng hai chức phân tích câu hỏi từ người dùng đưa câu trả lời, ứng dụng xây dựng phải kết hợp dạng máy học, hiểu ngữ nghĩa xử lý ngơn ngữ tự nhiên Nhóm thực khảo sát mơ hình tiền huấn luyện dùng cho hệ thống hỏi đáp đánh giá cao sử dụng phổ biến để đánh giá lựa chọn mơ hình phù hợp Sau đó, nhóm thực khảo sát tảng hỗ trợ phát triển ứng dụng chatbot thông minh để tiến hành xây dựng ứng dụng chatbot Đề tài tập trung xây dựng ứng dụng chatbot có khả trả lời tự động câu hỏi liên quan đến tuyển sinh ví dụ ngành đào tạo, mã ngành, thời hạn nộp hồ sơ, hồ sơ yêu cầu,… Kết nghiên cứu Kết nghiên cứu thể Bảng Bảng Các kết nghiên cứu đề tài STT Sản phẩm đề Sản phẩm thực tế đạt tài theo thuyết minh Phần mềm Sản phẩm phần mềm + mã Github DLUChatbot nguồn Đề tài NCKH cấp trường năm 2021 Minh chứng Trang Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL Bài báo khoa học Bài báo đăng Tạp chí Phan Thi Thanh Nga, Nguyen Khoa học Đại học Thái Thi Luong, Ta Hoang Thang, Thai Duy Quy (2022) An Nguyên1 approach for building a chatbot system for the admission process of Da Lat university TNU Journal of Science and Technology, 227(14), 23-32 Là Tạp chí đa ngành Đại học Thái Nguyên, mục hệ thống ACI từ năm 2020 Bài báo xuất http://jst.tnu.edu.vn/jst/article/view/6056 Đề tài NCKH cấp trường năm 2021 Trang 10 Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL NLU pipeline cách sử dụng mơ hình ngơn ngữ tiền huấn luyện từ trang Hugging face Tuy nhiên vấn đề đặt có nhiều mơ hình ngơn ngữ dựa BERT Vây mơ hình phù hợp với tập liệu Để xác định thông số NLU pipeline phù hợp với ứng dụng chúng tôi, tạo bốn NLU pipeline thực so sánh, đánh giá hiệu hiểu tiếng Việt RASA Pipeline thứ sử dụng thành phần mặc định RASA Ba pipeline cịn lại, chúng tơi sử dụng tách từ tiếng Việt cho thành phần Tokenizer mô hình cho thành phần LanguageModelFeaturizer BERT, DistilBERT RoBERTa Cụ thể, BERT DistilBERT, chúng tơi sử dụng mơ hình có hỗ trợ tiếng Việt “bert-base-multilingual-cased” “distilbert-base-multilingual-cased” Riêng RoBERTa, sử dụng mơ hình “roberta-base” RoBERTa chưa có mơ hình hỗ trợ đa ngơn ngữ Chi tiết thành phần cụ thể NLU pipeline minh họa hình Tồn pipeline sử dụng mơ hình DIET để phân loại ý định trích chọn thực thể pipeline: - name: WhitespaceTokenizer - name: RegexFeaturizer - name: LexicalSyntacticFeaturizer - name: CountVectorsFeaturizer - name: "CountVectorsFeaturizer" analyzer: "char_wb" min_ngram: max_ngram: - name: "DIETClassifier" epochs: 100 constrain_similarities: true (1) pipeline: - name: "VietnameseTokenizer" - name: "LanguageModelFeaturizer" model_name: "distilbert" model_weights: "distilbert-basemultilingual-cased" - name: "CountVectorsFeaturizer" analyzer: "char_wb" min_ngram: max_ngram: - name: "DIETClassifier" epochs: 100 constrain_similarities: true (3) pipeline: - name: "VietnameseTokenizer" - name: "LanguageModelFeaturizer" model_name: "bert" model_weights: "bert-basemultilingual-cased" - name: "CountVectorsFeaturizer" analyzer: "char_wb" min_ngram: max_ngram: - name: "DIETClassifier" epochs: 100 constrain_similarities: true (2) pipeline: - name: "VietnameseTokenizer" - name: "LanguageModelFeaturizer" model_name: "roberta" model_weights: "roberta-base" - name: "CountVectorsFeaturizer" analyzer: "char_wb" min_ngram: max_ngram: - name: "DIETClassifier" epochs: 100 constrain_similarities: true (4) Hình Các NLU pipeline dùng để đánh giá (1) NLU pipeline sử dụng thành phần mặc định, (2) NLU pipeline sử dụng BERT, (3) NLU pipeline sử dụng DistilBERT, (4) NLU pipeline sử dụng RoBERTa Đề tài NCKH cấp trường năm 2021 Trang 31 Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL 2.3 Đánh giá hiệu mơ hình Chúng tơi thực thử nghiệm tập liệu gồm 1268 mẫu câu hỏi (examples) thuộc 27 tập ý định người dùng (intent) 48 thực thể Các intent câu hỏi chứa tập tin nlu.yml, câu chuyện (story) chứa tập (stories.yml) pipeline, sách chứa tập tin config.yml.Tập tin domain.yml chứa định nghĩa entity, intent, phản hồi (utter responses) hành động (action) mà chatbot sử dụng Cấu trúc lớp số ví dụ nội dung tập tin minh họa hình RASA actions data • nlu.yml • rules.yml • stories.yml domain.yml Default.yml BERT.yml DistilBERT.yml RoBERTa.yml stories.yml version: "2.0" stories: - story: ask informatio n steps: - intent: greet - action: utter_greet - intent: chi_tieu_ts entities: - cntt: ' ' - action: action_Chi_ti eu_ts nlu.yml version: "2.0" nlu: - intent: greet examples: | - chào trường - xin chào - chào - chào bạn - intent: ask_bot_name examples: | - bạn tên - tên bạn - bot tên - gọi bạn domain.yml entities: - admission_deadline - cntt responses: utter_greet: - text: Chào bạn actions: - utter_greet - action_Chi_tieu_ts Hình Cấu trúc tập tin ví dụ nội dung tập tin nlu.yml, stories.yml, domain.yml Chúng tiến hành so sánh hiệu suất phân lớp ý định trích xuất thực thể đường ống trình bày phần 2.2 cách sử dụng chức đánh giá tích hợp RASA RASA thực bước sau quy trình đánh giá mình: ➢ Chia tập liệu huấn luyện tập kiểm tra theo tỉ lệ 80/20; Đề tài NCKH cấp trường năm 2021 Trang 32 Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL ➢ Loại bỏ 0%- 25% - 50% - 75% liệu từ tập huấn luyện để tạo tập liệu huấn luyện mới; ➢ Huấn luyện mơ hình tập liệu sau thực loại bỏ bước trên; ➢ Đánh giá mơ hình dựa vào tập thử nghiệm Tồn q trình RASA thiết lập mặc định lặp lại lần Với câu lệnh trên, sử dụng tham số mặc định RASA cho bước chạy loại bỏ 0%, 25%, 50% 75% liệu để tạo thành tập liệu huấn luyện RASA thực ba lần chạy lần chạy thực huấn luyện tập liệu có kích thước khác Mơ đun đánh giá NLU RASA dựa độ đo: độ xác (precision), điểm F1 (F1-score) độ xác (accuracy) Công thức cụ thể độ đo sau: Kết phân lớp ý định người dùng trích xuất đặc trưng mơ hình sau ba lần chạy, lần có tập liệu huấn luyện thể Bảng Kết chúng tơi đưa điểm trung bình weighted-average Theo kết hiển thị Bảng NLU pipeline sử dụng VNTokenizer DistilBERT có kết trung bình cao chút so với mơ hình khác (F1=0.92, accuracy=0.92, precision=0.93) Bảng Kết phân lớp ý định trích xuất thực thể NLU pipeline Mơ hình Default Độ đo F1 Ý định 0.90 ± 0.032 Thực thể 0.68 ± 0.110 Accuracy 0.93 ± 0.035 0.90± 0.002 Precision 0.92 ± 0.041 0.76 ± 0.067 F1 0.90 ± 0.037 0.67 ± 0.140 Accuracy 0.92 ± 0.031 0.97 ± 0.001 BERT Đề tài NCKH cấp trường năm 2021 Trang 33 Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL Precision 0.91 ± 0.032 0.78 ± 0.068 F1 0.92 ± 0.033 0.73 ± 0.120 DistilBERT Accuracy 0.92 ± 0.025 0.95 ± 0.001 Precision 0.93 ± 0.039 0.81 ± 0.065 F1 0.91 ± 0.031 0.73 ± 0.110 Accuracy 0.93 ± 0.036 0.91 ± 0.002 Precision 0.92 ± 0.038 0.81 ± 0.068 RoBERTa Các mô hình đánh giá tập kiểm tra kết điểm F1 trung bình sau lần chạy thể Hình Rõ ràng mơ hình sử dụng VNTokenizer + BERT có kết phân lớp tốt số lượng câu hỏi đủ lớn (1000 câu) Hình Điểm F1 trung bình tập thực nghiệm qua bước huấn luyện Tuy nhiên, thấy hiệu phân loại ý định người dùng NLU pipeline sử dụng DistilBERT khơng thua BERT q nhiều, chí số lương câu hỏi nằm khoảng 500 – 800 câu hiệu DistilBERT tốt BERT Vì vậy, ứng dụng chatbot chúng tơi sử dụng DistilBERT thay cho BERT Tương tự vậy, hiệu phân loại ý định RoBERTa không thấp hai NLU pipeline sử dụng BERT DistilBERT nhiều Chúng tơi cần phải tăng kích thước tập Đề tài NCKH cấp trường năm 2021 Trang 34 Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL liệu huấn liệu để có đánh giá xác việc sử dụng mơ hình NLU pipeline Dựa vào kết thực nghiệm này, nhóm chúng tơi lựa chọn mơ hình BERT để sử dụng cho ứng dụng Đề tài NCKH cấp trường năm 2021 Trang 35 Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL CHƯƠNG ỨNG DỤNG VÀ KẾT QUẢ TRIỂN KHAI Chương giới thiệu liệu việc triển khai ứng dụng RASA chatbot sử dụng Facebook application 3.1 Giới thiệu liệu thu thập Số lượng lớp ý định tạo 27 ý định chứa 1268 mẫu câu hỏi Số lượng câu hỏi thuộc tập ý định liệt kê Hình biểu đồ phân bổ số lượng câu cho ý định thể Hình 10 Hình Số lượng câu hỏi thuộc tập ý định (chủ đề) Độ dài câu trung bình từ – 20 từ Số lượng câu hỏi minh họa cho tập ý định hỏi mã ngành tuyển sinh, công việc làm trường, tổ hợp xét tuyển, tỉ lệ việc làm hay thông tin ngành nhiều hẳn so với tập ý định lại loại câu hỏi chứa tập thực thể cần rút trích tên ngành cần hỏi thơng tin dạng câu hỏi lặp lại nhiều lần Một số tâp ý định có 5-10 câu ví dụ tập ý định liên quan tới câu chào, tạm biệt, hỏi thăm khen, chê nên khơng có nhiều dạng câu hỏi ví dụ Rõ ràng, có nhiều câu hỏi ví dụ liên quan tới tập ý định, khả hiểu ngôn ngữ tự nhiên liên quan tới tập ý định cao Nghĩa người dùng hỏi cách khác nhau, hệ thống phân lớp Tuy nhiên, từ thực nghiệm thấy ứng dụng phân lớp câu hỏi thuộc tập ý định số lượng câu chào hỏi, tạm biệt thông thường giới hạn tập nhỏ nên thông thường hệ thống trả lời câu biết trước Bên cạnh đó, tập ý định có câu hỏi Đề tài NCKH cấp trường năm 2021 Trang 36 Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL góp phần tạo đa dạng cho ứng dụng, bình thường người dùng đặt câu hỏi dạng này, tập trung vào câu hỏi tư vấn tuyển sinh mặt tổng thể, chênh lệch câu hỏi ví dụ tập ý định khơng ảnh hưởng nhiểu tới mơ hình Hình 10 Số câu ví dụ thuộc lớp intent 3.2 Chương trình Chúng tơi sử dụng tảng RASA để huấn luyện mơ hình tập liệu thu thập Sau huấn luyện xong mơ hình, RASA thực phân lớp câu hỏi vào nhóm ý định Chúng tiếp tục thực xây dựng ứng dụng chatbot cách xây dựng action để ứng dụng đưa phản hồi phù hợp với nhóm ý định phân lớp Tiếp theo, RASA triển khai webhook API, nhận câu hỏi trả câu trả lời cho ứng dụng kết nối tới Người dùng kết nối với RASA thơng qua nhiều loại ứng dụng khác nhau, chẳng hạn Facebook Messenger, Website, hay ứng dụng Microsoft bot số ứng dụng khác Hình 11 Hình 11 Các kênh kết nối với RASA Đề tài NCKH cấp trường năm 2021 Trang 37 Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL Do fanpage Trường kênh thường xuyên nhận câu hỏi thắc mắc người dùng nhóm chúng tơi định tạo ứng dụng Facebook, tích hợp vào Messenger fanpage làm kênh trung gian giao tiếp người dùng RASA Hệ thống triển khai theo mô hình Hình 12 Hình 12 Mơ hình triển khai ứng dụng tư vấn tuyển sinh sử dụng ứng dụng Facebook 3.3 Kết triển khai Do chưa đủ liệu cho tư vấn tuyển sinh nên tạo trang Facebook, tích hợp ứng dụng vào messenger trang để thử nghiệm Một số kết triển khai thể Hình 13, Hình 14 Hình 13 Người dùng chat với RASA bot thơng qua ứng dụng Messenger Đề tài NCKH cấp trường năm 2021 Trang 38 Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL Hình 14 Chat với bot sử dụng RASA X Đề tài NCKH cấp trường năm 2021 Trang 39 Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL 3.4 Kết chương Chương giới thiệu tập liệu sử dụng, kết triển khai chatbot RASA sử dụng ứng dụng Facebook Mơ hình sử dụng để huấn luyện tập liệu chúng tơi mơ hình BERT nên việc đánh giá độ xác ứng dụng chatbot trả lời câu hỏi người dùng xem lại Bảng Đề tài NCKH cấp trường năm 2021 Trang 40 Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL KẾT LUẬN Qua trình thực đề tài nội dung thực sau • Về lý thuyết: Chúng tơi khảo sát ứng dụng chatbot có, khảo sát kỹ thuật sử dụng để xây dựng ứng dụng chatbot Dựa kết khảo sát được, thực đánh giá số mơ hình tiền huấn luyện dựa BERT dùng cho hệ thống hỏi đáp để đánh giá hiệu phân lớp câu hỏi tập liệu chúng tơi Bên cạnh đó, chúng tơi đề xuất phương pháp xây dựng ứng dụng Chatbot sử dụng kỹ thuật từ nhúng đề so khớp câu hỏi mơ hình BERT để phân lớp câu hỏi Các kết nghiên cứu báo cáo hội nghị Nghiên cứu Khoa học cấp trường 01 báo xuất Tạp chí Khoa học Công nghệ Đại học Thái Nguyên, Số 14, Tập 227 (Tạp chí đáp ứng yêu cầu đề cương) Ngồi ra, chúng tơi tìm hiểu tảng mã nguồn mở cho phép xây dựng ứng dụng chatbot thông minh RASA RASA cung cấp NLU pipeline cho phép kết hợp số thư viện xử lý ngôn ngữ tự nhiên học máy API quán • Về ứng dụng: Chúng xây dựng tập liệu gồm 1268 câu hỏi thuộc tập 27 ý định, 48 thực thể cần trích xuất Chúng tơi xây dựng thành công ứng dụng chatbot tảng RASA, chạy thực nghiệm với 1200 câu hỏi huấn luyện cho kết tốt phân lớp tốt sử dụng mơ hình BERT Kết thực nghiệm cho thấy, NLU pipeline sử dụng kết hợp tách từ tiếng Việt VNTokenizer với mơ hình BERT cho hiệu phân lớp ý định người dùng trích xuất tập thực thể tốt với điểm F1 khoảng 95% Ứng dụng triển khai Facebook Application sử dụng để làm kênh trung gian trao đổi người dùng RASA bot Toàn mã nguồn đưa lên GitHub để trở thành mã nguồn mở Bên cạnh đó, đề tài khơng tránh khỏi số hạn chế gặp nhiều yếu tố khách quan như: số lượng câu hỏi huấn luyện thông tin cung cấp cịn ít; Chưa lưu bối cảnh câu hỏi trước đó; Chưa triển khai chức gửi câu trả lời bot không trả lời cho người chịu trách nhiệm Phần đề tài, dự định tăng kích thước tập liệu huấn luyện để có kết đánh giá xác hiệu suất phân lớp ý định người dùng rút Đề tài NCKH cấp trường năm 2021 Trang 41 Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL trích đặt trưng mơ hình tiền huấn luyện từ HuggingFace tập liệu có 1268 câu Muốn triển khai thực tế, cần tăng số lượng chủ đề, tăng thông tin cần cung cấp cho người dùng Bên cạnh đó, để đảm bảo độ xác cao cho ứng dụng, chúng tơi xem xét phương pháp sử dụng kết hợp thực đơn/ nút lệnh (menu – button chatbot) LỜI CẢM ƠN Chúng xin chân thành cảm ơn Khoa Cơng nghệ Thơng tin, Phịng Quản lý Khoa học Hợp tác Quốc tế Phòng Quản lý Đào tạo tạo điều kiện giúp đỡ trình thực đề tài Chúng cảm ơn nhà khoa học, đồng nghiệp Khoa Công nghệ Thông tin, Trường Đại học Đà Lạt góp ý để thực đề tài cách tốt Đề tài NCKH cấp trường năm 2021 Trang 42 Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL TÀI LIỆU THAM KHẢO [1] S S O A & A N Hussain, A survey on conversational agents/chatbots classification and design techniques, Springer Nature Switzerland AG, 2019 [2] L M Eleni Adamopoulou, "Chatbots: History, technology, and applications," Machine Learning with Applications, vol 2, 2020 [3] D M W C K L & K T Jacob, "BERT: Pre-training of deep bidirectional transformers for language understanding," arXiv:1810.04805, 2018 [4] F D A.Miaschi, "Contextual and Non-Contextual Word Embeddings: an in-depth Linguistic Investigation," Proceedings of the 5th Workshop on Representation Learning for NLP (RepL4NLP-2020), p 110–119, 2020 [5] R K S a N I Center, "An Analytical Study and Review of open Source Chatbot framework, RASA," International Journal of Engineering Research & Technology (IJERT), Vol Issue 06, June-2020 [6] A H.-M F M a M L D Braun, "Evaluating natural language understanding services for conversational question answering systems," Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, 2017 [7] B R R N & S S Ranoliya, "Chatbot for university related FAQs," International Conference on Advances in Computing, Communications and Informatics (ICACCI), India., 2017 [8] G H A B P & N R Hiremath, "Chatbot for education system.," International Journal of Advance Research in Technology, vol 4, no 3, pp 37-43, 2018 [9] A D M D D N S & G K Mondal, "Chatbot: An automated conversation system for the educational domain," International Joint Symposium on Artificial Intelligence and Natural Language Processing, Thailand, 2018 [10] T Q Đ Nguyễn Thái Nghe, "Hệ thống hỗ trợ tư vấn tuyển sinh đại học," Tạp chí Khoa học Đại học Cần Thơ, pp 152-159, 2015 [11] B N Vũ, ") Xây dựng mơ hình đối thoại cho tiếng Việt miền mở dựa vào phương pháp học chuỗi liên tiếp," Trường Đại học Công nghệ, Đại học quốc gia Hà Nội, 2016 [12] T N.T., "Ứng dụng thuật tốn học có giám sát multi-class svm xây dựng hệ thống chatbot hỏi đáp tiếng Việt," Kỷ yếu hội thảo khoa học quốc gia CNTT ứng dụng lĩnh vực, 2018 [13] Đ V M T Đ N N T A C T T N V T N C M Vi Mạnh Tuyên, "Xây dựng giải pháp Chatbot hỗ trợ chăm sóc sức khỏe miền tiếng Việt," Hội thảo Quốc gia Ứng dụng Công nghệ cao vào thực tiễn, Việt Nam., 2021 [14] M S Nguyen Thi Mai Trang, "Enhancing RASA NLU model for Vietnamese," International Journal of Open Information Technologies ISSN: 2307-8162 vol 9, no.1, 2021 Đề tài NCKH cấp trường năm 2021 Trang 43 Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL [15] [15] J F N P a A N T Bocklisch, "“RASA: Open Source Language Understanding and Dialogue Management," NIPS 2017 Conversational AI workshop, Long Beach, CA, USA, 2017 [16] A Jiao, "An intelligent chatbot system based on entity extraction," Journal of Physics: Conf Series 1487, p p.012014, 2020 [17] L D J C T W Victor SANH, "DistilBERT, a distilled version of BERT: smaller,faster, cheaper and lighter," https://arxiv.org/abs/1910.01108, 2020 [18] M O N G J D M D C O L M L L Z V S Y Liu, "RoBERTa: A Robustly Optimized BERT Pretraining Approach," arXiv:1907.11692 [cs.CL], 2019 [19] P H Quang, "RASA chatbot: Tăng khả chatbot với custom component custom tokenization(tiếng Việt tiếng Nhật)," Viblo: https://viblo.asia/p/RASAchatbot-tang-kha-nang-chatbot-voi-custom-component-va-customtokenizationtieng-viet-tieng-nhat-Qbq5QN4mKD8, 2020 [20] N N & S K M Khin, "University chatbot using artificial intelligence markup language.," IEEE Conference on Computer Applications (ICCA), Myanmar., 2020 [21] Nga P.T.T Luong N.T Thang T.H Quy T.D , “An approach for building a chatbot system for the admission process of Da Lat university”, TNU Journal of Science and Technology, 2022 [22] Swati Singh, D More, R Puttoo, S Shrivastav, S Shinde, “A Survey Paper on Chatbots”, International Research Journal of Engineering and Technology (IRJET), 2019 [23] S Singh, E Garg, N Goyal, “A Survey Paper on Chatbots”, International Research Journal of Engineering and Technology (IRJET), 2020 [24] G.D Gennaro, A Buonanno, A.D Girolamo, A Ospedale, F A N Palmieri, Intent Classification in Question-Answering Using LSTM Architectures, Progresses in Artificial Intelligence and Neural Systems pp 115-124, 2020 [25] Mikolov, T., Corrado, G., Chen, K., & Dean, J (2013) Efficient Estimation of Word Representations in Vector Space Proceedings of the International Conference on Learning Representations (ICLR 2013), 1–12 [26] Mikolov, T., Chen, K., Corrado, G., & Dean, J (2013) Distributed Representations of Words and Phrases and their Compositionality NIPS, 1–9 [27] Pennington, J., Socher, R., & Manning, C D (2014) Glove: Global Vectors for Word Representation Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, 1532–1543 http://doi.org/10.3115/v1/D14-1162 [28] Alex Graves, Abdel rahman Mohamed, and Geoffrey Hinton, Speech recognition with deep recurrent neural networks, IEEE international conference on acoustics, speech and signal processing, 2013 [29] Hasim Sak, Andrew Senior, and Francoise Beaufays, Long short-term memory recurrent neural network architectures for large scale acoustic modeling, 2014 arXiv:1402.1128 Đề tài NCKH cấp trường năm 2021 Trang 44 Xây dựng ứng dụng chatbot hỗ trợ tuyển sinh trường ĐHĐL PHỤ LỤC 1) Bài báo xuất Tạp chí Khoa học va Công nghệ Đại học Thái Nguyên; 2) Đề cương đề tài duyệt (chi tiết vui lòng xem trang sau) Đề tài NCKH cấp trường năm 2021 Trang 45