Đang tải... (xem toàn văn)
Phân tích cảm xúc của du khách trong du lịch là một việc quan trọng vì nĩ cĩ thể giúp các cơng ty du lịch và các địa điểm du lịch địa phương cĩ thể hiểu rõ hơn về cảm nhận về dịch vụ và
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN _ HUỲNH TRÍ AN ĐỀ ÁN THẠC SĨ TÊN ĐỀ TÀI: KẾT HỢP PHÂN TÍCH TỪ VỚI HỌC SÂU XÂY DỰNG MÔ HÌNH PHÂN TÍCH CẢM XÚC NGƯỜI DÙNG SẢN PHẨM DU LỊCH Ngành : Khoa học dữ liệu ứng dụng Mã học viên : 8242548001 Khóa : K24B Người hướng dẫn: TS Hồ Văn Lâm Bình Định - Năm 2023 LỜI CAM ĐOAN Tôi, Huỳnh Trí An, học viên lớp K24B Khoa học dữ liệu ứng dụng, mã sinh viên 8242548001, trường Đại học Quy Nhơn, xác nhận rằng đề án thạc sĩ mang tiêu đề “Kết hợp phân tích từ với học sâu xây dựng mô hình phân tích cảm xúc người dùng sản phẩm du lịch” là kết quả nghiên cứu độc lập của tôi dưới sự hướng dẫn của Tiến sĩ Hồ Văn Lâm Tôi cam đoan: Các nội dung nghiên cứu, kết luận trong đề án là trung thực, không vi phạm bản quyền hoặc tác quyền của bất kỳ cá nhân, tổ chức nào khác Các nguồn thông tin, dữ liệu, công trình nghiên cứu được tham khảo đều được trích dẫn và ghi rõ trong phần tài liệu tham khảo Tôi hiểu rằng, nếu vi phạm bất kỳ điều gì trong lời cam đoan này, tôi sẽ chịu trách nhiệm trước pháp luật và trường Đại học Quy Nhơn Bình Định, tháng 10 năm 2023 Huỳnh Trí An LỜI CẢM ƠN Để hoàn thành khóa luận này, tôi xin chân thành gửi những lời cảm ơn tới quý thầy cô của trường Đại học Quy Nhơn, bạn bè trong và ngoài trường… đã chỉ bảo, quan tâm và giúp đỡ tôi trong suốt qua trình thực hiện đề tài Tôi xin chân thành gửi lời cảm ơn sâu sắc và trân trọng nhất đến tiến sĩ Hồ Văn Lâm – người đã dành thời gian, lòng nhiệt huyết và kiến thức sâu rộng để hướng dẫn, giúp đỡ tôi trong suốt quá trình nghiên cứu và hoàn thiện khóa luận này Sau đó, tôi đã tích lũy được nhiều kinh nghiệm cho bản thân, phục vụ công việc và những đề tài nghiên cứu sau này Tôi cũng không thể không nhắc đến sự hỗ trợ và động viên từ bạn bè, đồng học – những người bạn đồng hành đã chia sẻ, cùng tôi trải qua những thăng trầm, những mệt mỏi và niềm vui trong quá trình thực hiện đề án Tóm lại, lòng biết ơn này tôi muốn dành tặng cho tất cả những người đã đi cùng tôi trên hành trình này Dù không thể gửi trọn vẹn lời cảm ơn trong vài dòng văn, nhưng hi vọng rằng, qua bản luận văn này, tôi có thể thể hiện phần nào lòng biết ơn và kính trọng của mình Bình Định, tháng 10 năm 2023 Huỳnh Trí An MỤC LỤC PHẦN 1: MỞ ĐẦU 1 1 Lý do chọn đề tài 1 2 Tổng quan tình hình nghiên cứu đề tài 2 3 Mục tiêu nghiên cứu 4 4 Đối tượng và phạm vi nghiên cứu 4 5 Nội dung nghiên cứu 4 PHẦN 2: NỘI DUNG 5 Chương 1: Cơ sở lý thuyết 5 1 Giới thiệu chương 5 2 Phân tích từ 5 2.1 Tổng quan về kỹ thuật phân tích từ 5 2.2 Tổng quan về phân tích cảm xúc 6 2.3 Tổng quan phân tích cảm xúc và học sâu trong phân tích cảm xúc 7 2.4 Các kỹ thuật phân loại cảm xúc 8 3 Lý thuyết về Bert 11 3.1 Lý thuyết về ứng dụng mô hình Bert vào phân tích từ 11 3.2 Mô hình Bert tinh chỉnh 15 3.3 Cách huấn luyện Bert 17 4 Kết luận chương 22 Chương 2: Thu thập, xây dựng, phân tích dữ liệu 23 1 Giới thiệu chương 23 2 Xây dựng bộ từ điển cảm xúc 23 3 Thu thập dữ liệu 31 4 Xây dựng mô hình 37 5 Kết quả huấn luyện mô hình 38 5.1 Phân tích dữ liệu 38 5.2 Sử dụng Mô hình tiền huấn luyện 39 5.3 Kết quả huấn luyện 40 5.4 Tổng kết xây dựng mô hình 47 6 Giao diện thực nghiệm - ứng dụng 48 7 Kết luận chương 51 KẾT LUẬN 53 DANH MỤC TÀI LIỆU THAM KHẢO 54 Danh mục các từ viết tắt NLP Natural Language Processing Bert Bidirectional Encoder Representations from Transformers BoW Bag of Words TF-IDF Term Frequency-Inverse Document Frequency RNN Recurrent Neural Network Danh mục các bảng Bảng 1 Một số từ tăng cường 25 Bảng 2 Một số từ trong bộ từ điển danh từ 27 Bảng 3 Một số từ trong bộ từ điển động từ 27 Bảng 4 Một số từ trong bộ từ điển tính từ 28 Bảng 5 Một số từ trong bộ từ điển trạng từ 28 Bảng 6 Một số từ trong bộ từ điển từ tăng cường 29 Bảng 7 Một số ví dụ về tăng cường văn bản 36 Bảng 8 Bảng so sánh các thông số của 3 mô hình 47 Danh mục các hình Hình 1 Vector số của từ 8 Hình 2 Gán nhãn cho dữ liệu 9 Hình 3 Phân tích cảm xúc bằng học máy 10 Hình 4 Các bước của phân tích cảm xúc sử dụng Học sâu 10 Hình 5 Sơ đồ kiến trúc Transformer 12 Hình 6 Sơ đồ vị trí áp dụng Chú ý tự trong kiến trúc Transformer 13 Hình 7 Sơ đồ chú ý tương tác giữa các vector nhúng của 14 Hình 8 Toàn bộ tiến trình tiền huấn luyện và tinh chỉnh của Bert 15 Hình 9 Kiến trúc Bert cho nhiệm vụ ngôn ngữ mô hình được đánh dấu 18 Hình 10 Tạo đầu vào 20 Hình 11 Lấy đầu ra 21 Hình 12 Tăng cường dữ liệu 34 Hình 13 Cấu trúc mô hình 37 Hình 14 Mô tả dữ liệu 38 Hình 15 Phân tích từ 39 Hình 16 Quá trình huấn luyện Bert-base-uncase 40 Hình 17 F1-score và độ chính xác của Bert-Base-Uncase 41 Hình 18 Ma trận nhầm lẫn khi kiểm thử mô hình Bert-base-uncase 41 Hình 19 Quá trình huấn luyện mô hình DistilBert-Base-Uncase 43 Hình 20 F1-score và độ chính xác của DistilBert-Base-Uncase 43 Hình 21 Ma trận nhầm lẫn khi kiểm thử mô hình DistilBert-Base-Uncase 44 Hình 22 Quá trình huấn luyện Bert-Base-Multilingual-Uncased 45 Hình 23 F1-score và độ chính xác của Bert-Base-Multilingual-Uncased 45 Hình 24 Ma trận nhầm lẫn khi kiểm thử mô hình Bert-Base-Multilingual- Uncased 46 Hình 25 Biểu đồ tổng quá trình huấn luyện của 3 mô hình 47 Hình 26 Giao diện trang Facebook 49 Hình 27 Giao diện ứng dụng AgriTours Bình Định 50 Hình 28 Người dùng chia sẻ cảm xúc tích cực 50 Hình 29 Người dùng chia sẻ cảm xúc tiêu cực 51 1 PHẦN 1: MỞ ĐẦU 1 Lý do chọn đề tài Việt Nam với mục tiêu phục hồi kinh tế trở lại sau dịch Covid-19 thì ngành dịch vụ du lịch cần có sự hỗ trợ và đáp ứng kịp thời các yêu cầu, biện pháp về đặt lịch hẹn, đặt phòng, ban hành các hướng dẫn phòng, chống dịch bệnh và các tiêu chuẩn sức khỏe cộng đồng; cũng như quảng bá, truyền tải về văn hóa, lịch sử, ẩm thực… của địa phương để lấy được lòng tin của khách du lịch Phân tích cảm xúc của du khách trong du lịch là một việc quan trọng vì nó có thể giúp các công ty du lịch và các địa điểm du lịch địa phương có thể hiểu rõ hơn về cảm nhận về dịch vụ và trải nghiệm của du khách, về những điểm mạnh và yếu của dịch vụ của họ, cải thiện những điểm yếu để tăng sự hài lòng cho du khách Điều này sẽ khiến du khách muốn trải nghiệm lại dịch vụ, tìm kiếm các địa điểm, dịch vụ mới và góp phần giới thiệu dịch vụ tới nhiều người hơn Bên cạnh đó, sự phát triển bùng nổ của Học sâu - một phương pháp trong ngành nghiên cứu của trí tuệ nhân tạo - đã và đang đi vào cuộc sống hằng ngày của con người, áp dụng trong nhiều lĩnh vực khác nhau, bao gồm ngành công nghiệp, y tế, và du lịch, và đã góp phần vào sự phát triển của các ứng dụng trợ lý ảo khiến cho quá trình tìm kiếm thông tin của người dùng sẽ nhanh chóng và thực tiễn hơn Qua các nhu cầu thực tiễn trên, kế hoạch nghiên cứu của chúng tôi với đề tài “Kết hợp phân tích từ với học sâu xây dựng mô hình phân tích cảm xúc người dùng sản phẩm du lịch” sẽ tập trung xây dựng mô hình học sâu cho trợ lý ảo hiểu ngôn ngữ và tự động đưa ra các phân tích cảm xúc cho chuyến du lịch cho các du khách, đồng thời gợi ý mới cũng như lưu trữ thông tin và hướng dẫn các du khách kế tiếp tới các điểm du lịch 2 Đối tượng nghiên cứu của tôi là những bình luận tiếng Việt của du khách về các địa điểm trong địa phương Phạm vi của đề tài là xây dựng mô hình phân tích cảm xúc dựa vào bình luận, đánh giá được thu thập từ du khách Quá trình thực hiện đề tài còn nhiều hạn chế và thiếu sót Tôi mong nhận được sự đóng góp ý kiến chân thành từ Thầy, Cô và các bạn Tôi xin cảm ơn 2 Tổng quan tình hình nghiên cứu đề tài Hiện tại, kết hợp phân tích từ với học sâu trong phân tích cảm xúc đang là một lĩnh vực đang được quan tâm và phát triển mạnh mẽ tại Việt Nam và quốc tế Đây là một lĩnh vực đang được đầu tư nghiêm túc bởi các tổ chức nghiên cứu, doanh nghiệp và cả nhà nghiên cứu độc lập Các nghiên cứu liên quan đến học sâu kết hợp với phân tích từ trong phân tích cảm xúc tại Việt Nam tập trung vào các ứng dụng thực tiễn như phân tích cảm xúc trong các trang mạng xã hội, nhận diện giọng nói, phân tích cảm xúc trong các bình luận, tin nhắn hay mail, hoặc nhận diện cảm xúc từ hình ảnh Những ứng dụng này có thể ứng dụng trong các lĩnh vực khác nhau như giám sát ý kiến của khách hàng, quản lý chất lượng dịch vụ, hoặc phát triển các sản phẩm dựa trên phản hồi của khách hàng Nhiều nhà nghiên cứu và các trường đại học tại Việt Nam cũng đang tham gia tích cực vào lĩnh vực này, đưa ra các nghiên cứu mới và ứng dụng thực tế trong thực tiễn Ngoài ra, các hội thảo và hội nghị quốc tế cũng đang được tổ chức tại Việt Nam nhằm thúc đẩy sự phát triển của lĩnh vực này, tạo sân chơi cho các nhà nghiên cứu và chuyên gia để trao đổi, học hỏi và tìm hiểu các tiến bộ mới nhất trong lĩnh vực này