Hệ thống tự động phân luồng câu hỏi và giải đáp yêu cầu trực tuyến (tt)

18 215 0
Hệ thống tự động phân luồng câu hỏi và giải đáp yêu cầu trực tuyến (tt)

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐẮC NAM HỆ THỐNG TỰ ĐỘNG PHÂN LUỒNG CÂU HỎI GIẢI ĐÁP YÊU CẦU TRỰC TUYẾN Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 TĨM TẮT LUẬN VĂN THẠC SĨ CƠNG NGHỆ THÔNG TIN Hà Nội – 2017 CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG TRẢ LỜI TỰ ĐỘNG 1.1 Hệ thống trả lời tự động 1.2 Tình hình nghiên cứu nước 1.3 Phân loại mơ hình trả lời tự động CHƯƠNG 2: CƠ SỞ MẠNG NƠ-RON NHÂN TẠO 2.1 Kiến trúc mạng nơ-ron nhân tạo 2.2 Hoạt động mạng nơ-ron nhân tạo 2.3 Mạng nơ-ron tái phát ứng dụng CHƯƠNG 3: ỨNG DỤNG MƠ HÌNH MẠNG NƠ-RON VÀO TRẢ LỜI TỰ ĐỘNG .5 3.1 Phát sinh ngôn ngữ trả lời tự động 3.2 Mơ hình chuỗi liên tiếp .5 3.3 Mơ hình trả lời tự động 3.4 Một số đặc điểm xây dựng hệ thống trả lời tự động6 3.4.1 Phụ thuộc bối cảnh 3.4.2 Kết hợp tính cách 3.5 Các vấn đề khó khăn trả lời tự động Tiếng Việt 3.5.1 Đặc điểm ngữ âm 3.5.2 Đặc điểm từ vựng: 3.5.3 Đặc điểm ngữ pháp CHƯƠNG 4: XÂY DỰNG HỆ THỐNG TRAO ĐỔI THÔNG TIN TRỰC TUYẾN GIỮA SINH VIÊN VỚI NHÀ TRƯỜNG TẠI TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI .9 4.1 Lựa chọn toán .9 4.2 Quy trình trao đổi thơng tin (hỏi đáp trực tuyến) HSSV với Nhà trường Trường Đại học Công nghiệp Hà Nội 4.2.1 Quy trình áp dụng 4.2.2 Mô tả quy trình áp dụng 4.3 Kiến trúc ứng dụng .10 4.4 Cài đặt hệ thống 12 4.4.1 Mơ hình cài đặt 12 4.4.2 Môi trường cài đặt 13 4.4.3 Công cụ cài đặt 13 4.5 Kết đạt 13 4.5.1 Một số kết 13 4.5.2 Hiệu 13 KẾT LUẬN 13 TÀI LIỆU THAM KHẢO 14 TÓM TẮT LUẬN VĂN Hiện việc tiếp nhận, giải trả lời câu hỏi thắc mắc yêu cầu người dùng (Hệ thống hỏi đáp Q&A giải thắc mắc): khách hàng hoạt động thương mại, người dân thủ tục hành chính, học sinh - sinh viên hoạt động đào tạo trường đại học - cao đẳng lớn Các hoạt động tiếp nhận câu hỏi trả lời câu hỏi hoạt động mang tính thủ cơng mà chưa có công cụ trợ giúp Việc tiếp nhận xử lý chậm, thiếu xác chưa cơng khai minh bạch Các câu hỏi yêu cầu người dùng vào nhiều lĩnh vực thuộc nhiều đối tượng trả lời khác nhau, việc lựa chọn đối tượng trả lời gây khó khăn hiểu nhầm cho người dùng dẫn đến câu hỏi yêu cầu thường không trả lời thỏa đáng Cho đến hệ thống trực tuyến giải yêu cầu tiện lợi Ví dụ mua sắm mạng: người sử dụng truy cập vào địa mua sắm nhiều mặt hàng nhiều đơn vị sản xuất (Ví dụ amazon, lazada) Yêu cầu người mua hàng website phân tích đưa đề nghị sản phẩm hợp lý với người mua hàng nhờ vào hệ thống trí tuệ nhân tạo (AI) học máy (ML) giúp cải thiện doanh thu bán hàng đáng kể thành phần thiếu website bán hàng ngày Do hệ thống trả lời tự động thiếu bối cảnh Tính cấp thiết tốn trả lời tự động Trong bối cảnh mạng xã hội website mua sắm ngày trở nên phổ biến nay, người tăng nhu cầu kết nối với người thông qua mạng xã hội, vào thời gian nơi đâu Sẽ thật tốt có hệ thống tự động thông minh hỗ trợ người cách trò chuyện, có khả nhắc nhở, giải đáp thắc mắc thời gian ngắn Khái niệm trợ lý ảo, chatbot, hay hệ thống trả lời tự động chủ đề nóng, cơng ty lớn Microsoft (Cortana), Google (Google Assistant), Facebook (M), Apple (Siri), Samsung (Viv) giới thiệu trợ lý ảo mình, hệ thống trả lời tự động Chính thức vào chơi chatbot, với mong muốn tạo trợ lý ảo thực thông minh tồn hệ sinh thái sản phẩm Gần Microsoft tạo Microsoft Chat Framework cho phép nhà phát triển tạo chatbot tảng Web Skype, hay Facebook phát hành F8 SDK cho phép nhà phát triển tích hợp vào Messenger Như vậy, hệ thống trả lời tự động có nhiệm vụ vai trò quan trọng, trợ giúp người nhiều nhiều lĩnh vực: y tế, giáo dục, thương mại điện tử, …, xứng đáng để nghiên cứu đưa sản phẩm phù hợp với thực tế Với đời framework sequence-tosequence [10] gần đây, nhiều hệ thống huấn luyện sử dụng mạng nơron để sinh câu trả lời đưa vào mạng câu hỏi thông điệp Đây hướng tiếp cận có nhiều triển vọng việc xây dựng hệ thống trả lời tự động Qua đó, nghiên cứu dựa khung làm việc sequence-to-sequence, để xây dựng mơ hình trả lời tự động cho tiếng Việt, từ có áp dụng vào toán thực tế [1] Mục tiêu luận văn Phân luồng câu hỏi (phân tích câu hỏi) pha kiến trúc chung hệ thống hỏi đáp, có nhiệm vụ tìm thơng tin cần thiết làm đầu vào cho q trình xử lý pha sau (trích chọn tài liệu, trích xuất câu trả lời, …) Vì phân tích câu hỏi có vai trò quan trọng, ảnh hưởng trực tiếp đến hoạt động toàn hệ thống Nếu phân tích câu hỏi khơng tốt khơng thể tìm câu trả lời Chính lý mà tác giả chọn nghiên cứu đề tài “Hệ thống tự động phân luồng câu hỏi giải đáp yêu cầu trực tuyến” Luận văn đặt mục tiêu nghiên cứu mơ hình phát sinh văn bản, sử dụng mạng học sâu Deep Neural Networks, dựa khung làm việc sequence-to-sequence, để huấn luyện tập liệu câu hỏi trả lời trường Đại học Công nghiệp Hà Nội Từ xây dựng, cài đặt vận hành mơ hình trả lời tự động với mục tiêu đề tài tiết kiệm nhân lực thời gian trình tiếp nhận, giải yêu cầu học sinh - sinh viên trường Cấu trúc luận văn Để mô tả kết nghiên cứu, luận văn chia thành chương với nội dung sau: CHƯƠNG 1: Tổng quan hệ thống trả lời tự động CHƯƠNG 2: Cơ sở mạng nơ-ron nhân tạo CHƯƠNG 3: Ứng dụng mô hình mạng nơ-ron vào trả lời tự động CHƯƠNG 4: Xây dựng hệ thống trao đổi thông tin trực tuyến sinh viên với nhà trường trường đại học công nghiệp hà nội CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG TRẢ LỜI TỰ ĐỘNG Bài toán xây dựng hệ thống hỏi đáp tốn khó thuộc lĩnh vực xử lý ngôn ngữ tự nhiên Chúng ta biết ngôn ngữ tự nhiên vốn nhập nhằng, đa nghĩa, việc xác định ngữ nghĩa câu hỏi phát câu trả lời thách thức không nhỏ Không vậy, câu hỏi câu trả lời tồn quan hệ “ngầm” hay phụ thuộc vào ngữ cảnh Bài toán đặt nhiều thách thức để phát câu trả lời phù hợp nhất, thơng tin hữu ích Chương giới thiệu tổng quan hệ thống trả lời tự động, tìm hiểu nghiên cứu ngồi nước để thấy tình hình nghiên cứu phương pháp tiếp cận nghiên cứu trước 1.1 Hệ thống trả lời tự động 1.2 Tình hình nghiên cứu ngồi nước 1.3 Phân loại mơ hình trả lời tự động 1.3.1 Phân loại theo miền ứng dụng 1.3.4 Phân loại theo hướng tiếp cận 1.4 Các bước chung hệ thống hỏi đáp tự động CHƯƠNG 2: CƠ SỞ MẠNG NƠ-RON NHÂN TẠO Chương giới thiệu sở lý thuyết mạng nơ rơn nhân tạo (ANN), cách thức hoạt động mạng nơ-ron, phiên mở rộng mạng nơ-ron nhân tạo RNN - Recurrent Neural Network (Mạng nơ-ron tái phát) Mạng nơ-ron tái phát RNN mơ hình Deep learning đánh giá có nhiều ưu điểm tác vụ xử lý ngôn ngữ tự nhiên Đây sở để thực xây dựng mơ hình trả lời tự động đề tài luận văn 2.1 Kiến trúc mạng nơ-ron nhân tạo 2.2 Hoạt động mạng nơ-ron nhân tạo 2.3 Mạng nơ-ron tái phát ứng dụng Mạng nơ-ron tái phát Recurrent Neural Network (RNN) mô hình Deep learning đánh giá có nhiều ưu điểm tác vụ xử lý ngôn ngữ tự nhiên (NLP) Trong phần này, tơi trình bày khái niệm, đặc điểm ứng dụng RNNs toán thực tế 2.3.1 Mạng nơ-ron tái phát 2.3.2 Các ứng dụng RNN 2.3.3 Huấn luyện mạng 2.3.4 Các phiên mở rộng RNN CHƯƠNG 3: ỨNG DỤNG MƠ HÌNH MẠNG NƠ-RON VÀO TRẢ LỜI TỰ ĐỘNG Chương tác giả tập trung giới thiệu mơ hình mạng nơ ron sản sinh văn sau huấn luyện, đồng thời đề cập đến mơ hình chuỗi liên tiếp sequence to sequence Từ đưa cách thức ứng dụng mạng nơ ron để xây dựng hệ thống trả lời tự động 3.1 Phát sinh ngơn ngữ trả lời tự động 3.2 Mơ hình chuỗi liên tiếp 3.3 Mơ hình trả lời tự động Bản thân mơ hình seq2seq bao gồm hai mạng RNN: Một cho mã hóa, cho giải mã Bộ mã hóa nhận chuỗi (câu) đầu vào xử lý phần tử (từ câu) bước Mục tiêu chuyển đổi chuỗi phần tử vào vectơ đặc trưng có kích thước cố định mà mã hóa thơng tin quan trọng chuỗi bỏ qua thơng tin khơng cần thiết Có thể hình dung luồng liệu mã hóa dọc theo trục thời gian, giống dòng chảy thơng tin cục từ phần tử kết thúc chuỗi sang chuỗi khác Hình 3.4: Mơ hình đối thoại seq2seq Mỗi trạng thái ẩn ảnh hưởng đến trạng thái ẩn trạng thái ẩn cuối xem tích lũy tóm tắt chuỗi Trạng thái gọi bối cảnh hay vevtơ suy diễn, đại diện cho ý định chuỗi Từ bối cảnh đó, giải mã tạo chuỗi, phần tử (word) thời điểm Ở đây, bước, giải mã bị ảnh hưởng bối cảnh phần tử sinh trước 3.4 Một số đặc điểm xây dựng hệ thống trả lời tự động Có số thách thức thể cách rõ ràng thấy rõ xây dựng mơ hình đối thoại nói chung tâm điểm ý nhiều nhà nghiên cứu 3.4.1 Phụ thuộc bối cảnh Để sinh câu trả lời hợp lý, hệ thống đối thoại cần phải kết hợp với hai bối cảnh ngôn ngữ bối cảnh vật lý Trong hội thoại dài, người nói cần theo dõi nhớ nói thơng tin trao đổi Đó ví dụ bối cảnh ngôn ngữ Phương pháp tiếp cận phổ biến nhúng hội thoại vào Vector, việc làm đoạn hội thoại dài thách thức lớn Các thử nghiệm nghiên cứu [3], [15] theo hướng Hướng nghiên cứu cần kết hợp loại bối cảnh như: Ngày/ giờ, địa điểm, thông tin người 3.4.2 Kết hợp tính cách Khi phát sinh câu trả lời, hệ thống trợ lý ảo lý tưởng tạo câu trả lời phù hợp với ngữ nghĩa đầu vào cần quán giống Ví dụ, muốn nhận câu trả lời với mẫu hỏi “Bạn tuổi” hay “Tuổi bạn mấy” Điều nghe đơn giản, việc tổng hợp, tích hợp kiến thức quán hay “có tính cách” vào mơ hình đối thoại vấn đề khó để nghiên cứu Rất nhiều hệ thống huấn luyện để trả lời câu hỏi thỏa đáng với ngôn ngữ, chúng không huấn luyện để sinh câu trả lời qn ngữ nghĩa Mơ nghiên cứu [10], tạo bước tập trung vào hướng mơ hình hóa tính cách 3.5 Các vấn đề khó khăn trả lời tự động Tiếng Việt Theo tác giả vấn đề khó khăn xây dựng hệ thống trả lời tự động vấn đề xử lý Tiếng Việt Tiếng Việt thuộc ngôn ngữ đơn lập, tức tiếng (âm tiết) phát âm tách rời thể chữ viết Đặc điểm thể rõ rệt tất mặt ngữ âm, từ vựng, ngữ pháp Dưới trình bày số đặc điểm tiếng Việt theo tác giả Trung tâm ngôn ngữ học Việt Nam trình bày [30] 3.5.1 Đặc điểm ngữ âm Tiếng Việt có loại đơn vị đặc biệt gọi “tiếng”, mặt ngữ âm, tiếng âm tiết Hệ thống âm vị tiếng Việt phong phú có tính cân đối, tạo tiềm ngữ âm tiếng Việt việc thể đơn vị có nghĩa Nhiều từ tượng hình, tượng có giá trị gợi tả đặc sắc Khi tạo câu, tạo lời, người Việt ý đến hài hoà ngữ âm, đến nhạc điệu câu văn 3.5.2 Đặc điểm từ vựng: Mỗi tiếng nói chung yếu tố có nghĩa Tiếng đơn vị sở hệ thống đơn vị có nghĩa tiếng Việt Từ tiếng, người ta tạo đơn vị từ vựng khác để định danh vật, tượng , chủ yếu nhờ phương thức ghép phương thức láy Việc tạo đơn vị từ vựng phương thức ghép chịu chi phối quy luật kết hợp ngữ nghĩa, ví dụ: sinh viên, đất nước, máy bay, nhà lầu xe hơi, nhà tan cửa nát Hiện nay, phương thức chủ yếu để sản sinh đơn vị từ vựng Theo phương thức này, tiếng Việt triệt để sử dụng yếu tố cấu tạo từ Việt hay vay mượn từ ngôn ngữ khác để tạo từ, ngữ mới, ví dụ tiếp thị, karaoke, thư điện tử (e-mail), thư thoại (voice mail), phiên (version), xa lộ thông tin, siêu liên kết văn bản, truy cập ngẫu nhiên, v.v Việc tạo đơn vị từ vựng phương thức láy quy luật phối hợp ngữ âm chi phối chủ yếu việc tạo đơn vị từ vựng, chẳng hạn chôm chỉa, chỏng chơ, đỏng đa đỏng đảnh, thơ thẩn, lúng lúng liếng, v.v Vốn từ vựng tối thiểu tiếng Việt phần lớn từ đơn tiết (một âm tiết, tiếng) Sự linh hoạt sử dụng, việc tạo từ ngữ cách dễ dàng tạo điều kiện thuận lợi cho phát triển vốn từ, vừa phong phú số lượng, vừa đa dạng hoạt động Cùng vật, tượng, hoạt động hay đặc trưng, có nhiều từ ngữ khác biểu thị Tiềm vốn từ ngữ tiếng Việt phát huy cao độ phong cách chức ngôn ngữ, đặc biệt phong cách ngôn ngữ nghệ thuật Hiện nay, phát triển vượt bậc khoa học-kĩ thuật, đặc biệt cơng nghệ thơng tin, tiềm phát huy mạnh mẽ 3.5.3 Đặc điểm ngữ pháp Từ tiếng Việt khơng biến đổi hình thái Đặc điểm chi phối đặc điểm ngữ pháp khác Khi từ kết hợp từ thành kết cấu ngữ, câu, tiếng Việt coi trọng phương thức trật tự từtừ Việc xếp từ theo trật tự định cách chủ yếu để biểu thị quan hệ cú pháp Trong tiếng Việt nói “Sinh viên học giỏi” khác với “Học giỏi sinh viên” Khi từ loại kết hợp với theo quan hệ phụ từ đứng trước giữ vai trò chính, từ đứng sau giữ vai trò phụ Nhờ trật tự kết hợp từ mà "củ cải" khác với "cải củ", "tình cảm" khác với "cảm tình" Trật tự chủ ngữ đứng trước, vị ngữ đứng sau trật tự phổ biến kết cấu câu tiếng Việt Phương thức hư từ phương thức ngữ pháp chủ yếu tiếng Việt Nhờ hư từ mà tổ hợp “anh em” khác với tổ hợp “anh em”, “anh em” Hư từ với trật tự từ cho phép tiếng Việt tạo nhiều câu có nội dung thông báo khác sắc thái biểu cảm Ví dụ, so sánh câu sau đây: - Tôi học - Bài, học - Bài, tơi học Ngồi trật tự từ hư từ, tiếng Việt sử dụng phương thức ngữ điệu Ngữ điệu giữ vai trò việc biểu quan hệ cú pháp yếu tố câu, nhờ nhằm đưa nội dung muốn thông báo Trên văn bản, ngữ điệu thường biểu dấu câu Sự khác nội dung thông báo nhận biệt so sánh hai câu sau: - Đêm hôm qua, cầu gãy - Đêm hôm, qua cầu gãy Kết luận: Qua số đặc điểm bật vừa nêu đây, hình dung phần sắc tiềm tiếng Việt 9 CHƯƠNG 4: XÂY DỰNG HỆ THỐNG TRAO ĐỔI THÔNG TIN TRỰC TUYẾN GIỮA SINH VIÊN VỚI NHÀ TRƯỜNG TẠI TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI 4.1 Lựa chọn tốn Trường Đại học Cơng nghiệp Hà Nội (ĐHCNHN) đào tạo 60000 sinh viên với nhiều ngành nghề đào tạo (Tiến sĩ, Thạc sĩ, Đại học quy, Cao đẳng , Trung cấp chuyên nghiệp, Đào tạo Sau đại học, Đào tạo nghề), với sở đào tạo có vị trí cách xa Cơ sở (Số 298 đường Cầu Diễn, quận Bắc Từ Liêm, thành phố Hà Nội), Cơ sở (Phường Tây Tựu, quận Bắc Từ Liêm, thành phố Hà Nội), Cơ sở (Phường Lê Hồng Phong và xã Phù Vân, thành phố Phủ Lý, tỉnh Hà Nam) có 30 sở liên kết đào tạo trường Để nâng cao chất lượng giảng dạy cán bộ, giáo viên kết học tập học sinh, sinh viên trường nhà trường đầu xây dựng cổng thông tin điện tử nhằm giúp sinh viên tra cứu thông tin gửi thắc mắc liên quan đến trình học tập rèn luyện sinh viên qua mạng internet Tuy nhiên việc giải đáp thắc mắc toàn sinh viên gặp phải số khó khăn phận trả lời nằm nhiều sở, nhiều phòng ban, sinh viên chủ yếu sử dụng kênh thơng tin khơng thức Facebook, gây nên tượng khơng tìm câu trả lời thỏa đáng Nhu cầu giải đáp phục vụ cho trình nghiên cứu học tập sinh viên gặp nhiều khó khăn nên trường ĐHCNHN xây dựng hệ thống giải đáp trực tuyến nhằm giúp giải đáp sinh viên cách nhanh chóng thiết thực Việc tin học hóa cổng hỏi đáp giúp việc quản lý việc học tập trao đổi nhà trường trở nên thuận tiện hơn, giúp cán bộ, giáo viên, học sinh, sinh viên trường giải thắc mắc giúp học tập đạt kết tốt yêu cầu đặt cần phải xây dựng hệ thống trao đổi thông tin trực tuyến nhà trường tự động phân luồng câu hỏi cách xác từ người hỏi đến người có khả trả lời cấp thiết 4.2 Quy trình trao đổi thơng tin (hỏi đáp trực tuyến) HSSV với Nhà trường Trường Đại học Công nghiệp Hà Nội 4.2.1 Quy trình áp dụng 4.2.2 Mơ tả quy trình áp dụng 10 4.3 Kiến trúc ứng dụng Mạng học sâu DNN - Deep Neural Networks cách tiếp cận đại thuật toán học máy Các mơ hình học sâu có kiến trúc tương tự mạng Nơ-ron khác cách tiếp cận vấn đề, với ý tưởng liệu lớp có mức độ trừu tượng hóa (khái quát) cao cách tổ hợp liệu có mức trừu tượng hóa thấp lớp trước DNN mạnh chúng thực tính tốn song song tùy ý với số lượng bước Hơn nữa, Mạng DNN lớn huấn luyện với lan truyền ngược giám sát tập huấn luyện dán nhãn có đủ thông tin để xác định thông số mạng Do đó, có tồn thiết lập thơng số DNN lớn mà đạt kết tốt, giám sát lan truyền ngược tìm thấy thông số giải vấn đề Trong luận văn này, cho thiết kế ứng dụng đơn giản dựa vào kiến trúc Long ShortTerm Memory (LSTM) [33] giải vấn đề chuỗi liên tiếp sequence-to-sequence Ý tưởng sử dụng mạng LSTM để đọc chuỗi đầu vào, bước thời gian thời điểm, để có biểu diễn vector kích thước cố định, sau sử dụng mạng LSTM để trích xuất trình tự đầu từ vector (hình 4.2) Mạng LSTM thứ hai mạng nơ-ron tái phát dựa mơ hình ngơn ngữ [34, 35], ngoại trừ việc bổ sung thêm điều kiện chuỗi đầu vào LSTM có khả học thành cơng liệu phụ thuộc thời gian tầm xa, làm cho trở thành lựa chọn tự nhiên cho ứng dụng độ có trễ thời gian đáng kể đầu vào đầu tương ứng chúng (hình 4.2) Hình 4.2: Kiến trúc mơ hình đối thoại cho tiếng Việt Kiến trúc mơ hình dựa vào kết nghiên cứu Lê Viết Quốc cho toán hỏi đáp tiếng Anh, [11], chúng tơi sử dụng mơ hình đọc câu đầu vào tiếng Việt, ví dụ: “A B C” sinh ra câu tiếng Việt đầu “W X Y Z” Mơ hình dừng dự đoán sau sản xuất mã hiệu kết thúc câu Lưu ý, mạng LSTM 11 đọc câu đầu vào theo hướng ngược lại, làm đưa nhiều phụ thuộc ngắn hạn liệu mà làm cho vấn đề tối ưu nhiều Tiếp cận sử dụng khung làm việc sequence-tosequence (seq2seq) mơ tả [10] Mơ hình dựa mạng nơ-ron tái phát, mà đọc chuỗi đầu vào tuần tự, dấu hiệu (token) thời điểm, dự đoán chuỗi đầu ra, dấu hiệu thời điểm Trong suốt thời gian huấn luyện, chuỗi đầu đưa vào mô hình, việc học hồn tất q trình lan truyền ngược Mơ hình huấn luyện để cực đại hóa cross entropy theo cho bối cảnh Trong q trình suy luận, mơ hình cho chuỗi đầu mà khơng quan sát được, cách đơn giản nạp vào dấu hiệu token dự đoán làm đầu vào để dự đoán dấu hiệu đầu Đây phương pháp suy luận "tham lam" Một cách tiếp cận tham lam sử dụng tìm kiếm Beam Search, thuật tốn tìm kiếm mà phát đồ thị việc mở rộng nút tiềm tập có giới hạn, cách nạp vài ứng cử viên bước trước vào bước Một chuỗi dự đốn chọn dựa xác suất chuỗi Cụ thể, giả sử quan sát trò chuyện với hai lượt: người “A B C”, người thứ hai trả lời “W X Y Z” Chúng tơi sử dụng mạng nơ-ron tái phát, huấn luyện để ánh xạ “ABC” sang “WXYZ” hình 4.2 Các trạng thái ẩn mơ hình nhận ký tự kết thúc chuỗi , xem vector ngưỡng uy nghĩ lưu trữ thơng tin câu, nghĩ, “A B C” Thế mạnh mơ hình nằm đơn giản tính tổng quát Chúng ta sử dụng mơ hình cho Máy dịch, Hỏi đáp, trò chuyện mà không cần thay đổi nhiều kiến trúc Việc áp dụng kỹ thuật để mơ hình hóa đối thoại đơn giản: chuỗi đầu vào nối bối cảnh trò chuyện với chuỗi đầu câu trả lời Không giống nhiệm vụ đơn giản dịch thuật, nhiên, mơ sequence-to-sequence khơng thể “giải quyết” thành cơng vấn đề việc mơ hình hóa đối thoại do: hàm mục tiêu 12 tối ưu hóa khơng nắm bắt mục tiêu thực tế cần đạt thông qua giao tiếp người, mà thường thông tin dài hạn dựa trao đổi thông tin dự đốn bước Việc thiếu mơ hình để đảm bảo tính thống kiến thức nói chung hạn chế rõ ràng mô hình hồn tồn khơng có giám sát 4.4 Cài đặt hệ thống 4.4.1 Mơ hình cài đặt Mạng nơ-ron tái phát RNN [36, 37] mạng tổng quát mạng nơ-ron truyền thẳng cho chuỗi Với chuỗi đầu vào (x1, … , xT) , mạng RNN chuẩn tính tốn chuỗi kết đầu (y1, … , yT) , cách duyệt phương trình sau: ℎ = 𝑠𝑖𝑔𝑚(𝑊 𝑥 + 𝑊 ℎ ) 𝑦 =𝑊 ℎ Mạng RNN dễ dàng ánh xạ chuỗi liên kết đầu vào đầu biết đến trước hết hạn Tuy nhiên, khơng cách rõ ràng để áp dụng mạng RNN cho vấn đề mà đầu vào đầu có độ dài khác với mối quan hệ phức tạp không đơn điệu (thay đổi) Cách làm đơn giản cho việc học chuỗi nói chung ánh xạ chuỗi đầu vào thành vector có kích thước cố định sử dụng mạng RNN sau đó, ánh xạ vector vào chuỗi đích sử dụng mạng RNN khác (cách làm thực Kyunghyun Cho cộng [36]) Trong hoạt động nguyên tắc kể từ RNN cung cấp với tất thông tin liên quan, gặp khó khăn việc huấn luyện phụ thuộc thời gian dài [33, 38] Tuy nhiên, mạng LSTM [33] học vấn đề phụ thuộc thời gian dài, vậy, sử dụng mạng LSTM thành cơng trường hợp Mục tiêu LSTM để ước lượng xác suất có điều kiện 𝑝(𝑦 , … , 𝑦 , |𝑥 , … , 𝑥 ) (x1, … , xT) chuỗi đầu vào (y1, … , yT’) chuỗi đầu tương ứng có chiều dài T’có thể khác từ T Mạng LSTM tính xác suất có điều kiện cách có thơng tin đại diện mà số chiều cố định ῡ chuỗi đầu vào (x1, … , xT) tính trạng thái ẩn cuối mạng LSTM, sau tính tốn xác suất (y1, … , yT’) ới công thức LSTM-LM tiêu chuẩn mà ban đầu trạng thái ẩn thiết lập để đại diện ῡ (x1, … , xT): 13 𝑝(𝑦 , … , 𝑦 |𝑥 , … , 𝑥 ) = 𝑝(𝑦 |𝑣, 𝑦 , … , 𝑦 ) Trong phương trình này, phân phối xác suất 𝑝(𝑦 , … , 𝑦 , |𝑥 , … , 𝑥 ) biểu diễn hàm softmax tất từ từ vựng Sử dụng công thức LSTM Graves, [37] Chú ý câu kết thúc với ký hiệu đặc biệt end-of-sentence “”, cho phép mơ hình để xác định phân phối chuỗi tất độ dài Xem lược đồ tổng qt hình 4.2, LSTM tính xác suất đại diện “A”, “B”, “C”, “” sau sử dụng đại diện để tính xác xuất “W”, “X”, “Y”, “Z”, “” 4.4.2 Môi trường cài đặt 4.4.3 Công cụ cài đặt 4.5 Kết đạt 4.5.1 Một số kết 4.5.2 Hiệu KẾT LUẬN Những kết luận văn: Luận văn đạt kết sau đây:  Đưa lý thuyết vấn đề gặp phải việc xây dựng hệ thống trả lời tự động trực tuyến  Ứng dụng mạng học sâu vào giải toán phân luồng câu hỏi trả lời câu hỏi tự động trực tuyến  Cài đặt hệ thống trả lời câu hỏi tự động cở sở mơ hình mạng học sâu lựa chọn với kết thực nghiệm đạt 50% hài lòng  Phần mềm đưa vào ứng dụng giúp tiết kiệm chi phí cho nguồn nhân lực trình tiếp nhận trả lời câu hỏi  Tổng hợp kết hướng nghiên cứu tốn đưa trợ lý ảo tiếp nhận hiểu nhu cầu sinh viên  Có khả áp dụng vào hệ thống tự động hỏi đáp khác vấn bán hàng, vấn sức khỏe, Hướng phát triển luận văn:  Tiếp tục triển khai mở rộng thu thập nhiều câu hỏi nhiều trường Đại học để gia tăng huấn luyện, tăng độ xác 14  Tiếp tục nghiên cứu mơ hình mạng giải tốn phân luồng câu hỏi trả lời yêu cầu trực tuyến  Tìm hiểu nhu cầu thực tế, tham khảo ý kiến chuyên gia để xây dựng chương trình áp dụng kỹ thuật nghiên cứu, bổ sung số yếu tố khác để hoàn thiện hệ thống trả lời tự động đạt hiệu cao TÀI LIỆU THAM KHẢO [1] Nhữ Bảo Vũ, Nguyễn Văn Nam XÂY DỰNG MƠ HÌNH ĐỐI THOẠI CHO TIẾNG VIỆT TRÊN MIỀN MỞ DỰA VÀO PHƯƠNG PHÁP HỌC CHUỖI LIÊN TIẾP Khóa luận tốt nghiệp thạc sỹ CNTT 2016 [2] Hồ Bảo, Lương Chi Mai Về xử lý tiếng Việt công nghệ thông tin, Viện Công nghệ Thông tin, Viện Khoa học Công nghệ Tiên tiến Nhật [3] Hà Quang Thụy & nhóm khai phá liệu ứng dụng Bài giảng khai phá liệu, 2007 [4] Walter S Lasecki, Ece Kamar, Dan Bohus, Conversations in the Crowd: Collecting Data for Task-Oriented Dialog Learning [5] Alan Ritter, Colin Cherry, and Bill Dolan 2010 “Unsupervised modeling of twitter conversations” In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, HLT ’10, pages 17 [6] Rafael E Banchs and Haizhou Li 2012 “Iris: a chat-oriented dialogue system based on the vector space model” In Proceedings of the ACL 2012 System Demonstrations, pages 37–42, Jeju Island, Korea, July Association for Computational Linguistics [7] Karthik Narasimhan, Tejas Kulkarni, and Regina Barzilay 2015 “Language understanding for text-based games using deep reinforcement learning” In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 1–11, Lisbon, [8] T.-H Wen, D Vandyke, N Mrksic, M Gasic, L M RojasBarahona, P.-H Su, S Ultes, and S Young 2016 A Network-based 15 End-to-End Trainable Task-oriented Dialogue System ArXiv eprints, April [9] Heriberto Cuayahuitl 2016 Simpleds: “A simple deep reinforcement learning dialogue system” CoRR, abs/1601.04574 [10] Ilya Sutskever, Oriol Vinyals, Quoc V Le, 14 Dec 2014 “Sequence to Sequence Learning with Neural Networks” pp 1–9 [11] Oriol Vinyals, Quoc Le, 22 Jul 2015 “A Neural Conversational Model” [12] Alessandro Sordoni, Michel Galley, Michael Auli, Chris Brockett, Yangfeng Ji, Margaret Mitchell, Jian-Yun Nie, Jianfeng Gao, Bill Dolan, 22 Jun 2015 “A Neural Network Approach to Context-Sensitive Generation of Conversational Responses” [13] Iulian V Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville, Joelle Pineau, Apr 2016 “Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models” [14] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan 2015 A diversitypromoting objective function for neural conversation models arXiv preprint arXiv:1510.03055 [15] Lester, J., Branting, K., and Mott, B, 2004 “Conversational agents In Handbook of Internet Computing Chapman & Hall” [16] Will, T, 2007 “Creating a Dynamic Speech Dialogue” VDM Verlag Dr [17] Russell, S., Dewey, D., Tegmark, M (2015) “Research Priorities for Robust and Beneficial Artificial Intelligence” AI Magazine, 36 (4):105–114 [18] Alan M Turing 1950 “Computing machinery and intelligence” Mind, 59(236):433–460 [19] Joseph Weizenbaum 1966 “Elizaa computer program for the study of natural language communication between man and machine” Communications of the ACM, 9(1):36–45 [20] Roger C Parkinson, Kenneth Mark Colby, and William S Faught 1977 “Conversational language comprehension using integrated pattern-matching and parsing” Artificial Intelligence, 9(2):111–134 [21] Richard S Wallace 2009 “The anatomy of ALICE” Springer 16 [22] Jurgen Schmidhuber 2015 “Deep learning in neural networks: An overview Neural Networks”, 61:85–117 [23] Yann LeCun, Yoshua Bengio, and Geoffrey Hinton 2015 Deep learning Nature, 521(7553):436–444 [24] Marilyn Walker, Grace Lin, and Jennifer Sawyer 2012 “An annotated corpus of film dialogue for learning and characterizing character style” In Nicoletta Calzolari, Khalid Choukri, Thierry Declerck, Mehmet Ugur Do ˘ gan, Bente Maegaard, Joseph ˘ Mariani, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC-2012), pages 1373–1378, Istanbul, Turkey, May European Language Resources Association (ELRA) ACL Anthology Identifier: L12-1657 [25] Francesca Bonin, Jose San Pedro, and Nuria Oliver 2014 “A context-aware nlp approach for noteworthiness detection in cellphone conversations” In COLING, pages 25–36 [26] Jaime Carbonell, Donna Harman, Eduard Hovy, and Steve Maiorano, John Prange and Karen Sparck-Jones Vision Statement to Guide Research in Question & Answering (Q&A) and Text Summarization Final version 2000 [27] P Werbos, 1990 “Backpropagation through time: what it does and how to it” Proceedings of IEEE [28] Sanda M Harabagiu, Marius A Paşca, Steven J Maiorano Experiments with open-domain textual Question Answering International Conference On Computational Linguistics Proceedings of the 18th conference on Computational linguistics – Volume 1, 2000, tr 292 - 298 [29] Eduard Hovy, Ulf Hermjakob and Lin, C.-Y The Use of External Knowledge in Factoid QA Paper presented at the Tenth Text REtrieval Conference (TREC 10), Gaithersburg, MD, 2001, November 13-16 [30] Trung tâm ngôn ngữ học Việt Nam “Đặc điểm tiếng Việt”, http://www.vietlex.com/vietnamese.htm [31] S Hochreiter and J Schmidhuber, 1997 “Long Short-Term Memory” Neural Computation, vol 9, pp 1735–1780 17 [32] T Mikolov, M Karafiát, L Burget, J Cernockỳ, and S Khudanpur, 2010 “Recurrent neural network based language model” In INTERSPEECH, pages 1045–1048 [33] M Sundermeyer, R Schluter, and H Ney, 2010 “LSTM neural networks for language modeling” In INTERSPEECH [34] D Rumelhart, G E Hinton, and R J Williams, 1986 “Learning representations by back-propagating errors” Nature, 323(6088):533– 536 [35] Y Bengio, P Simard, and P Frasconi, 1994 “Learning long-term dependencies with gradient descent is difficult” IEEE Transactions on Neural Networks, 5(2):157–166 [36] Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, Yoshua Bengio, Sep 2014 “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation” [37] A Graves, Jun 2014 “Generating sequences with recurrent neural networks” In Arxiv preprint arXiv:1308.0850 ... việc xây dựng hệ thống trả lời tự động trực tuyến  Ứng dụng mạng học sâu vào giải toán phân luồng câu hỏi trả lời câu hỏi tự động trực tuyến  Cài đặt hệ thống trả lời câu hỏi tự động cở sở mơ... dựng hệ thống trao đổi thông tin trực tuyến nhà trường tự động phân luồng câu hỏi cách xác từ người hỏi đến người có khả trả lời cấp thiết 4.2 Quy trình trao đổi thơng tin (hỏi đáp trực tuyến) ... phân tích câu hỏi khơng tốt khơng thể tìm câu trả lời Chính lý mà tác giả chọn nghiên cứu đề tài Hệ thống tự động phân luồng câu hỏi giải đáp yêu cầu trực tuyến Luận văn đặt mục tiêu nghiên cứu

Ngày đăng: 16/01/2018, 16:38

Từ khóa liên quan

Tài liệu cùng người dùng

  • Đang cập nhật ...

Tài liệu liên quan