Đang tải... (xem toàn văn)
Xây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tác
i LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu riêng tơi Các số liệu, kết trình bày luận văn trung thực chưa công bố công trình khác Tp HCM, ngày 30 tháng 08 năm 2016 Tác giả luận văn Nguyễn Thị Lê Soa ii LỜI CẢM ƠN Tơi xin bày tỏ lịng biết ơn sâu sắc đến TS Lê Thanh Vân hướng dẫn nhiệt tình, tận tâm suốt trình thực luận văn Cơ giúp cho tơi có định hướng, phương pháp nghiên cứu, tài liệu bổ ích đặc biệt chia cho kinh nghiệm quý báu Tôi xin chân thành cảm ơn Học Viện Công Nghệ Bưu Chính Viễn Thơng tạo điều kiện cho chúng tơi suốt q trình học tập làm luận văn Đặc biệt xin gửi lời cám ơn sâu sắc tới Thầy Cơ nhiệt tình dạy, hướng dẫn truyền đạt kiến thức, kinh nghiệm vơ bổ ích cho suốt khóa học để tơi áp dụng vào cơng việc hồn thành luận văn Cuối cùng, Tôi xin gửi lời cảm ơn đến bạn khóa, người đống góp nhiệt tình, chia kinh nghiệm trình nghiên cứu luận văn “Xây dựng hệ thống gợi ý theo sở thích người dung dựa kỹ thuật lọc cộng” Tôi xin chân thành cảm ơn! Tp HCM, ngày 30 tháng 08 năm 2016 Học viên thực Nguyễn Thị Lê Soa iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC THUẬT NGỮ VÀ CHỮ VIẾT TẮT vi DANH SÁCH BẢNG vii DANH SÁCH HÌNH VẼ viii MỞ ĐẦU CHƯƠNG - TỔNG QUAN 1.1 Giới thiệu tổng quan 1.1.1 Tổng quan hệ thống gợi ý 1.1.2 Bài toán 1.2 Mục tiêu phương pháp luận văn 1.3 Ý nghĩa khoa học thực tiễn luận văn 1.4 Kết luận chương CHƯƠNG - CƠ SỞ LÝ THUYẾT 2.1 Giới thiệu Hệ thống gợi ý 2.1.2 Lọc dựa kỹ thuật lọc cộng tác (Collaborative filtering) 2.1.3 Phương pháp lọc kết hợp (Hybrid) 2.1.4 Các nghiên cứu liên quan 2.2 Hệ thống gợi ý dựa kỹ thuật lọc cộng tác theo hướng tiếp cận người dùng (user-user Collaborative Filtering Recommender Systems) 2.3 2.3.1 Các phương pháp tính độ đo tương tự hệ thống gợi ý 11 Khoảng cách Jaccard 12 iv 2.3.2 Khoảng cách Cosine 14 2.3.3 Làm tròn liệu 15 2.4 Hệ thống gợi ý Apache Mahout 15 Hướng tiếp cận cộng tác dựa vào người dùng 15 2.4.1 2.4.1.1 Độ tương tự LogLikelihood 17 2.4.1.2 K – Láng giềng gần (K-Nearest Neighbors K-NN) 18 2.4.1.3 Các bước thực xây dựng hệ thống gợi ý Apache Mahout dựa mối quan hệ lọc cộng tác người dùng 20 Hướng tiếp cận lọc cộng tác dựa vào mối quan hệ đặc trưng tiềm ẩn 25 2.4.2 2.4.2.1 Bình phương tối thiểu luân phiên (ALS – Alternating least square) 26 2.4.2.2 Lọc cộng tác dựa vào mối quan hệ tiềm ẩn mahout với hadoop 27 2.5 Kết luận chương 30 CHƯƠNG - HỆ THỐNG XỬ LÝ DỮ LIỆU LỚN 32 TRÊN HADOOP 32 3.1 Tổng quan Apache Hadoop 32 3.1.1 Giới thiệu Hadoop 32 3.1.2 Khái niệm Hadoop 34 3.1.3 Thành phần Hadoop 35 3.1.4 Hệ thống sinh thái liệu Hadoop 38 3.2 Tổng quan Apache Hbase 40 3.3 Kết luận chương 43 CHƯƠNG – THIẾT KẾ VÀ HIỆN THỰC 44 4.1 Thiết kế luồng thực thi công việc 44 4.2 Thực nghiệm 46 v 4.2.1 Phần xử lý liệu 46 4.2.2 Thực nghiệm chương trình hệ thống gợi ý 49 4.2.2.1 Môi trường phần mềm sử dụng 49 4.2.2.2 Thực nghiệm xây dựng hệ thống gợi ý 50 4.2.2.2.1 Xây dựng hệ thống gợi ý dựa mối quan hệ người dùng (user- user) 50 4.2.2.2.2 Xây dựng hệ thống gợi ý dựa mối quan hệ sản phẩm (item- item) 51 4.2.2.2.3 So sánh phương pháp gợi ý 52 4.3 Kết đạt 52 4.4 Giao diện hệ thống gợi ý sản phẩm 53 4.5 Đánh giá kết độ xác thuật toán 56 4.5.1 Đánh giá độ xác thuật toán dựa người dùng 56 4.5.2 Đánh giá độ xác thuật toán tập liệu người dùng 57 4.6 Kết luận chương 58 KẾT QUẢ VÀ KIẾN NGHỊ 59 DANH MỤC TÀI LIỆU THAM KHẢO 61 vi DANH MỤC CÁC THUẬT NGỮ VÀ CHỮ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt RS Recommender Systems Hệ thống gợi ý CF Collaborative Filtering Kỹ thuật lọc cộng tác K-NN K-Nearest Neighbors K – Láng giềng gần LLR log likelihood ratio Tỉ lệ Log – likelihood NoSQL Not Only SQL REST Representational State Transfer Chuyển giao trạng thái đại diện HFS Hadoop File System Hệ thống tập tin Hadoop HDFS Hadoop Distributed File System Hệ thống tập tin phân tán Hadoop vii DANH SÁCH BẢNG Bảng 2.1: Ma Trận có trọng số thể sở thích người dùng 11 Bảng 2.2: Độ tương tự khoảng cách user n user A 13 tính Jaccard 13 Bảng 2.3: Ma trận làm tròn giá trị với đánh giá 3, thay 1, 15 giá trị đánh giá bỏ qua 15 Bảng 4.1: Mối quan hệ User Item 48 Bảng 4.2: Số lượng Record Domain 49 Bảng 4.3: Dữ liệu thể việc xóa sở thích khứ 56 user1 item101 56 Bảng 4.4: Bảng kết thực nghiệm 58 viii DANH SÁCH HÌNH VẼ Hình 1.1: Sơ đồ gợi ý sản phẩm hướng tiếp cận lọc dựa nội dung Hình 1.2: Sơ đồ gợi ý sản phẩm hướng tiếp cận lọc dựa kỹ thuật lọc cộng tác Hình 2.1: Mơ hình đưa dự đốn hệ thống gợi ý [5] 10 Hình 2.2: Quan hệ user user Jaccard 12 Hình 2.3: Mơ hình tương tác thành phần hệ thống gợi ý 16 Apache Mahout 16 Hình 2.4: Mơ hình thể hai người dùng có sở thích [19] 17 Hình 3.1: Hình ảnh Apache hadoop 32 Hình 3.2: Cơ chế replication Hadoop 35 Hình 3.3: Luồng xử lý MapReduce 36 Hình 3.4: Bài tốn WordCount với MapReduce 37 Hình 3.5: Cấu trúc hệ thống Hadoop 38 Hình 3.6: Hệ thống sinh thái liệu Hadoop 39 Hình 3.7: Sơ đồ đọc ghi liệu lên HDFS hệ quản trị csdl Hbase 41 Hình 4.1: Mơ hình thể trình lấy liệu từ FanPage Facebook 44 lưu trữ vào MongoDB 44 Hình 4.2: Mơ hình liệu MySql 45 Hình 4.3: Mơ hình liệu lưu trữ vào csdl HBASE 46 Hình 4.4: Mơ hình mối quan hệ thành phần hệ thống gợi ý 50 dựa kỹ thuật lọc cộng tác 50 Hình 4.5: Kết hệ thống gợi ý 53 Hình 4.6: Giao diện cho phép người dùng đăng nhập vào hệ thống gợi ý 54 Hình 4.7: Giao diện trang web biểu sản phẩm đến người dùng 55 MỞ ĐẦU Tốc độ phát triển thương mại điện tử giới đặc biệt nước phát triển Việt Nam nay, mơ hình kinh doanh qua mạng ngày phổ biến khắp nơi Lượng sách, báo, tạp chí, tài liệu, hình ảnh, âm thanh, video, sản phẩm dịch vụ đăng tải lên mạng internet thông qua hệ thống giao dịch điện tử ngày khổng lồ dẫn đến tình trạng q tải thơng tin Lượng liệu q lớn gây khơng khó khăn cho người dùng việc đưa nên mua hay xem sản phẩm phù hợp với nhu cầu Nhằm hạn chế ảnh hưởng q trình q tải thơng tin người dùng thúc đẩy lĩnh vực nghiên cứu lọc thông tin Lọc thông thông tin loại bỏ thông tin không quan trọng cung cấp thơng tin thích hợp đến với người dùng Lọc thông tin xem phương pháp hiệu hạn chế tình trạng q tải thơng tin quan tâm Xuất phát từ nhu cầu thực tế hệ thống gợi ý đời, Hệ thống gợi ý (Recommender systems) phân lớp hệ thống lọc thông tin Hệ thống đưa gợi ý sản phẩm theo nhu cầu cá nhân người dùng dựa hành vi thực khứ, dựa tổng hợp ý kiến người dùng khác Hệ thống gợi ý đời góp phần mang lại lợi nhuận đáng kể cho mơ hình kinh doanh qua mạng, giúp cho sản phẩm doanh nghiệp trở nên hoàn thiện Một số website tiếng Amazon, Youtube, Ebay, Facebook … tích hợp hệ thống gợi ý mang lại hiệu cao như: Khả đưa dịch vụ cá nhân hóa, hướng tới đối tượng khách hàng cụ thể Tăng mức tín nhiệm trung thành khách hàng Tăng doanh thu Thêm hiểu biết khách hàng Hệ thống gợi ý trở thành lĩnh vực nghiên cứu quan trọng kể từ báo lọc cộng tác xuất vào năm 1990 Nội dung luận văn gồm bốn chương, Chương giới thiệu tổng quan ngữ cảnh hệ thống gợi ý trình bày phần đặt vấn đề toán, mục tiêu, phương pháp, ý nghĩa khoa học ý nghĩa thực tiễn Chương chương trình bày sơ lược hướng tiếp cận hệ thống gợi ý lọc dựa nội dung, lọc dựa kỹ thuật lọc cộng tác lọc kết hợp hai phương pháp Và trình bày nghiên cứu liên quan đến hệ thống gợi ý Tiếp theo nghiên cứu mô tả sở lý thuyết phương pháp lọc dựa kỹ thuật lọc cộng tác, phương pháp tính độ đo tương tự, khoảng cách người dùng Trong chương luận văn trình bày hướng tiệp cận dựa mối quan hệ đặc trưng tiềm ẩn Cuối chương vào tìm hiểu bước tính tốn thống gợi ý dựa hướng tiếp cận Apache Mahout Chương trình bày vấn đề xây dựng hệ thống xử lý liệu lớn môi trường Hadoop với liệu lưu trữ Hbase Chương tiến hành phân tích, thiết kế thực hệ thống gợi ý, cuối cung luận văn trình bày phương pháp đánh giá độ tin cậy hệ thống 48 postUser mã người đăng sản phẩm postMessage Nội dụng sản phẩm đăng postCreateDate Thời gian đăng định dạng kiểu ngày/tháng/năm giờ/giây/phút postPicture Hình ảnh sản phẩm postLink Liên kết đến website chứa nội dung đăng postName Tên đăng, nội dung đăng postDescription Mơ tả sản phẩm topicOriginal Chủ đề nguyên văn (nếu có) topicInference Chủ đề suy luận (nếu có) postLikeList Chứa danh sách userID thích sản phẩm Với quản lý từ facebook nên userID postId (còn gọi itemId) Mỗi userID thể cảm xúc, sở thích postId như: like, share, comment (theo hướng tích cực) Từ ta rút trích ta liệu thể mối quan hệ user-item, liệu biểu userID đánh giá thích lên itemID rút trích dựa vào danh sách postLikeList post thông qua postId Bảng 4.1: Mối quan hệ User Item userID itemID Preference 277806412380560 10154080606957769 392041370938064 10154080606957769 … … Dữ liệu thể mối quan hệ user item sau rút trích từ domain: foody, tiki, vinabook, lazada, fahasa có số lượng record sau: 49 Bảng 4.2: Số lượng Record Domain Domain Số lượng record Foody 425.713 Tiki 111.261 Vinabook 127.979 Lazada 160.827 Fahasa 46.716 Tổng cộng Domain 872.496 4.2.2 Thực nghiệm chương trình hệ thống gợi ý 4.2.2.1 Môi trường phần mềm sử dụng Luận văn sử dụng thư viện máy học Apache Mahout để xây dựng hệ thống gợi ý, ngơn ngữ sử dụng java Để tiến hành xây dựng hệ thống gợi ý cần cài đặt công cụ, môi trường thư viện sau: - Cài đặt thiết lập biến môi trường Java - Cài đặt NetBeans IDE 8.1 - Sử dụng thư viện Apache Mahout 0.9 - Hệ quản trị csdl cần cài đặt MongoDB 3.2.4 , MySql 5.7.13, Hbase 0.9 - Cài đặt Vmware Workstation 12.1 tiến hành cài đặt gói cloudera-quickstartvm-5.5.0 cấu hình sẳn hệ điều hành CentOS 6.4, Hadoop 2.6, Hbase 0.9, 50 4.2.2.2 Thực nghiệm xây dựng hệ thống gợi ý Hình 4.4: Mơ hình mối quan hệ thành phần hệ thống gợi ý dựa kỹ thuật lọc cộng tác Dữ liệu đầu vào tập liệu thể sở thích user item gồm ba trường user, item preferences hay gọi DataModel Hệ thống gợi ý xây dựng dựa DataModel tương tự (Similarly) user item để đưa gợi ý item đến user 4.2.2.2.1 Xây dựng hệ thống gợi ý dựa mối quan hệ người dùng (user-user) Giải thuật MahoutRecommenderUserBase giải thuật để lọc item có khả user thích để gợi ý đến user đó, dựa mối quan hệ user có sở thích khứ Ý tưởng giải thuật trình bày sau: 51 MahoutRecommenderUserBase Input: UserItemData (dữ liệu quan hệ thể yêu thích user item) Output: Recommend(Những item gợi ý cho User) Begin DataModel ←InitDataModel(UserItemData); UserSimilarity ← ComputeUserSimilarity(UserItemData); UserNieghborHood ←FindUserNeighBorhood (chooseNumber, UserSimilarity, UserItemData); Recommender ←GenericUserBasedRecommender (UserItemData, UserNieghborHood , UserSimilarity); End Trong giải thuật ComputeUserSimilarity dùng để tính độ tương tự user dựa độ đo LogLikelihoodSimilarity FindUserNeighBorhood dùng để tìm kiếm người dùng lân cận với user Và chooseNumber số truyền vào để lọc số lượng user lân cận với user xét 4.2.2.2.2 Xây dựng hệ thống gợi ý dựa mối quan hệ sản phẩm (item-item) Giải thuật MahoutRecommenderItemBase giải thuật để lọc item có khả user thích để gợi ý đến user đó, dựa mối quan hệ item có user đánh giá thích q khứ Ý tưởng giải thuật trình bày sau: ItemBasedRecommender Input: UserItemData (dữ liệu quan hệ thể yêu thích user item) 52 Output: Recommender (Những item gợi ý cho User) Begin DataModel ←InitDataModel(UserItemData ); ItemSimilarity ← ComputeItemSimilarity(UserItemData); Recommender ←GenericItemBasedRecommender (UserItemData, ItemSimilarity); End Trong giải thuật ComputeUserSimilarity dùng để tính độ tương tự item dựa độ đo LogLikelihoodSimilarity GenericItemBasedRecommender dựa UserItemData ItemSimilarity để đưa danh sách item gợi ý đến user 4.2.2.2.3 So sánh phương pháp gợi ý Việc mở rộng khả gợi ý với hướng tiếp cận dựa item user, có trường hợp hướng tiếp cận tốt hướng tiếp cận Trong trường hợp liệu có chứa item nhiều user hướng tiếp cận lọc dựa vào user tốt hơn, thời gian lọc nhanh ngược lại Gợi ý dựa vào item bắt đầu với danh sách item người dùng u thích, khơng cần item lân cận (láng giềng) giống hướng gợi ý dựa vào user làm 4.3 Kết đạt Danh sách sản phẩm itemID đề xuất cho người dùng userID dựa sở thích khứ người dùng đó, kết sau: 53 Hình 4.5: Kết hệ thống gợi ý Kết có ý nghĩa userID 4083492703755 tham gia vào hệ thống, hệ thống đưa gợi ý sản phẩm có itemID là: 758821794136781 Và userID 4101384948372 tham gia vào hệ thống hệ thống gợi ý cho user sản phẩm có itemID: 793135104038783, 793579063994387, 820065441345749 … 4.4 Giao diện hệ thống gợi ý sản phẩm Hệ thống gồm có chức đăng nhập/đăng xuất, like sản phẩm, link xem chi tiết thông tin sản phẩm, đặc biệt chức gợi ý sản phẩm đến người dùng sau đăng nhập thành công Header/Footer gồm link đến trang đăng nhập trang sản phẩm domain fahasa, foody, lazada, tiki, vinabook Chức đăng nhập vào hệ thống gợi ý: 54 Hình 4.6: Giao diện cho phép người dùng đăng nhập vào hệ thống gợi ý Sau đăng nhập thành công, hệ thống gợi ý sản phẩm đến người dùng họ hành vi sở thích họ lên sản phẩm khứ Ở trang web domain danh sách sản phẩm domain tương ứng, người dùng thích sản phẩm, link tới xem chi tiết sản phẩm, bấm nút “Xem thêm” để xem thêm sản phẩm Dưới hình ảnh chụp từ domain foody danh sách sản phẩm gợi ý đến người dùng: 55 Hình 4.7: Giao diện trang web biểu sản phẩm đến người dùng 56 4.5 Đánh giá kết độ xác thuật tốn Việc đánh giá hệ thống gợi ý giai đoạn cần thiết hiệu hệ thống gợi ý không phụ thuộc vào đặc điểm liệu mà cịn phụ thuộc vào mục đích gợi ý Nghĩa hệ thống gợi ý với giải thuật kết gợi ý có hiệu khác tập liệu khác Liên quan đến mục đích hệ thống, vài hệ thống gợi ý trọng đến tính đa dạng mục liệu danh sách gợi ý số khác lại trọng đến tính mục liệu Tùy thuộc vào đặc trưng liệu mục đích hệ thống gợi ý, phương pháp đánh giá khác sử dụng Ngồi ra, cịn phụ thuộc vào điều kiện để đánh giá hệ thống dựa vào liệu có sẵn để đánh giá (offline) hay triển khai hệ thống đánh giá trực tuyến (online) Trong luận văn đưa phương đánh giá dựa hành vi sở thích khứ người dùng tập người dùng 4.5.1 Đánh giá độ xác thuật tốn dựa người dùng Xóa giá trị user1 thích sản phẩm item101 Bảng 4.3: Dữ liệu thể việc xóa sở thích q khứ user1 item101 UserID itemID Preferences 101 1 102 1 103 101 102 103 104 101 104 105 57 107 101 103 104 106 101 102 103 104 105 106 Chạy thuật toán để kiểm định kết sau: user: RecommendedItem[item:104, value:1.0], RecommendedItem[item:101, value:1.0] Với K láng giềng ban đầu hệ thống gợi ý cho user1 −> item 104, sau xóa sở thích user1 thích item 101 khứ Hệ thống gợi ý lại user1 −> item 104 item 101(item xóa trước đó) Kết luận: Qua phương pháp đánh giá người dùng cụ thể ta thấy hệ thống gợi ý đến cho người dùng sản phẩm họ thích 4.5.2 Đánh giá độ xác thuật tốn tập liệu người dùng Tương tự phương pháp đánh giá dùng, ta tiếp tục kiểm tra đánh giá độ xác thuật tốn qua tập người dùng để ước tính độ xác từ hệ thống Để thực đánh giá ta tiến hành chọn ngẫu nhiên tập liệu để kiểm tra với bước thực sau: Bước 1: Chọn tập liệu A để kiểm tra cho liệu gồm user có lịch sử (là user có q khứ đánh giá thích lên item) Bước 2: Duyệt qua tất user user xóa record ta tập liệu B 58 Bước 3: Xây dựng hệ thống gợi ý cho liệu B đánh giá kết hệ thống thơng qua số record xóa bước mà bước đưa gợi ý Dựa kết ta xác định số phần trăm độ xác thuật tốn Chúng tơi vào kiểm tra độ xác tập liệu cụ thể bảng sau: Bảng 4.4: Bảng kết thực nghiệm Tập liệu đánh giá Số lượng user Số lượng item hệ thống gợi ý/tập số lượng mong muốn gợi ý Độ xác hệ thống Tập 100 76/100 76% Tập 500 369/500 ≈74% Tập 1000 657/1000 ≈66% Nhận xét kết quả: Sau tiến hành đánh giá độ xác thuật toán tập liệu ngẫu nhiên từ liệu thực tế lấy từ Fanpage Facebook Kết hệ thống gợi ý đưa với độ xác cao Với độ xác trung bình hệ thống là: ≈72% kết tốt 4.6 Kết luận chương Trong chương luận văn trình bày trình xử lý rút trích từ liệu để tìm mối quan hệ user item Tiến hành cài đặt chương trình kiểm tra kết liệu sau phân tích Cách tính độ tin cậy kết đạt được, phần quan trọng hệ thống gợi ý 59 KẾT QUẢ VÀ KIẾN NGHỊ Kết luận văn Luận văn xây dựng thành công hệ thống gợi ý theo sở thích người dùng dựa kỹ thuật lọc cộng tác Giải số vấn đề tồn động toán hệ thống gợi ý Luận văn trình bày bước thực tính tốn kỹ thuật lọc cộng tác dựa người dùng, cách tính tốn độ tương tự trực tiếp hai người dùng Đưa phương pháp giải vấn đề tình trạng liệu lớn hệ thống gợi ý Ngồi hướng tiếp cận luận văn xây dựng hệ thống gợi ý dựa mối quan hệ cộng tác người dùng, vào nghiên cứu xây dựng thêm hướng tiếp cận dựa mối quan hệ sản phẩm mối quan hệ đặc trưng tiềm ẩn so sánh phương pháp tiếp cận Luận văn đưa phương pháp đánh giá kết người dùng tập người dùng từ khẳng định độ tin cậy, tính xác hệ thống gợi ý Hạn chế hướng phát triển Do hạn chế thời gian nên luận văn có nhiều thiếu sót, hạn chế mong muốn phat triển như: Luận văn nêu phương pháp giải vấn đề xây dựng hệ thống gợi ý tình trạng liệu lớn phương pháp lưu trữ Hbase luận văn chưa cài đặt thành công Hướng phát triển tiếp tục cài đặt thuật tốn máy học tính tốn bên mơi trường Hadoop với liệu lưu trữ hệ quản trị csdl Hbase nhằm giải tình trạng Hướng tiếp cận mối quan hệ đặc trưng tiềm ẩn dừng mức tìm hiểu nghiên cứu Hướng phát triển tiếp tục cài đặt xây dựng hệ thống gợi ý theo hướng tiếp cận tiến hành so sánh kết với phương pháp khác, kết hợp hướng tiếp cận để xây dựng hệ thống gợi ý hồn chỉnh có độ xác tốt loại liệu 60 Chưa khai thác tối đa nguồn liệu thu thập từ fanpage facebook Hướng phát triển phân tích khai thác triệt để nguồn liệu thu thập về, để xây dựng hệ gợi ý hiệu quả, đáng tin cậy Luận văn nhiều định hướng mong muốn phát triển ta xét cảm xúc người, cung bật cảm xúc họ đối tượng mạng xã hội (một giới ảo) ngày trở nên gần giới thực Facebook ứng dụng điều đó, năm từ 2016 trước cảm xúc thể là: thích, khơng thích có thêm cảm xúc như: thích, yêu thích, vui, bất ngờ, buồn, phẫn nộ,…Luận văn mong muốn phát triển xâu vào phân tích cảm xúc người dùng để đưa kết gợi ý gần với nhu cầu người dùng Thương mại điện tử Việt Nam phát triển mạnh hệ thống gợi ý mở nhiều tiềm nghiên cứu, ứng dụng Hướng nghiên cứu tương lai kiểm nghiệm lại thuật toán dựa liệu lớn với loại sản phẩm phong phú đưa số cải tiến cho giải thuật nhằm giải vấn đề tồn động thuật toán 61 DANH MỤC TÀI LIỆU THAM KHẢO [1] Jure Leskovec Stanford Univ, Anand Rajaraman Milliway Labs and Jeffrey D Ullman Stanford Univ (2014), Mining of Massive Datasets [2] Badrul Sarwar, George Karypis, Joseph Konstan, and John Riedl (2001), “Itembased Collaborative Filtering Recommendation Algorithms” [3] Karzan Wakil, Rebwar Bakhtyar, Karwan Ali, and Kozhin Alaadin (2015), “Improving Web Movie Recommender System Based on Emotions”, IJACSA, Vol [4] Nguyễn Hùng Dũng, Nguyễn Thái Nghe (2014), “Hệ thống gợi Ý sản phẩm bán hàng trực tuyến sử dụng kỹ thuật lọc cộng tác”, Tạp Chí Khoa Học Trường Đại Học Cần Thơ, 31, Trang 36-51 [5] Peter Casinelli (2014), “Evaluating and Implementing Recommender Systems As Web Services Using Apache Mahout”, TOIS, Vol.22 [6] Alex Smola and S.V.N Vishwanathan (2010), Introduction to Machine Learning [7] Andrey Feuerverger, Yu He, Shashi Khatri (2012), “Statistical Significance of the Netflix Challenge”, STAT SCI , 27, pp 202-231 [8] Michael D Ekstrand, John T Riedl and Joseph A Konstan (2010), “Collaborative Filtering Recommender Systems”, Foundations and Trends R in Human–Computer Interaction, 4, pp 81-173 [9] Kasra Madadipouya (2015), “A Location-Based Movie Recommender System Using Collaborative Filtering”, IJFCST, Vol.5 [10] Jun Wang , Arjen P de Vries , Marcel J.T Reinders (2006), “Unifying User-based and Item-based Collaborative Filtering Approaches by Similarity Fusion” [11] Francesco Ricci, Lior Rokach, Bracha Shapira, Paul B Kanto (2011), Recommender Systems Handbook [12] Kirk Baker (2005), Singular Value Decomposition Tutorial 62 [13] Nguyễn Thái Nghe, Nguyễn Tấn Phong (2014), “Xây Dựng Hệ Thống Gợi Ý Bài Hát Dựa Trên Phản Hồi Tiềm Ẩn”, Tạp Chí Khoa Học Trường Đại Học Cần Thơ, 34, Trang 81-91 [14] Phạm Thị Hiên (2012), Lọc Cộng Tác Bằng Phương Pháp Đồng Huấn Luyện, Học viện Cơng nghệ Bưu Viễn thơng [15] Sean Owen, Robin Anil, Ted Dunning, Ellen Friedman (2012), Mahout In Action [16] Yifan Hu, Yifan Hu and Chris Volinsky (2008), “Collaborative Filtering for Implicit Feedback Datasets” [17] Yunhong Zhou, Dennis Wilkinson, Robert Schreiber and Rong Pan (2008), “Largescale Parallel Collaborative Filtering for the Netflix Prize” [18] Website http://tdunning.blogspot.com/2008/03/surprise-and-coincidence.html [19] Website https://comsysto.wordpress.com/2013/04/03/background-of-collaborative-filteringwith-mahout/ [20] Website https://vi.wikipedia.org/wiki/Giải_Thuật_k_hàng_xóm _gần_nhất [21] Website http://www.tutorialspoint.com/hbase/hbase_quick_guide.htm ... tiếp cận cho lọc cộng tác chia thành hai kỹ thuật chính: kỹ thuật lọc cộng tác dựa vào nhớ kỹ thuật lọc cộng tác dựa vào mô hình So với phương pháp lọc theo nội dung, kỹ thuật lọc cộng tác cho lại... tế hệ thống gợi ý đời, Hệ thống gợi ý (Recommender systems) phân lớp hệ thống lọc thông tin Hệ thống đưa gợi ý sản phẩm theo nhu cầu cá nhân người dùng dựa hành vi thực khứ, dựa tổng hợp ý kiến... pháp kỹ thuật lọc cộng tác nhầm nâng cao kết dự đoán nhu cầu người dùng hệ thống gợi ý Và nghiên cứu tập trung vào việc xây dựng hệ thống gợi ý trường hợp liệu lớn Để thực mục tiêu xây dựng hệ thống