Đang tải... (xem toàn văn)
Xây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tácXây dựng Hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tác
1 MỞ ĐẦU Tốc độ phát triển thương mại điện tử giới đặc biệt nước phát triển Việt Nam nay, mô hình kinh doanh qua mạng ngày phổ biến khắp nơi Lượng sách, báo, tạp chí, tài liệu, hình ảnh, âm thanh, video, sản phẩm dịch vụ đăng tải lên mạng internet thông qua hệ thống giao dịch điện tử ngày khổng lồ dẫn đến tình trạng tải thông tin Lượng liệu lớn gây không khó khăn cho người dùng việc đưa nên mua hay xem sản phẩm phù hợp với nhu cầu Nhằm hạn chế ảnh hưởng trình tải thông tin người dùng thúc đẩy lĩnh vực nghiên cứu lọc thông tin Lọc thông thông tin loại bỏ thông tin không quan trọng cung cấp thông tin thích hợp đến với người dùng Lọc thông tin xem phương pháp hiệu hạn chế tình trạng tải thông tin quan tâm Xuất phát từ nhu cầu thực tế hệ thống gợi ý đời, Hệ thống gợi ý (Recommender systems) phân lớp hệ thống lọc thông tin Hệ thống đưa gợi ý sản phẩm theo nhu cầu cá nhân người dùng dựa hành vi thực khứ, dựa tổng hợp ý kiến người dùng khác 2 CHƯƠNG - TỔNG QUAN 1.1 Giới thiệu tổng quan 1.1.1 Tổng quan hệ thống gợi ý Hệ thống gợi ý (Recommender Systems - RS) hệ thống có khả tự động phân tích, phân loại, lựa chọn cung cấp cho người dùng thông tin, sản phẩm hay dịch vụ mà người dùng quan tâm dựa hành vi qua khứ người dùng Hệ thống gợi ý dạng hệ thống lọc thông tin (information filtering), sử dụng để dự đoán sở thích (preference) hay xếp hạng (rating) mà người dùng dành cho mục thông tin (item) mà họ chưa xem xét tới khứ (item báo, phim, đoạn video clip, sách, ) nhằm gợi ý mục thông tin “có thể quan tâm” người dùng Hệ thống gợi ý đưa gợi ý dựa trình thu thập, xử lý phân tích liệu từ người dùng Dữ liệu chia làm loại tường minh (explicit) cách yêu cầu người dùng phản hồi trực tiếp tiềm ẩn (implicit) cách tự động suy luận dựa tương tác người dùng với hệ thống như: số lần nhấp chuột, thời gian quan sát Trong hầu hết trường hợp, toán gợi ý coi toán dự đoán sở thích người dùng sản phẩm Việc dự đoán thường dựa đánh giá có người dùng khác có sở thích với họ Ví dụ, sản phẩm đưa gợi ý sản phẩm có độ tương tự sở thích với người dùng cao dùng để gợi ý [1] 3 1.1.2 Bài toán Hệ thống gợi ý đề tài nóng, nhận nhiều quan tâm từ xã hội, toán mà hầu hết doanh nghiệp, trang web thương mại điện tử phải đối mặt: làm để biết sở thích nhân người dùng? Từ đưa gợi ý sản phẩm mà họ thật quan tâm, tìm kiếm khơi gợi nguồn cảm hứng tiềm ẩn từ sản phẩm đến họ lượng liệu khổng lồ Đã có nhiều nghiên cứu đưa thuật toán, phương pháp với mong muốn đem lại kết tốt cho hệ thống gợi ý, bên cạnh hệ thống gợi ý gặp phải tình trạng, vấn đề cần phải giải tiếp tục nghiên cứu làm rõ như: Làm để gợi ý sản phẩm dựa mối quan hệ cộng tác Tình trạng liệu lớn khiến thao tác liệu cách truyền thống Vấn đề độ xác kết thuật toán, vấn đề liệu thưa thớt, … Luận văn đề xuất “xây dựng hệ thống gợi ý theo sở thích người dùng dưạ kỹ thuật lọc cộng tác” để góp phần giải số vấn đề, tình trạng tồn động lọc thông tin hệ thống gợi ý Tập liệu đầu vào dựa nguồn liệu thu thập từ fanpage tiki, fahasa, foody, lazada, vinabook với hoạt động like, share, bình luận sản phẩm (theo hướng tích cực) để xây dụng mối quan hệ người dùng sản phẩm Kết đưa sản phẩm gợi ý tương thích với sở thích người dùng 1.2 Mục tiêu phương pháp luận văn Mục tiêu luận văn nghiên cứu, áp dụng số phương pháp pháp kỹ thuật lọc cộng tác nhầm nâng cao kết dự đoán nhu cầu người dùng hệ thống gợi ý Và nghiên cứu tập trung vào việc xây dựng hệ thống gợi ý trường hợp liệu lớn Để thực mục tiêu xây dựng hệ thống gợi ý theo sở thích người dùng kỹ thuật lọc cộng tác cần đặt số mục tiêu chi tiết sau: Dựa nguồn liệu thu thập từ fanpage tiki, fahasa, foody, lazada, vinabook Xây dựng ma trận quan hệ người dùng sản phẩm Dữ liệu sau tiền xử lý lưu trữ Hbase phù hợp cho việc lưu trữ liệu lớn, cấu trúc Với tập liệu có tiến hành tính toán độ tương tự người dùng để từ dựa mối quan hệ tương tự hệ thống đề xuất sản phẩm, luận văn sử dụng độ đo tương tự LogLikelihood để đo độ tương tự hai người dùng Sau áp hệ thống chọn K láng giềng gần (K người dùng có độ tương tự lớn nhất) 5 Hệ thống tìm kiếm người dùng có tương tự lịch sử từ đề xuất sản phẩm có khả yêu thích họ có sở thích Đánh giá kết sau đạt 1.3 Ý nghĩa khoa học thực tiễn luận văn Ý nghĩa khoa học: Luận văn nghiên cứu trình bày bước trình đưa dự doán gợi ý sản phẩm đến người dùng, yếu tố ảnh hưởng đến chất lượng, nhằm cải thiện kết gợi ý sản phẩm phù hợp với yêu cầu thực tế người dùng Luận văn đề xuất xây dựng hệ thống gợi ý liệu lớn để đáp ứng nhu cầu tình trạng tải thông tin trang thương mại điện tử, mạng xã hội Ý nghĩa thực tiễn: Nhu cầu thực tiễn hệ thống gợi ý hỗ trợ hiệu việc tìm kiếm sản phẩm cần thiết thực tế kết hợp việc tìm hiểu hành vi người dùng, mang lại hiệu cao nhiều lĩnh vực quảng cáo, marketing 1.4 Kết luận chương CHƯƠNG - CƠ SỞ LÝ THUYẾT 2.1 Giới thiệu Hệ thống gợi ý 2.1.1.Lọc dựa nội dung (Content-based filtering) Hệ thống đưa gợi ý sản phẩm tương đồng với sản phẩm người dùng thích khứ [1] Sự tương đồng sản phẩm tính toán dựa tính so sánh hai sản phẩm 2.1.2.Lọc dựa kỹ thuật lọc cộng tác (Collaborative filtering) Lọc cộng tác gợi ý sản phẩm yêu thích người có độ tương quan phù hợp [1] Hình 1.2: Sơ đồ gợi ý sản phẩm hướng tiếp cận lọc dựa kỹ thuật lọc cộng tác 2.1.3.Phương pháp lọc kết hợp (Hybrid) 2.1.4.Các nghiên cứu liên quan 2.2 Hệ thống gợi ý dựa kỹ thuật lọc cộng tác theo hướng tiếp cận người dùng (user-user Collaborative Filtering Recommender Systems) 2.3 Các phương pháp tính độ đo tương tự hệ thống gợi ý 2.3.1.Khoảng cách Jaccard 2.3.2.Khoảng cách Cosine 2.3.3.Làm tròn liệu 2.4 Hệ thống gợi ý Apache Mahout 2.4.1.Hướng tiếp cận cộng tác dựa vào người dùng 2.4.1.1 Độ tương tự LogLikelihood Log-likelihood tương tự Jaccard, tương tự Tanimoto Similarity nhiên xem phương pháp tính toán thông minh Hình 2.4: Mô hình thể hai người dùng có sở thích [19] Sự kiện A Bất kỳ, trừ A Sự kiện B A & B xảy ra(k_11) B xảy (k_12) Bất kỳ, trừ A xảy (k_21) Cả A B không xảy B (k_22) 2.4.1.2 K – Láng giềng gần (K-Nearest Neighbors K-NN) 2.4.1.3 Các bước thực xây dựng hệ thống gợi ý Apache Mahout dựa mối quan hệ lọc cộng tác người dùng Chuẩn bị liệu Dữ liệu đầu vào format theo dạng (user_id, item_id, preference) Các bước thực Bước 1: Nạp liệu, Mahout hỗ trợ DataModel để nạp tương tác liệu, sử dụng lệnh[15]: DataModel model = new GenericBooleanPrefDataModel(); Bước 2: Để tìm người dùng tương tự sở thích với UserSimilarity similarity = new LogLikelihoodSimilarity(model); Bước 3: Xác định người dùng tương tự để tận dụng cho việc gợi ý UserNeighborhood neighborhood = new NearestNUserNeighborhood (totalNeighbor, userSimilarity, model) [15]; Trong totalNeighbor số lượng user lân cận muốn xét userSimilarity người dùng tương tự sở thích với nhau, kết tính bước Bước 4: Đây bước cuối tạo liệu gợi ý[15] 9 Recommender recommender = new GenericUserBasedRecommender (model, neighborhood, similarity); Tiến hành thực thao tác tính toán sỡ liệu test Tạo liệu input Test, liệu thể UserID có thích ItemID UserID itemID Preferences 101 1 102 1 103 101 102 103 104 101 104 105 107 101 103 104 106 101 102 10 103 104 105 106 Bước 1: Nạp liệu vào hệ thống Item 101 Item 102 Item 103 User x x x User x x x User x User x User x Item 104 Item 106 Item 107 x x x Item 105 x x x x x x x x x Bước 2: Tính độ đo tương tự user n với user tính sau: Giữa userID thứ i (i từ đến n) itemID thứ j (j từ đến n) có dấu “x” thể userID i có thích sản phẩm thứ itemID j, ngược lại userID i itemID j rỗng chúng chưa có mối quan hệ Dựa vào công thức tính Log-likelihood ta tính kết bảng sau: Tính độ tương tự user với user 11 user Mọi thứ, trừ user user Mọi thứ, Trừ user rowEntropy = 7*log(7) - 4*log(4) - 3*log(3) = 4,78 columnEntropy = 7*log(7) - 3*log(3) - 4*log(4) = 4,78 matrixEntropy = 7*log(7) - 3*log(3) - 1*log(1) - 0*log(0) - 3*log(3) = 7,029 logLikelihoodRatio = * (rowEntropy + columnEntropy – matrixEntropy) = * (4,78 + 4,78 – 7,029) = 5,062 Log-likelihood = − 1+logLikelihoodRatio Item 101 Item 102 Item 103 User x x x User x x x User x User x User x Item 104 Item 105 1+5.062 Item 106 = 0.84 Item 107 Độ đo tương tự với user1 0.90 x x x =1− x x x x 0.84 x x x 0.55 x 0.16 x 0.55 12 Bước 3: xếp kết theo thứ tự đọ đo tương tự với user giảm dần Item 101 Item 102 Item 103 User x x x User x x x User x User x User x x Item 104 Item 105 Item 106 Item 107 Độ đo tương tự với user 0.90 x 0.84 x x x x x x x x 0.55 x 0.55 x 0.16 Với hệ số UserNeighborhood 2, tương đương với việc ta quan tâm đến user có độ tương tự gần giống user nhất, cụ thể ví dụ user2 user3 Bước 4: Dự đoán hệ thống gợi ý Dựa vào bảng ta thấy rằng, có item gợi ý cho user là: item104, item105 item107 có item104 user2 user3 thích Vậy hệ thống gợi ý item104 cho user1 user: RecommendedItem[item:104, value:1.0] 13 Tương tự hệ thống tính toán gợi ý cho user1 usern 2.4.2.Hướng tiếp cận lọc cộng tác dựa vào mối quan hệ đặc trưng tiềm ẩn 2.4.2.1 Bình phương tối thiểu luân phiên (ALS – Alternating least square) 2.4.2.2 Lọc cộng tác dựa vào mối quan hệ tiềm ẩn mahout với hadoop Các bước thực Bước 1: Chuẩn bị liệu Bước 2: Xác định thông số Bước 3: Chạy thuật toán ALS Bước 4: Đề xuất gợi ý 2.5 Kết luận chương 14 CHƯƠNG - HỆ THỐNG XỬ LÝ DỮ LIỆU LỚN TRÊN HADOOP 3.1 Tổng quan Apache Hadoop 3.1.1.Giới thiệu Hadoop 3.1.2.Khái niệm Hadoop Hadoop Apache framework mã nguồn mở viết java, cho phép xử lý phân tán tập liệu lớn cụm máy tính thông qua mô hình lập trình đơn giản Hadoop thiết kế để mở rộng quy mô từ máy chủ đơn sang hàng ngàn máy tính khác có tính toán lưu trữ cục Thư viện phần mềm Apache Hadoop framework cho phép phân phối liệu lớn cụm máy tính sử dụng mô hình lập trình đơn giản Nó thiết kế để mở rộng quy mô từ máy chủ đơn đến hàng ngàn máy tính khác, cung cấp tính toán lưu trữ cục cho máy 3.1.3.Thành phần Hadoop Apache Hadoop nguồn gốc để quản lý truy cập liệu, bao gồm thành phần là: HDFS MapReduce 3.1.4.Hệ thống sinh thái liệu Hadoop 3.2 Tổng quan Apache Hbase Cơ chế lưu trữ HBase Tính Hbase Một số lệnh 3.3 Kết luận chương 15 CHƯƠNG – THIẾT KẾ VÀ HIỆN THỰC 4.1 Thiết kế luồng thực thi công việc Hệ thống gợi ý sử dụng ba hệ quản trị csdl sau: MongoDB, MySql, Hbase Đầu tiên liệu lấy lưu trữ MongoDB với dạng file chưa có quan hệ, sau tiến hành phân tích liệu MongoDB để tìm mối quan hệ người dùng sản phẩm (user-item) liệu sau phân tích lưu trữ csdl MySql để dễ dàng lưu trữ, cập nhật, quản lý Dữ liệu sau tiền xử lý lưu trữ Hbase phù hợp cho việc lưu trữ liệu lớn, cấu trúc Dữ liệu lưu trữ vào csdl MongoDB: Hình 4.1: Mô hình thể trình lấy liệu từ FanPage Facebook lưu trữ vào MongoDB Dữ liệu thu thập từ FanPage Facebook lưu trữ csdl MongoDB để tiến hành phân tích tìm mối quan hệ user item chuẩn bị cho việc xử lý 16 Dữ liệu lưu trữ vào csdl MySql: Dữ liệu sau phân tích cần thiết kế bố trí lưu trữ MySql để phù hợp phần liệu lấy Thiết kế mô hình lưu trữ liệu sau: Hình 4.2: Mô hình liệu MySql Mô hình thể tổng quát trình lưu trữ liệu MySql sau phân tích từ liệu từ MongoDB Gồm thực thể USER nơi lưu trữ thông tin người dùng, ITEM nơi lưu trữ thông tin sản phẩm, LIKELIST nơi lưu trữ danh sách người dùng thể sở thích lên sản phẩm, RECOMMENDATIONLIST nơi lưu trữ danh sách sản phẩm gợi ý đến người dùng sau hệ thống tính toán ý bên Hadoop Framework trả kết 17 Dữ liệu lưu trữ vào csdl Hbase: Như trình bày phần 3.2, HBase hệ quản trị csdl Hadoop Đây giải pháp tốt cho việc xử lý liệu lớn, với môi trường tính toán phân tán xử lý song song mang lại thời gian thực thi nhanh Hình 4.3: Mô hình liệu lưu trữ vào csdl HBASE Dữ liệu LIKELIST import vào Hbase để phục vụ cho việc xử lý tính toán hệ thống gợi ý kết sau tính toán export trả file RECOMMENDATIONLIST nơi chứa kết sau thực thi thuật toán máy học Mahout 4.2 Thực nghiệm 4.2.1.Phần xử lý liệu Hệ thống xây dựng gợi ý dựa liệu thu thập từ fanpage facebook như: tiki, fahasa, foody, lazada, vinabook 18 Dữ liệu lấy khoảng thời gian từ 13 tháng năm 2016 đến ngày 04 tháng 05 năm 2016 với tổng số lượng người dùng (user) : 321880 người với tổng số lượng sản phẩm (item) : 48615 sản phẩm 4.2.2.Thực nghiệm chương trình hệ thống gợi ý 4.2.2.1 Môi trường phần mềm sử dụng - Cài đặt thiết lập biến môi trường Java - Cài đặt NetBeans IDE 8.1 - Sử dụng thư viện Apache Mahout 0.9 - Hệ quản trị csdl cần cài đặt MongoDB 3.2.4 , MySql 5.7.13, Hbase 0.9 - Cài đặt Vmware Workstation 12.1 tiến hành cài đặt gói cloudera-quickstart-vm-5.5.0 cấu hình sẳn hệ điều hành CentOS 6.4, Hadoop 2.6, Hbase 0.9, 4.2.2.2 Thực nghiệm xây dựng hệ thống gợi ý 4.2.2.2.1 Xây dựng hệ thống gợi ý dựa mối quan hệ người dùng (user-user) Giải thuật MahoutRecommenderUserBase giải thuật để lọc item có khả user thích để gợi ý đến user đó, dựa mối quan hệ user có sở thích khứ Ý tưởng giải thuật trình bày sau: MahoutRecommenderUserBase Input: UserItemData (dữ liệu quan hệ thể yêu thích user item) 19 Output: Recommend(Những item gợi ý cho User) Begin DataModel ←InitDataModel(UserItemData); UserSimilarity ← ComputeUserSimilarity(UserItemData); UserNieghborHood ←FindUserNeighBorhood (chooseNumber, UserSimilarity, UserItemData); Recommender ←GenericUserBasedRecommender (UserItemData, UserNieghborHood , UserSimilarity); End Trong giải thuật ComputeUserSimilarity dùng để tính độ tương tự user dựa độ đo LogLikelihoodSimilarity FindUserNeighBorhood dùng để tìm kiếm người dùng lân cận với user Và chooseNumber số truyền vào để lọc số lượng user lân cận với user xét 4.2.2.2.2 Xây dựng hệ thống gợi ý dựa mối quan hệ sản phẩm (item-item) 4.2.2.2.3 So sánh phương pháp gợi ý 4.3 Kết đạt Danh sách sản phẩm itemID đề xuất cho người dùng userID dựa sở thích khứ người dùng đó: 20 Hình 4.5: Kết hệ thống gợi ý 4.4 Giao diện hệ thống gợi ý sản phẩm Hệ thống gồm có chức đăng nhập/đăng xuất, like sản phẩm, link xem chi tiết thông tin sản phẩm, đặc biệt chức gợi ý sản phẩm đến người dùng sau đăng nhập thành công Hình 4.6: Giao diện cho phép người dùng đăng nhập vào hệ thống gợi ý 21 Hình 4.7: Giao diện trang web biểu sản phẩm đến người dùng 22 4.5 Đánh giá kết độ xác thuật toán 4.5.1 Đánh giá độ xác thuật toán dựa người dùng 4.5.2 Đánh giá độ xác thuật toán tập liệu người dùng Để thực đánh giá ta tiến hành chọn ngẫu nhiên tập liệu để kiểm tra với bước thực sau: Bước 1: Chọn tập liệu A để kiểm tra cho liệu gồm user có lịch sử (là user có khứ đánh giá thích lên item) Bước 2: Duyệt qua tất user user xóa record ta tập liệu B Bước 3: Xây dựng hệ thống gợi ý cho liệu B đánh giá kết hệ thống thông qua số record xóa bước mà bước đưa gợi ý Dựa kết ta xác định số phần trăm độ xác thuật toán Kiểm tra độ xác tập liệu cụ thể bảng sau: Bảng 4.4: Bảng kết thực nghiệm Tập Số Số lượng item hệ thống Độ liệu đánh lượng gợi ý/tập số lượng mong muốn xác hệ giá user gợi ý thống Tập 100 76/100 76% Tập 500 369/500 ≈74% Tập 1000 657/1000 ≈66% Với độ xác trung bình hệ thống là: ≈72% kết tốt 4.6 Kết luận chương 23 KẾT QUẢ VÀ KIẾN NGHỊ Kết luận văn Luận văn xây dựng thành công hệ thống gợi ý theo sở thích người dùng dựa kỹ thuật lọc cộng tác Giải số vấn đề tồn động toán hệ thống gợi ý Luận văn trình bày bước thực tính toán kỹ thuật lọc cộng tác dựa người dùng, cách tính toán độ tương tự trực tiếp hai người dùng Đưa phương pháp giải vấn đề tình trạng liệu lớn hệ thống gợi ý Ngoài hướng tiếp cận luận văn xây dựng hệ thống gợi ý dựa mối quan hệ cộng tác người dùng, vào nghiên cứu xây dựng thêm hướng tiếp cận dựa mối quan hệ sản phẩm mối quan hệ đặc trưng tiềm ẩn so sánh phương pháp tiếp cận Luận văn đưa phương pháp đánh giá kết người dùng tập người dùng từ khẳng định độ tin cậy, tính xác hệ thống gợi ý Hạn chế hướng phát triển Do hạn chế thời gian nên luận văn có nhiều thiếu sót, hạn chế mong muốn phat triển như: Luận văn nêu phương pháp giải vấn đề xây dựng hệ thống gợi ý tình trạng liệu lớn phương pháp lưu trữ Hbase luận văn chưa cài đặt thành công Hướng phát 24 triển tiếp tục cài đặt thuật toán máy học tính toán bên môi trường Hadoop với liệu lưu trữ hệ quản trị csdl Hbase nhằm giải tình trạng Hướng tiếp cận mối quan hệ đặc trưng tiềm ẩn dừng mức tìm hiểu nghiên cứu Hướng phát triển tiếp tục cài đặt xây dựng hệ thống gợi ý theo hướng tiếp cận tiến hành so sánh kết với phương pháp khác, kết hợp hướng tiếp cận để xây dựng hệ thống gợi ý hoàn chỉnh có độ xác tốt loại liệu Chưa khai thác tối đa nguồn liệu thu thập từ fanpage facebook Hướng phát triển phân tích khai thác triệt để nguồn liệu thu thập về, để xây dựng hệ gợi ý hiệu quả, đáng tin cậy Luận văn nhiều định hướng mong muốn phát triển ta xét cảm xúc người, cung bật cảm xúc họ đối tượng mạng xã hội (một giới ảo) ngày trở nên gần giới thực Facebook ứng dụng điều đó, năm từ 2016 trước cảm xúc thể là: thích, không thích có thêm cảm xúc như: thích, yêu thích, vui, bất ngờ, buồn, phẫn nộ,…Luận văn mong muốn phát triển xâu vào phân tích cảm xúc người dùng để đưa kết gợi ý gần với nhu cầu người dùng DANH MỤC TÀI LIỆU THAM KHẢO [...]... gợi ý Luận văn cũng trình bày các bước thực hiện tính toán trong kỹ thuật lọc cộng tác dựa trên người dùng, cách tính toán độ tương tự trực tiếp giữa hai người dùng Đưa ra phương pháp giải quyết vấn đề tình trạng dữ liệu lớn trong hệ thống gợi ý Ngoài hướng tiếp cận chính của luận văn là xây dựng hệ thống gợi ý dựa trên mối quan hệ cộng tác giữa các người dùng, chúng tôi còn đi vào nghiên cứu xây dựng. .. được gợi ý thống Tập 1 100 76/100 76% Tập 2 500 369/500 ≈74% Tập 3 1000 657/1000 ≈66% Với độ chính xác trung bình của hệ thống là: ≈72% đây là một kết quả khá tốt 4.6 Kết luận chương 4 23 KẾT QUẢ VÀ KIẾN NGHỊ Kết quả của luận văn Luận văn đã xây dựng thành công hệ thống gợi ý theo sở thích của người dùng dựa trên kỹ thuật lọc cộng tác Giải quyết được một số vấn đề đang tồn động trong bài toán của hệ thống. .. FindUserNeighBorhood dùng để tìm kiếm những người dùng lân cận với một user Và chooseNumber là số được truyền vào để lọc ra số lượng user lân cận với user đang xét 4.2.2.2.2 Xây dựng hệ thống gợi ý dựa trên mối quan hệ giữa các sản phẩm (item-item) 4.2.2.2.3 So sánh các phương pháp gợi ý 4.3 Kết quả đạt được Danh sách các sản phẩm itemID được đề xuất cho người dùng userID dựa trên sở thích trong quá khứ của người dùng. .. đoán của hệ thống gợi ý Dựa vào bảng trên ta thấy rằng, chỉ có 3 item có thể gợi ý cho user 1 đó là: item104, item105 và item107 nhưng trong đó chỉ có duy nhất item104 là được user2 và user3 cùng thích Vậy hệ thống sẽ gợi ý item104 cho user1 user: 1 RecommendedItem[item:104, value:1.0] 13 Tương tự hệ thống tính toán và gợi ý cho user1 usern 2.4.2.Hướng tiếp cận lọc cộng tác dựa vào mối quan hệ đặc... 4.5: Kết quả của hệ thống gợi ý 4.4 Giao diện hệ thống gợi ý sản phẩm Hệ thống gồm có các chức năng như đăng nhập/đăng xuất, like sản phẩm, link xem chi tiết về thông tin sản phẩm, và đặc biệt là chức năng gợi ý sản phẩm đến người dùng sau khi đăng nhập thành công Hình 4.6: Giao diện cho phép người dùng đăng nhập vào hệ thống gợi ý 21 Hình 4.7: Giao diện trang web biểu hiện sản phẩm đến người dùng 22 4.5... Xây dựng hệ thống gợi ý cho dữ liệu B và đánh giá kết quả hệ thống thông qua số record đã xóa ở bước 2 mà được bước 3 đưa ra gợi ý Dựa trên kết quả ta xác định số phần trăm độ chính xác của thuật toán Kiểm tra độ chính xác trên các tập dữ liệu cụ thể như bảng sau: Bảng 4.4: Bảng kết quả thực nghiệm Tập dữ Số Số lượng item được hệ thống Độ chính liệu đánh lượng gợi ý/ tập số lượng mong muốn xác của hệ. .. thống gợi ý dựa trên mối quan hệ giữa các người dùng (user-user) Giải thuật MahoutRecommenderUserBase là giải thuật để lọc ra những item có khả năng user sẽ thích để gợi ý đến user đó, dựa trên mối quan hệ của các user có cùng sở thích trong quá khứ Ý tưởng giải thuật được trình bày như sau: MahoutRecommenderUserBase Input: UserItemData (dữ liệu quan hệ thể hiện sự yêu thích của user đối với item) 19 Output:... đặt xây dựng hệ thống gợi ý theo hướng tiếp cận này và tiến hành so sánh kết quả với các phương pháp khác, kết hợp các hướng tiếp cận để xây dựng một hệ thống gợi ý hoàn chỉnh có độ chính xác tốt nhất đối với mọi loại dữ liệu Chưa khai thác tối đa nguồn dữ liệu thu thập về từ các fanpage facebook Hướng phát triển phân tích khai thác triệt để nguồn dữ liệu được thu thập về, để xây dựng một hệ gợi ý hiệu... lý dữ liệu Hệ thống xây dựng gợi ý dựa trên dữ liệu thu thập được từ các fanpage trên facebook như: tiki, fahasa, foody, lazada, vinabook 18 Dữ liệu được lấy trong khoảng thời gian từ ngày ngày 13 tháng 4 năm 2016 đến ngày 04 tháng 05 năm 2016 với tổng số lượng người dùng (user) là : 321880 người và với tổng số lượng sản phẩm (item) là : 48615 sản phẩm 4.2.2.Thực nghiệm chương trình hệ thống gợi ý. .. trường trên Java 6 - Cài đặt NetBeans IDE 8.1 - Sử dụng thư viện Apache Mahout 0.9 - Hệ quản trị csdl cần cài đặt MongoDB 3.2.4 , MySql 5.7.13, Hbase 0.9 - Cài đặt Vmware Workstation 12.1 và tiến hành cài đặt gói cloudera-quickstart-vm-5.5.0 đã được cấu hình sẳn hệ điều hành CentOS 6.4, Hadoop 2.6, Hbase 0.9, 4.2.2.2 Thực nghiệm xây dựng hệ thống gợi ý 4.2.2.2.1 Xây dựng hệ thống gợi ý dựa trên mối ... nghiệm xây dựng hệ thống gợi ý 4.2.2.2.1 Xây dựng hệ thống gợi ý dựa mối quan hệ người dùng (user-user) Giải thuật MahoutRecommenderUserBase giải thuật để lọc item có khả user thích để gợi ý đến... hướng tiếp cận lọc dựa kỹ thuật lọc cộng tác 2.1.3.Phương pháp lọc kết hợp (Hybrid) 2.1.4.Các nghiên cứu liên quan 2.2 Hệ thống gợi ý dựa kỹ thuật lọc cộng tác theo hướng tiếp cận người dùng (user-user... pháp kỹ thuật lọc cộng tác nhầm nâng cao kết dự đoán nhu cầu người dùng hệ thống gợi ý Và nghiên cứu tập trung vào việc xây dựng hệ thống gợi ý trường hợp liệu lớn Để thực mục tiêu xây dựng hệ thống