Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Phiếu Giao Nhiệm Vụ Đồ Án Tốt Nghiệp Thông tin sinh viên Họ tên sinh viên: Lê Minh Nghĩa Điện thoại liên lạc: 0936 073 986 Lớp: Công Nghệ Phần Mềm K51 Email: nghia.fit@gmail.com Hệ đào tạo: Đại học Đồ án tốt nghiệp thực môn CNPM, viện Công Nghệ Thông Tin Truyền Thông, Đại Học Bách Khoa Hà Nội Thời gian làm ĐATN: Từ ngày 1/ /2011 đến 28 / /2011 Mục đích nội dung ĐATN Nghiên cứu luật kết hợp ứng dụng để khai phá liệu mạng xã hội chia sẻ đồ vật MiGi Các nhiệm vụ cụ thể ĐATN - Nghiên cứu nắm vững lý thuyết thuật toán luật kết hợp - Xây dựng mạng xã hội chia sẻ đồ vật MiGi - Xây dựng mơ hình khai phá liệu cho mạng xã hội chia sẻ đồ vật MiGi Lời cam đoan sinh viên: Tôi – Lê Minh Nghĩa - cam kết ĐATN công trình nghiên cứu thân tơi hướng dẫn kĩ sư Hoàng Anh Việt Các kết nêu ĐATN trung thực, chép tồn văn cơng trình khác Hà Nội, ngà 28 tháng năm 2011 Tác giả ĐATN Lê Minh Nghĩa Xác nhận giáo viên hướng dẫn mức độ hoàn thành ĐATN cho phép bảo vệ Hà Nội, ngày 28 tháng năm 2011 Giáo viên hướng dẫn Thạc Sỹ Hoàng Anh Việt Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Lời cảm ơn Em xin gửi lời cảm ơn chân thành tới thầy cô viện công nghệ thông tin truyền thông thầy cô trường đại học Bách Khoa Hà Nội, người truyền thụ cho em kiến thức quý báu trình học tập nghiên cứu trường Đó điều kiện vô quan trọng giúp em trưởng thành vững vàng lĩnh vực chun mơn chọn Đặc biệt, em xin gửi lời cảm ơn tới thạc sĩ Hoàng Anh Việt- giáo viên trực tiếp hướng dẫn em Thầy giành quan tâm bảo tận tình, ln động viên khích lệ em vươn lên học tập sống “Mọi ước mơ trở thành thực”, lời nói thầy, điều em khắc ghi để không ngừng nỗ lực vươn tới ước mơ, khát khao xa hơn, lớn sống! Tinh cảm yêu mến gia đình bạn bè ln nguồn động lực tinh thần to lớn giúp em vững vàng sống Có thể lúc đó, chặng đường em không phẳng, đầy gian nan thử thách tranh đấu Nhưng em biết trái tim người u thương, ln cho em bình yên để nghỉ ngơi để tiếp tục tiến phía trước Hà Nội ngày 28 tháng năm 2011 Sinh viên Lê Minh Nghĩa Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Tóm Tắt Nội Dung Đồ Án Tốt Nghiệp Mạng xã hội dần trở thành phần khơng thể thiếu sống đại Nó mang đến cho người hội kết nối cách dễ dàng, để chia sẻ sở thích, thói quen suy nghĩ Mạng xã hội trở thành kho liệu số ghi lại nhiều khía cạnh khác sống người Và hội to lớn để công cụ phân tích liệu phân tích tìm thơng tin hữu ích từ người dùng Nhờ giúp cho website trở nên thông minh hơn, mang lại cho người dùng nhiều trải nghiệm tốt hơn, thơng kê phân tích hữu ích cho quản lý kinh doanh Trong đồ án tốt nghiệp này, người viết luận văn tập trung nghiên cứu luât kết hợp- lĩnh vực ứng dụng rộng rãi Data Mining Đề từ góp phần tìm thói quen chia sẻ đồ vật người dùng mạng chia sẻ đồ vật-MiGi Nhằm làm cho hệ thống gợi ý thơng minh hơn, giúp người chia sẻ dễ dàng tìm người thực cần đồ vật cho Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Abtract Thesis Social Network becomes gradually the indispensable thing in the modern life It brings the opportunity for people to connect easily, to share their interests, habits, and thoughts… Social Network has become a huge digital database to record many different aspects of each users s’ life It is also the great chance for data analytic tools to discover useful information of users It makes website more intelligent, give better experience for users, and also useful analytic and statistic for business and management In this thesis, author concentrates on Association Rules- one of the most important areas in Data Mining With purpose is to find sharing habits in the object sharing network-MiGi It makes system more intelligent in suggestion functions, supports offering people find easily the person that really need the object they shared Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Mục Lục Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Danh mục kí hiệu chữ viết tắt STT 10 11 12 13 14 15 16 Từ Viết Tắt NVLV CSDL DB DHP PHP FP Tree Association Rules Item ItemSet K Item Set Support Count Min Sup Confidence Min Conf Frequent Itemset Transaction Giải nghĩa Người viết luận văn Cơ sở liệu Database Direct Hashsing and Pruning Perfect Hashing and Pruning Frequent Pattern Tree Luật kết hợp Mục Tập mục Tập K mục Độ hộ trợ Độ hộ trợ tối thiểu Độ tin cậy Độ tin cậy tối thiểu Tập mục thường xuyên Giao dịch Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Danh mục bảng Bảng3.2.Thông tin đăng ký Bảng3.3 Mơ tả tính đăng nhập Bảng3.4 Mơ tả thơng tin đăng nhập Bảng3.4 Mơ tả tính hiển thị danh sách đồ vật chia sẻ Bảng3.5 Mơ tả tính tạo offer Bảng3.6 Mô tả thông tin tạo đồ vật Bảng3.7 Mơ tả tính xem thơng tin đồ vật Bảng3.8 Mơ tả tính hiển thị danh sách request cộng đồng Bảng 3.9 Mơ tả tính tạo request Bảng3.10 Mơ tả tính tạo request Bảng 3.11 Bảng mô tả bảng liệu tbl_Account Bảng 3.12 Bảng mô tả bảng liệu tbl_Offer Bảng 3.13 Bảng mô tả bảng liệu tbl_Request Bảng 3.14 Bảng mô tả bảng liệu tbl_RequestGiftTransaction Bảng 3.15 Bảng mô tả bảng liệu tbl_GiftRequestTransaction Bảng 3.16 Bảng mô tả bảng liệu tbl_Category Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Danh mục hình vẽ đồ thị Hình 2.1 Bảng liệu mẫu cho ví dụ Hình 2.2 Ví dụ tìm tập mục thường xun Hình 2.3: Code mẫu thuật tốn Apriori Hình 2.4 Ví dụ minh hoạt xây dựng FP Tree Hình 3.1 Sơ đồ Use Case cho người dùng thơng thường Hình 3.2 Sơ đồ use case cho nhóm người tổ chức từ thiện Hình 3.3 Sơ đồ use case cho nhóm người dùng admin Hình 3.4 Kiến trúc tổng thể hệ thống Hình 3.5 Sơ đồ phụ thuộc package hệ thống/ Hình 3.6: Sơ đồ liên kết lớp hệ thống Hình 3.7 Biều đồ diễn tiến chức đăng ký Hình 3.8 Biểu đồ diễn tiến chức đăng nhập Hình 3.9 Biểu đồ diễn tiến chức Offer Hình 3.10 Biểu đồ diễn tiến chức tạo request đồ vật Hình 3.11 Biểu đồ diễn tiến cho chức hiển thị danh sách offer đồ vật Hình 3.12 Biểu đồ diễn tiến cho chức hiển thị danh sách request đồ vật Hình 3.13 Biểu đồ diễn tiến cho chức request tới đồ vật chia sẻ Hình 3.14 Biểu đồ diễn tiến cho chức offer đồ vật cho request Hình 3.15 Sơ đồ thiết kế database Hình 3.16: Sơ đồ Database phân tích Hình 3.17: Quy trình xử lý liệu để phân tích Hình 3.17:Sơ đồ lớp module phân tịch luật Apriori Hình 3.18:Sơ đồ lớp module phân tích luật PHP Hình 5.19:Sơ đồ lớp module phân tích luật FP Tree Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Mở đầu Quản lý hiệu liệu mục tiêu khởi nguồn quan trọng cho đời phát triển hệ thống thông tin quản lý Các hệ thống thông tin quản lý ngày sử dụng rộng rãi hoạt động sống Từ hệ thống lớn cho ngân hàng, siêu thị, hệ thống quản lý cho nhà hàng, cửa hiệu… Và liệu bùng nổ với phát triển phổ biến hệ thống thông tin quản lý Giờ quản lý hiệu liệu khơng cịn mục tiêu mà cần phải biết khai thác hiệu liệu lưu trữ Đó nguyên nhân cho phát triển mạnh mẽ lĩnh vực nghiên cứu data mining thập niên gần Luật kết hợp lĩnh vực data mining áp dụng rộng rãi nhiều lĩnh vực khác Nó phát triển xuất phát từ yêu cầu thực tế người ta cần tìm quy luật mối quan hệ sản phẩm mua bán siêu thị Các quy luật có ý nghĩa đối việc marketing giới thiệu sản phẩm cho khách hàng, hay đơn giản bố trị vị trí gian hàng gần cho hợp lý Một người mua máy tính thường mua kèm phần mềm diệt virus, thay để cách xa nhau, họ xếp hai gian hàng gần Như hội cho khách mua đồng thời hai sản phẩm cao nhiều Trong đồ án tốt nghiệp này, NVLV áp dụng thuật toán luật kết hợp vào hệ thống mạng chia sẻ đồ vật người viết luật văn xây dưng với mong muốn tìm quy luật cho hoạt động chia sẻ đồ vật Từ có gợi ý thơng minh cho người dùng, giúp trình tìm kiếm đồ vật dễ dàng Mạng chia sẻ đồ vật web site cho phép người dùng đưa thông tin đồ vật mà người dùng khơng cịn cần dùng Và người cần tới chúng sử dụng mạng chia sẻ để dễ dàng liên lạc với người cho Đó dự án người viết luật văn xây dựng để tham gia thi Imagine Cup 2011 Microsoft tổ chức Với mục tiêu tạo cộng đồng giúp đỡ lẫn phục vụ cho mục tiêu thiên niên kỉ xóa đói giảm nghèo bảo vệ môi trường Bố cục đề tài tốt nghiệp NVLV gồm phần sau: • Chương 1: Trình bày vai trị mạng xã hội với toán khai phá liệu Lợi ích từ việc khai thác liệu mạng chia sẻ đồ vật MiGi Đồng thời trình bày lý thuyết luật kết hợp Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Chương 2: Trình bày giải thuật luật kết hợp, kỹ thuật cài đặt xử lý • Chương 3: Thiết kế cài đặt mạng chia sẻ đồ vật phục vụ việc phân tích liệu • Chương 4: Các kết đạt • Lê Minh Nghĩa-Lớp Cơng Nghệ Phần Mềm K51 10 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Qt tồn database để tính độ hỗ trợ cho mục, đồng thời xếp giảm dần theo độ hỗ trợ • Xây dựng từ tập giao dịch • Tiến hành duyệt để tìm tập mục thường xun • b Thiết kế lớp Hình 5.19:Sơ đồ lớp module phân tích luật FP Tree 3.5 Bộ liệu để chạy thử tảng công nghệ sử dụng 3.5.1 Dữ liệu chạy thử Dữ liệu để test hệ thống liệu hoat động mua bán xe đạp phụ tùng xe đạp tập đoàn Adventurework tập đoàn Microsoft cung cấp Các đặc điểm liệu : • Có 31465 giao dịch • Tổng số lượng sản phẩm giao dịch :121317 • Số sản phẩm: 504 • Số category : • Các loại category: + Xe đạp : bikes + Các phận cấu thành: components + Quần áo: clothing + Đồ phụ kiện : vd bơm xe đạp • Có 37 Subcategory: Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 52 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội • • • • • • • • + Có subcategory thuộc category xe đạp: + Có 14 subcategory thuộc nhóm phận xe đạp + Có subcategory thuộc nhóm đồ quần áo cho người xe đạp + Có 12 subcategory thuộc nhóm phụ kiện Có 266 loại sản phẩm giao dịch tổng sổ 31465 hóa đơn Tất 266 sản phẩm giao dịch phân loại Trong có: + 97 sản phẩm xe đạp + 111 sản phẩm phụ tùng xe đạp + 34 sản phẩm đồ quần áo cho người xe đạp + 24 sản phẩm phụ kiện cho người xe đạp Một hóa đơn có từ : 72 sản phẩm Có 21209 giao dịch có từ hai sản phẩm mua Trung bình giao dịch có sản phẩm Giao dịch từ 21 sản phẩm chiếm: 94.3% số giao dịch Số giao dịch mua sản phẩm chiếm tỉ lệ cao nhất: 8452 sản phẩm Số giao dịch có từ 21 sản phẩm chiếm 1254 giao dịch 3.5.2 Nền tảng công nghệ sử dụng Chương trình cài đặt sử dụng công cụ công nghệ sau: - SQL Server 2008 - NET 4.0 - Visual C# 4.0 - Visual Studio 2010 Kết chương ba: Trong chương vừa NVLV trình bày phần sau: • Tổng quan hệ thống • Phân tích u cầu hệ thống • Thiết kế tổng thể hệ thống • Thiết kế sở liệu • Thiết kế module gợi ý phân tích tìm luật kết hợp Trong chương NVLV trình bày kết đạt cài đặt hệ thống Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 53 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Chương 4: Các kết đạt 4.1 Các tính hệ thống 4.1.1 Tính offer đồ vật Tính Offer đồ vật hai tính hệ thống: cho phép người dùng gửi thông tin đồ vật mà chia sẻ Hình 4.1Tính tạo offer đồ vật 4.1.2 Tính xem thơng tin Offer, vị trí địa lý Người dùng xem danh sách Offer đồ vật mà cộng đồng chia sẻ, xem thơng tin chi tiết đồ vật Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 54 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Hình 4.2 Xem thơng tin đồ vật mà cộng đồng chia sẻ Khi người dùng kich vào đồ vật xem thơng tin chi tiết đồ vật, tìm vị trí đồ vật chia sẻ Hình 4.3 Tính xem thông tin chi tiết đồ vật Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 55 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội 4.1.3 Tính tạo request- yêu cầu xin đồ vật Tương tự tính Offer đồ vật, người dùng tạo request họ cần đồ vật Từ chia sẻ cho cộng đồng, người có nhu cầu chia sẻ liên hệ Hình 4.4 Tính tạo request- yêu cầu 4.1.4 Tính gợi ý đồ vật Khi người dùng cho đồ vật, người dùng gợi ý đồ vật thuộc category, thành phố… Để người dễ dàng tìm người cần tới đồ vật cho Lê Minh Nghĩa-Lớp Cơng Nghệ Phần Mềm K51 56 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Thì hệ thống gợi ý cho người dùng người dùng cần tới nói: Hình 4.5 Tính gợi ý đồ vật Do hệ thống chạy, nên chưa thể có đủ liệu để khai phá tìm luật kết hợp xác Ở NVLV áp dụng thuật toán cho liệu mẫu mà trình bày phần tính Lê Minh Nghĩa-Lớp Cơng Nghệ Phần Mềm K51 57 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội 4.1.5 Tính hiển thị danh sách kiện từ thiện Bên cạnh tính chia sẻ đồ vật, hệ thống cịn cung cấp tính cho phép tổ chức từ thiện tạo kiện để thu nhận đóng góp cộng đồng Hình 4.6 Tính nănghiện thị kiện từ thiện 4.1.6 Tính đóng góp đồ vật cho kiện từ thiện Người dùng xem kiện từ thiện đóng góp đồ vật mà chia sẻ cho kiện Người tổ chức nhận đồ vật Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 58 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Hình 4.7 Tính donate cho kiện từ thiện 4.2 Các kết đạt phân tích liệu mẫu Do hệ thống xây dựng, liệu phần nhiều tự tạo, có khối lượng nhỏ, mà quan trọng khơng phản ánh quy luật thực tế Vì liệu hệ thống khơng thể đáp ứng u cầu cho tốn phân tích luật kết hợp Như nói trên, người viết luật văn sử dụng liệu mẫu hoạt động mua bán xe đạp để test thử Dưới người viết luận văn xin trình bày số kết đạt từ q trình phân tích liệu a Đánh giá hiệu thuật tốn Đồ thị mơ tả hiệu thuật toán kiểm tra với dư liệu 21 nghìn giao dịch khoảng 254 mục(item) loại Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 59 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Biểu đồ 1: Biểu đồ so sánh hiệu thuật toán Qua đồ thị ta nhận thấy, tăng độ hộ trợ từ 0.5% lên 3% thời gian ba thuật toán giảm dần, dần tiệm cận Qua ta thấy với thuật toán FP Tree tốt hẳn so với thuật toán khác, độ hỗ trợ thấp thuật toán hoạt động Trong thuật tốn Apriori hoạt động với hiệu tương đối thấp b Một số luật rút từ thuật toán Qua khai thác ta rút số luật từ sở liệu: {Mountain-100 Black, 44}=>{Half-Finger Gloves, M} {Mountain-100 Silver, 42}=>{ Half-Finger Gloves, M } { Mountain-100 Silver, 42}=>{ LL Road Handlebars } { Mountain-100 Silver, 42, Half-Finger Gloves, M }=>{ Men's Sports Shorts, S} { Mountain-100 Silver, 42 }=>{ Men's Sports Shorts, M, Racing Socks, M} { Mountain-500 Black, 48 , LL Mountain Pedal }=>{ ML Mountain Front Wheel } Kết chương bốn: Trong chương người viết luận văn trình bày vấn đề: • • Các kết đạt cài đặt triển khai mạng chia sẻ đồ vật MiGi Một số kết đạt chạy thử thuật toán kết hợp liệu mẫu Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 60 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Kết luận hướng phát triển Khai phá luật kết hợp lĩnh vực quan tâm khai phá liệu Nó có ý nghĩa cao việc thống kê phân tích liệu Và ứng dụng rộng rãi nhiều lĩnh vực khác thương mại điện tử, y tế, phân tích thị trường… Nó sở để xây dựng hệ thống tiếp thị hiệu hơn, giúp hoạch định kế hoạch tiêp thị tốt hơn, hay giúp điều tra làm rõ liên hệ nhân tố khác lĩnh vực Trong đồ án tốt nghiệp này, người viết luật văn tập trung vào việc nghiên cứu lý thuyết thuật toán luật kết hợp để áp dụng cho mơ hình mạng xã hội chia sẻ đồ vật MiGi Tác giả triển khai mạng xã hội chia sẻ đồ vật, nghiên cứu thuật toán luật kết hợp, áp dụng thuật toán luật kết hợp liệu mẫu, đưa đánh giá thuật toán Những kết thu trình làm đồ án tiền đề quan trọng để tác giả tiếp tục hoàn thiện phát triển hệ thống sau Trong tác giả tập trung vào giải hai vấn đề quan trọng là: tiền xử lý liệu tăng cường hiệu hệ thống: Đối với vấn đề tiền xử lý liệu: cần phải kết hợp với xử lý ngôn ngữ tự nhiên để tiền hành chuẩn hóa liệu, gạt bỏ câu từ, liệu khơng hợp lệ • Đối với vấn đề hiệu hệ thống: việc xử lý lượng lớn liệu thách thức không đơn giản Trong tương lai cần phải tính tới việc sử dụng mơ hình xử lý liệu phân tán map reduce, cloud cumputing Để lưu trữ xử lý hiệu liệu • Luật kết hợp nói riêng khai thác liệu nói chung lĩnh vực phát triển mạnh mẽ tương lai Nhất kỉ nguyên điện toán đám mây, mà liệu truy xuất từ nơi Từ giúp tìm quy luật ẩn dấu sau khối liệu ghi nhận, mang lại tri thức ý nghĩa cho hoạt động người Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 61 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Danh mục tài liệu tham khảo Han, J., Kamber, M., Data Mining: Concepts and Techniques, The Morgan Kaufmann Series in Data Management Systems Zaki, M.J., (2000), Generating Non-Redundant Association Rules, Proceedings of the sixth ACM SIGKDD international conference on Knowledge discovery and data mining, pp 34 – 43 Website: http://www.msdn.com Website: http://www.jquery.com Website: http://www.asp.net/mvc Website: http://www.facebook.com/developer Website:http://code.google.com Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 62 ... tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Mục Lục Lê Minh Nghĩa-Lớp Công Nghệ Phần Mềm K51 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Danh mục kí... K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Chương 2: Trình bày giải thuật luật kết hợp, kỹ thuật cài đặt xử lý • Chương 3: Thiết kế cài đặt mạng chia sẻ đồ vật phục vụ việc phân tích liệu. .. Chương 4: Các kết đạt • Lê Minh Nghĩa-Lớp Cơng Nghệ Phần Mềm K51 10 Đồ án tốt nghiệp K51 Ứng dụng luật kết hợp phân tích liệu mạng xã hội Chương 1: Bài toán khai phá liệu từ mạng xã hội Trong chương