Đang tải... (xem toàn văn)
Bài toán khai thác thông tin về sản phẩm từ WebBài toán khai thác thông tin về sản phẩm từ WebBài toán khai thác thông tin về sản phẩm từ WebBài toán khai thác thông tin về sản phẩm từ WebBài toán khai thác thông tin về sản phẩm từ WebBài toán khai thác thông tin về sản phẩm từ WebBài toán khai thác thông tin về sản phẩm từ WebBài toán khai thác thông tin về sản phẩm từ WebBài toán khai thác thông tin về sản phẩm từ WebBài toán khai thác thông tin về sản phẩm từ WebBài toán khai thác thông tin về sản phẩm từ WebBài toán khai thác thông tin về sản phẩm từ WebBài toán khai thác thông tin về sản phẩm từ Web
án t t nghi p i Phòng M CL C DANH SÁCH CÁC HÌNH 11 11 12 12 15 17 17 1.7 .19 19 20 21 21 21 22 24 .24 .28 31 35 .35 36 36 37 .38 39 43 43 49 51 52 53 .53 53 .54 55 56 56 3.5.5 Giao 57 Nguy CT1301 án t t nghi p i Phòng 58 Nguy CT1301 án t t nghi p i Phòng DANH SÁCH CÁC HÌNH c th c hi n trình khám phá tri th c 10 n Khám phá tri th c CSDL 11 kh i Kh i truy v n 13 kh m c 14 Hình2.1:Hình minh h a phân c m d li u 19 Hình2.2: Hình d ng c m d li c b i k-means 25 c s d ng b i thu t toán BIRCH 28 Hình 2.4:Các c m d li c khám phá b i CURE 30 Hình 2.5: Hình minh h a phân c m OPTICS 33 Hình 2.6:Hình minh h a DENCLUE v i hàm phân ph i Gaussian .34 Hình 3.1: Bi Use Case t ng quan 37 Hình 3.2: Bi ca s d p nh 39 Hình 3.3: Bi ca s d 39 Hình 3.4: Bi ca s d 41 Hình 3.5: Bi tu n t th c thi ca s d p nh t nhóm s n ph .44 Hình 3.6: Bi c ng tác th c thi ca s d p nh t nhóm s n ph 44 Hình 3.7: Bi tu n t th c thi ca s d p nh t lo is n ph 45 Hình 3.8: Bi c ng tác th c thi ca s d p nh t lo is n ph .45 Hình 3.9: Bi tu n t th c thi ca s d p nh t s n ph .46 Hình 3.10: Bi c ng tác th c thi ca s d p nh t s n ph 46 Hình 3.11: Bi tu n t th c thi ca s d p nh .47 Hình 3.12: Bi c ng tác th c thi ca s d p nh 47 Hình 3.13: Bi tu n t th c thi ca s d p nh t thơng s tìm ki 48 Hình 3.14: Bi c ng tác th c thi ca s d p nh t thơng s tìm ki 48 p nh .49 Hình 3.16: Bi tu n t th c thi ca s d 49 Hình 3.17: Bi c ng tác th c thi ca s d 50 .50 Hình 3.19: Bi tu n t th c thi ca s d 51 Hình 3.20: Bi c ng tác th c thi ca s d 51 51 Hình 3.22: Mơ hình l p thi t k h th ng 52 Hình 3.23 Giao di n c 53 Hình 3.24: Giao di n c p nh t s n ph m 53 Hình 3.25: Giao di n c p nh t lo i s n ph m 54 Hình 3.26: Giao di n c p nh t nhóm s n ph m 55 Nguy CT1301 án t t nghi p i Phòng Hình 3.27: Giao di n tìm ki m thông tin s n ph m .56 Nguy CT1301 án t t nghi p i Phòng DANH SÁCH B NG BI U B ng 3.1: B nh ch p v c a h th ng 36 B ng 3.2: B nh tác nhân c a h th ng .37 B ng 3.3: B ng mô t ca s d ng tác nhân 38 B ng 3.4: B ng mô t ca s d ng c p nh t nhóm s n ph m 39 B ng 3.5: B ng mô t ca s d ng c p nh t lo i s n ph m 40 B ng 3.6: B ng mô t ca s d ng c p nh t s n ph m 40 B ng 3.7: B ng mô t ca s d ng câp nh t Search Engine 41 B ng 3.8: B ng mô t ca s d ng c p nh t thơng s tìm ki m 41 B ng 3.9: B ng mô t ca s d ng tìm ki m 42 B ng 3.10: B ng mô t ca s d ng báo cáo 43 Nguy CT1301 án t t nghi p i Phòng GI I THI U Web kho tài nguyên d li u kh ng l , không ng ng v i t cao Ngày nhi u thông tin cu c s , Internet ch a nhi u thơng tin có giá tr ho nc ng nói chung, ng s n xu t kinh doanh nói riêng.Xu t phát t th c t pháp nào? Chúng ta có th khai thác thơng tin t ,v ph c v cu c s ng Hi n có nhi u cơng trình nghiên c Internet Xu t phát t toán th c t ho i, li u có s n ph m thơng qua nh n xét c dùng Internet? t tốn khó c n k t h p nhi u ki n th c quy t toán ph m t gi i quy i gi i tài: s n Khóa lu n t p trung tìm hi u lý thuy t liên quan nh m ph n cv t M t h th ng t ng h p thông tin t thông tin c n v s n ph , h th n s n ph m c có th h tr doanh nghi p có thêm m t kênh thơng tin v s n ph m th ng H th c mô t i dùng nh p thu t ng v thông tin s n Nh p thông tin s n ph m: ph m vào ô thông tin s n ph m c th ng tr v thông tin s n ph m mà h th ng khai thác, phân lo i, th c thơng qua máy tìm ki m Tìm ki m thơng tin:H th ng d a vào thông tin s n ph m vào g i vào máy tìm ki tìm Ý ki c nh p i dùng s n ph mho c Xu ng H tr ánh giá:K t qu tr v t máy tìm ki kê thơng tin c n thi t v s n ph m nh i, th ng m nh n c a i tiêu dùng i v i s n ph Báo cáo:H th n báo cáo v ý ki n c i s d ng s n ph m b ng s li u theo chuyên môn Nguy CT1301 án t t nghi p i Phòng Giao di n h th ng:H th ng có giao di n thân thi n, thu n l i i qu n lý tv trên, khóa lu c trình bày Gi i thi u: Gi i thi u chung v toán ph m vi c a khóa lu n lý thuy th c hi n khóa lu n Trình bày ki n th Internet tr giúp ho n tốn tìm ki m thơng tin ng kinh doanh Trình bày ph n phân tích thi t k m t ng d ng mang tính ch t th nghi m K t lu n Tài li u tham kh o Nguy CT1301 án t t nghi p i Phòng LÝ THUY T 1.1 Khai phá d li u m k thu c áp d t th p niên tr l Các c th a k t c c ph n l d li u,h c máy, trí tu nhân t o, lý thuy t thông tin, xác su t th ng kê, phát tri n nhanh c a Khai phá d li u v ph m vi áp tính tốn hi d m tri th c, v Khai phá d li u Tuy nhiên, m t m c tr Khai phá d li u m khác ng nh nh, theo [1] khái ni m : Khai phá d li u m t q trình tìm ki m, phân tích, phát hi n tri th c m i, ti m n, h u d ng c khai phá d li u, có nhi ts ng nghiên c u c nhi u nhà nghiên c u quan tâm Khai phá d li u k d li u l n n,Web, Trích ch n thơng tin, Phân tích m ng xã h i, m, Phân tích d li u kinh t - tài chính, Khai phá d li u sinh h c, yt Khóa lu n n vi c tìm hi u xây d ng h th ng th ng nh m khai thác thông tin s n ph i tiêu th trang web i tiêu dùng có mua, s d ng s n ph m h c m nh s n ph ng c m nh n v s n ph Bài toán mà khóa lu n tìm cách gi i quy t tìm cách khai thác thơng tin v m t s n ph m c th , th n ph m th ng ph c v cho công tác kh o sát t s khái ni c s d ng Thông tin s n ph m: Là thơng tin mơ t v ngu n g c, tính ch t lý hóa tính, cơng d ng chính, giá thành, màu s c, hình dáng, thu t, c, a s n ph m Nguy CT1301 án t t nghi p i Phòng Ý ki ph i dùng ph n ánh v s n i dùng s n ph m: c th hi n qua t b n, r , t, thu n ti n, ti t ki m, p, phong phú, ng, t mà, m n, c m: X u, kém, mau h ng, hàng gi , hàng nhái, v s n ph m qua t , giá mà, c n, ph i, ng: Là t ph c th hi n mong mu n t , n mong mu n c i dùng v s n ng t t ho c x u ho c không thi n c m ng t n ph m t t ng x n ph m x u ng không thi n c ng không khen, không chê s n ph m i mua ho i tiêu dùng: i s d ng s n ph m ho i có nh mua hay s d ng s n ph m có g i thơng tin lên Internet i h th ng i dùng: i qu n tr : i có nhi m v qu n lý h th ng Máy tìm ki m:Các c máy tìm ki m thơng tin Internet: Google, Yahoo, Bing, S n ph m: Là t t c m th c tiêu th th ng bao g m c Khai phá d li u c có liên quan th ng kê, h c máy, tính tốn phân tán, n nhi u ngành khác d li u, thu t tốn, mơ hình hóa d li M c tiêu c a khai phá d li u khám phá tri th c t c h p có th Trích ch n d li u: phá t h c chia thành m t s CT1301 n [3][4]: c trích nh ng b d li u c th ng d c khám li u (databases, data warehouses, data u theo m t s tiêu chí nh Nguy tr quy t nh án t t nghi p i Phòng Ti n x lý d li u:B c làm s ch d li u (x lý nh ng d li th a, nhi u, v.v.), rút g n d li u (áp d ng thu t toán l y m u, v.v.), r i r c hóa d li u K t qu d li u s nh rút g Bi c c r i r c hóa i d li u: c chu n hóa d li u, tinh ch nh d li li u v d ng chu giúp k thu t khai phá d li u c sau Khai phá d li u: Áp d ng nh ng k thu t phân tích nh ch n thông tin, nh ng m i liên h c bi t c a d li u trích c r t quan tr ng c n nhi u tài ngun nh t c a tồn b q trình khai phá trin th c bi u di n tri th c: Các m u tin quan h gi a chúng c rút trích sát c mã hóa bi u di n theo d ng d quan th , cây, b ng bi u, lu t, v.v cho nhà qu n tr quy n c cung c p thông tin nh c th hi n tr : Hình 1.1: Nguy CT1301 10 án t t nghi p i Phòng Hình 3.5 Bi c ng tác th c thi ca s d ng Hình 3.6 Nguy CT1301 44 án t t nghi p 3.3.2.2 Ca s d Bi i Phòng p nh t lo i s n ph m tu n t th c thi ca s d ng Hình 3.7 Bi c ng tác th c thi ca s d ng Hình 3.8 3.3.2.3 Ca s d Bi Nguy p nh t s n ph m tu n t th c thi ca s d ng CT1301 45 án t t nghi p i Phòng Hình 3.9 Bi c ng tác th c thi ca s d ng Hình 3.10 Nguy CT1301 46 án t t nghi p 3.3.2.4 Ca s d Bi i Phòng p nh t Search engine tu n t th c thi ca s d ng Hình 3.11 Bi c ng tác th c thi ca s d ng Hình 3.12: Nguy CT1301 47 án t t nghi p 3.3.2.5 Ca s d Bi i Phòng p nh t thơng s tìm ki m tu n t th c thi ca s d ng Hình 3.13 Bi c ng tác th c thi ca s d ng Hình 3.14 Nguy CT1301 48 án t t nghi p i Phòng 3.3.2.6 Mơ hình phân tích gói ca s d p nh t Hình 3.15 3.3.3 Phân tích gói ca s d ng m 3.3.3.1 Ca s d ng Nh n l nh tìm ki m Bi tu n t th c thi ca s d ng Hình 3.16 Nguy CT1301 49 án t t nghi p Bi i Phòng c ng tác th c thi ca s d ng Hình 3.17 3.3.3.2 Mơ hình phân tích gói ca s d Tìm ki m Hình 3.18 Nguy CT1301 50 án t t nghi p i Phòng 3.3.4 Phân tích gói ca s d ng 3.3.4.1 Ca s d Bi L p báo cáo tu n t th c thi ca s d ng Hình 3.19 Bi c ng tác th c thi ca s d ng Hình 3.20 3.3.4.2 Mơ hình phân tích gói ca s d Hình 3.21 Nguy CT1301 Báo cáo Báo cáo 51 án t t nghi p i Phòng Hình 3.22 Nguy CT1301 52 án t t nghi p i Phòng t b ng ngơn ng l p trình C# d ng h qu n tr u SQL 2008 3.5.1 Giao di n c Hình 3.23 Giao di n c Giao di n cung c p thông tin c c hi n công vi c 3.5.2 Giao di n c p nh t s n ph m Hình 3.24: Giao di n c p nh t s n ph m Giao di Nguy cm t CT1301 n ph n 53 án t t nghi p i Phòng Khi c p nh t s n ph m c n ch n tên nhóm t t p tên s n ph i s n ph m n ph m s n ph m nh p s n ph m m i Nh n chu t ph i vào lo i s n ph m , ch ch u mu n xóa s n ph m, u mu n s a s n ph m 3.5.3 Giao di n c p nh t lo i s n ph m Hình 3.25: Giao di n c p nh t lo i s n ph m Giao di cg it i s n ph n Khi c p nh t lo i s n ph m c n ch n tên nhóm s n ph m t nh p tên lo i s n ph i s n ph thêm m t lo i m i Nh n chu t ph i vào lo i s n ph m , ch ph m, ch Nguy u mu n xóa nhóm s n u mu n s a lo i s n ph m CT1301 54 án t t nghi p i Phòng 3.5.4 Giao di n c p nh t nhóm s n ph m Hình 3.26: Giao di n c p nh t nhóm s n ph m Giao di cg it giao di n Khi c p nh t nhóm s n ph m c n nh thêm nhóm m i Nh n chu t ph i vào nhóm s n ph m , ch ph m, ch Nguy u mu n xóa nhóm s n u mu n s a nhóm s n ph m CT1301 55 án t t nghi p i Phòng 3.5.5 Giao di n tìm ki m thơng tin s n ph m Hình 3.27: Giao di n tìm ki m thông tin s n ph m nh p s k t qu tìm ki m mong mu n Ch n nhóm s n ph m t ph m t n tên lo i s n ph m t n ph s n ph ns n s a n Nh b Ch n chu i tìm ki m i tìm ki xem k t qu th ng kê cho chu i tìm ki m kh i giao di n tr v giao di n 3.5.6 K t qu c a - i quy ki c - cv s n ph m web c ch C p nh t, thêm m k t qu tìm ki m Cho phép tìm ki Có ch Nguy tìm v s n ph m, chu i tìm ki m, ng hi n th s CT1301 56 án t t nghi p i Phòng K T LU N tài tìm ki m thơng tin s n ph m Web m t công vi c r t thú v Nó th hi n r t rõ vi c áp d ng công ngh k t qu cao Khóa lu c khác s i t m t s k t qu Trình bày khái ni cho vi c hi u rõ toán c c khai phá d li u t c gi i quy Khóa lu n t ng h p m t s thu c khai phá d li u phân tích,thi t k , xây d a ng d ng tìm ki m thơng tin s n ph m Web, nh m giúp nhà qu n lý quy s n ph m ho c nhóm s n ph m h V i cách trình bày t khái ni ki m thông tin s n ph m Web nh tri n khai th nh t ng n cách th c xây d ng h th ng tìm b sung nhi u ki n th c liên n th c t ngh nghi p Nguy CT1301 57 án t t nghi p i Phòng TÀI LI U THAM KH O Ti ng Vi t [1] Hà Quang Th y, Phan Xuân Hi u - - Nguyên Trí Thành Nguy n Thu Trang - Nguy n C m Tú, Giáo trình khai phá d li u web, NXBGDVN, 2009, 313 tr ng, Khai phá d li u, NXB TT-TT, 2012, 320 tr Ti ng Anh [3] W Bruce Croft,Donald Metzler,Trevor Strohman, Search Engines: Information Retrieval in Practice,Addison-Wesley, 2008,524p [4] Alan Rea, Data Mining An Introduction The Parallel Computer Centre, Nor of Th [5] Jiawei Han and Micheline Kamber, Data Mining:Concepts andTechniques, Hacours Science and Technology Company, USA, 2005 [6] Usama M Fayyad, Gregory Piatetsky-Shapiro, Padhraic Smyth, and Ramasamy Uthurusamy, Advances in Knowledge Discovery and Data Mining, AAAI Press- The MIT Press, 1996 [7] Jiawei Han and Micheline Kamber (2001), Data Mining: Concepts and Techniques, Hacours Science and Technology Company, USA [8] J.Han, M.Kamber and A.K.H Tung (2002), Spatial Clustering Methods in Data mining: A Survey, Simon Fraster University, Canada Nguy CT1301 58 ... (Patitional), h thu t toán phân c m phân c p (Hierachical), h thu t toán phân c m d i thu : thu t toán phân c m d a m c , thu t toán phân c m d a 2.5.1 H thu t toán phân ho ch H thu t toán phân c m phân... kênh thơng tin v s n ph m th ng H th c mô t i dùng nh p thu t ng v thông tin s n Nh p thông tin s n ph m: ph m vào ô thông tin s n ph m c th ng tr v thông tin s n ph m mà h th ng khai thác, phân... ng b n tin thông tin thu n ti n cho vi c l y l i n i dung sau Ví d thơng tin sau tìm ki m: WebsiteID SearchID 97 Url 26 Content Vanphongphamt2.com WebsiteID mã c a trang Web ch a b n tin th a