Môn Học Hệ Hỗ Trợ Quyết Định Khoa Khoa Học Máy Tính TRƯỜNG ĐẠI HỌC CƠNG NGHỆ THƠNG TIN KHOA KHOA HỌC MÁY TÍNH MƠN HỌC: HỆ HỖ TRỢ QUYẾT ĐỊNH ĐỀ TÀI: NGHIÊN CỨU ÁP DỤNG THUẬT TOÁN KHAI PHÁ LUẬT KẾT HỢP ĐỂ HỖ TRỢ RA QUYẾT ĐỊNH TRONG QUẢN LÝ DỰ ÁN PHẦN MỀM CBHD: PGS TS ĐỖ PHÚC HỌC VIÊN: TRẦN MẠNH TƯỞNG CH1301070 TP HCM 06-2014 Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang Môn Học Hệ Hỗ Trợ Quyết Định Khoa Khoa Học Máy Tính Mục Lục DANH MỤC KÝ HIỆU VÀ TỪ VIẾT TẮT I ĐẶT VẤN ĐỀ II KHÁI NIỆM VỀ QUẢN LÝ DỰ ÁN, QUẢN LÝ DỰ ÁN PHẦN MỀM Quản lý dự án 1.1 Khái niệm 1.2 Các nhân tố ảnh hưởng tới dự án 1.4 Các giai đoạn quản lý dự án 1.5 Các lĩnh vực quản lý dự án 1.6 Vai trò người quản lý dự án 11 Quản lý dự án phần mềm 13 2.1 Khái niệm: 13 2.2 Quy trình quản lý dự án phần mềm 13 2.3 Các hoạt động quản lý dự án phần mềm 15 III KHÁI NIỆM VỀ DATA MINING, LUẬT KẾT HỢP VÀ THUẬT TOÁN KHAI PHÁ LUẬT KẾT HỢP 20 Khái niệm Data Mining 20 Các giai đoạn trình khai phá liệu 22 Các kỹ thuật khai phá liệu 23 3.1 Kết hợp 23 3.2 Phân cụm 23 3.3 Phân loại 24 3.4 Hồi quy 25 Ứng dụng Data Mining 25 Luật kết hợp khai phá liệu 26 5.1 Định nghĩa 26 5.2 Tìm luật kết hợp 27 Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang Khoa Khoa Học Máy Tính Mơn Học Hệ Hỗ Trợ Quyết Định Thuật toán khai phá luật kết hợp 28 6.1 Thuật toán Apriori 28 6.2 Thuật toán Apriori-Tid 30 IV NGHIÊN CỨU ÁP DỤNG THUẬT TOÁN KHAI PHÁ LUẬT KẾT HỢP VÀO QUẢN LÝ DỰ ÁN PHẦN MỀM 33 V KẾT LUẬN, HƯỚNG PHÁT TRIỂN 42 TÀI LIỆU THAM KHẢO 43 Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang Môn Học Hệ Hỗ Trợ Quyết Định Khoa Khoa Học Máy Tính DANH MỤC KÝ HIỆU VÀ TỪ VIẾT TẮT Ký hiệu, chữ viết tắt Ý nghĩa PM Project Management Người quản lý dự án Estimate Hoạt động ước lượng, từ hay dùng quản lý dự án phần mềm Effort Chi phí cần dùng cho làm dự án Đơn vị ngày tháng, năm tùy vào quy định công ty LOC Line of Code Số dịng code, dùng để tính mức độ lớn nhỏ dự án Productivity Năng suất làm việc Trong dự án phần mềm số trang design ngày, số LOC code tháng CSS Customer satisfaction survey Chỉ số khảo sát độ hài lòng khách hàng Risk Những rủi ro xảy dự án Leakage Những lỗi mà sau gửi sản phẩm cho khách hàng, khách hàng bắt lỗi Timeliness Tham số thời gian cam kết với khách hàng WO Work Order Tên tài liệu Fsoft, có ghi nội dung dự án bên liên quan PP Project Planning Tên tài liệu Fsoft, có ghi nội dung dự án chiến lược làm dự án người quản lý dự án Bug Từ lỗi làm dự án phần mềm Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang Khoa Khoa Học Máy Tính Mơn Học Hệ Hỗ Trợ Quyết Định I ĐẶT VẤN ĐỀ Trong thời đại ngày nay, sức ép thay đổi công nghệ ngày lớn cạnh tranh khốc liệt buộc cho doanh nghiệp phản ứng kịp thời với thay đổi môi trường, hoạt động theo hình thức dự án trở thành phương thức vận hành hữu hiệu tổ chức Tổ chức theo hình thức dự án cung cấp công cụ hữu hiệu nhằm tăng cường khả hoạch định, thực thi kiểm soát hoạt động, nhân lực nguồn lực tổ chức Quản trị dự án trở lên cần thiết xã hội đại đòi hỏi phương pháp quản trị sử dụng nhóm thay cá nhân để giải vấn đề Ngoài ra, mức độ phức tạp dịch vụ sản phẩm quy trình để sản xuất chúng ngày tăng, dự án cơng cụ hiệu để kiểm tra sản phẩm quy trình sản xuất Một yếu tố quan trọng định thành công dự án planning, planning bao gồm việc ước lượng resources, ước lượng chi phí, đánh giá rủi ro, chọn người quản lý, đưa Mertrics đảm bảo chất lượng, đưa định trình làm dự án Tất thơng tin với doanh nghiệp lớn lưu trữ vào database Với Fsoft-FPT họ lưu vào hệ thống gọi PCB (Process Capability Baseline) Khi có dự án cần đánh giá đưa số planning, để xác, cần tham khảo liệu cũ Nhưng thật khó khăn để tìm kiếm liệu data lớn thế, lai có phần trăm liệu phù hợp với dự án cụ thể Trong điều kiện thực tế thế, đòi hỏi phải có phương pháp nhanh, phù hợp, tự động, xác có hiệu để lấy thơng tin có giá trị Các tri thức chiết xuất từ sở liệu nguồn tài liệu hỗ trợ cho người làm dự án việc lên kế hoạch hoạt động việc định mở dự án Vì vậy, tính ứng dụng khai thác luật kết hợp Data mining từ sở liệu vấn đề quan tâm đặc biệt viết Mục đích việc nghiên cứu xây dựng giải pháp hiệu tính ứng Data Mining, cụ thể ứng dụng luật kết hợp việc tư vấn, hỗ trợ người làm dự án định hiệu Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang Khoa Khoa Học Máy Tính Mơn Học Hệ Hỗ Trợ Quyết Định Trong đề tài có nghiên cứu, sử dụng số thuật ngữ, quy trình làm dự án thực tế Fsoft-FPT Để từ xây dựng ý tưởng áp dụng Data mining vào quản lý dự án phần mềm Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang Khoa Khoa Học Máy Tính Mơn Học Hệ Hỗ Trợ Quyết Định II KHÁI NIỆM VỀ QUẢN LÝ DỰ ÁN, QUẢN LÝ DỰ ÁN PHẦN MỀM Quản lý dự án 1.1 Khái niệm Quản lý dự án ngành khoa học nghiên cứu việc lập kế hoạch, tổ chức quản lý, giám sát trình phát triển dự án nhằm đảm bảo cho dự án hoàn thành thời gian, phạm vi ngân sách duyệt, đảm bảo chất lượng, đạt mục tiêu cụ thể dự án mục đích đề Mục tiêu việc quản lý dự án thể chỗ cơng việc phải hồn thành theo u cầu bảo đảm chất lượng, phạm vi chi phí duyệt, thời gian giữ cho phạm vi dự án không thay đổi 1.2 Các nhân tố ảnh hưởng tới dự án Các bên tham gia tất có liên quan bị ảnh hưởng hoạt động dự án, cụ thể: - Có lợi ích nghiệp vụ kết dự án - Liên quan trức tiếp tới dự án - Đóng góp nguồn lực cho dự án Các bên liên quan dự án có lợi ích, nhu cầu ưu tiên khác Họ có quan điểm khác việc dự án cố gắng hồn thành Do đó, việc xác định bên liên quan dự án sớm tốt, đặc biệt giai đoạn xây dựng ý tưởng Xem qua bên liên quan chưa lộ diện rủi ro lớn đến việc tổ chức thực dự án Thông thường, dự án, bên tham gia bao gồm: - Nhà tài trợ: Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang Khoa Khoa Học Máy Tính Mơn Học Hệ Hỗ Trợ Quyết Định + Chịu trách nhiệm cuối thành công dự án Nhà tài trợ có trách nhiệm ký kết hồn tất tài liệu lập kế hoạch yêu cầu thay đổi + Đồng thời cho phép nhóm quản lý dự án sử dụng nguồn lực, bảo vệ cố vấn cho nhóm quản lý dự án + Trong trình thực dự án, nhà tài trợ có thêm trách nhiệm xem xét lại tiên trình chât lượng, cắt băng khai trương, khánh thành, ký công bố tôn dự án - Nhà quản lý dự án (giám đốc dự án): + Làm việc với đối tượng liên quan đê định nghĩa dự án + Lập kế hoạch, xếp lịch trình dự thảo ngân sách hoạt động dự án với đội ngũ ban đầu; chi huy nhóm dự án thực thi kế hoạch + Giám sát hiệu hoạt động thực hoạt động hiệu chỉnh + Thường xuyên thông báo cho nhà tài trợ đối tượng liên quan dự án: đưa yêu cầu trình bày thay đổi vê phạm vi + Đóng vai trị người trung gian nhóm dự án đối tượng liên quan + - Nhà quản lý chức năng: Các nhà quản lý chịu ảnh hưởng hoạt động hay kết dự án + Kiêm sốt đóng góp nguồn lực cho dự án (con người, trang thiêt bị ) + Có thể có yêu cầu trái ngược với kết dự án + Trong số trường hợp câp nhà quản lý dự án + - Khách hàng: Trong trường hợp nhà tài trợ đơn vị triên khai sản phẩm dự án nhà tài trợ khách hàng Đối tượng có nhiệm vụ sau: + Nhận đầu dự án Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang Khoa Khoa Học Máy Tính + Mơn Học Hệ Hỗ Trợ Quyết Định Thanh tốn cho đầu dự án + Xác định nhu cầu cho đầu dự án + Có thể nhiều cơng ty hay cá nhân với đặc điểm yêu cầu trái ngược - Nhà cung cấp: dự án thường bao gồm nhiêu hạng mục khác nhau, có hạng mục xem xét yêu tố khả thi, nhà tài trợ quyêt định mua Nhà cung cấp có trách nhiệm cung cấp thiêt bị, sản phẩm hay dịch vụ cần thiêt phục vụ cho hoạt đơng dự án thơng qua hình thức hợp đồng, đê đảm bảo dự án đạt mục tiêu đề 1.4 Các giai đoạn quản lý dự án + Khởi động dự án: giai đoạn có thơng tin mở dự án, dự trù người hệ thống sở vật chất + Lập kế hoạch dự án: Đây giai đoạn xây dựng mục tiêu, xác định cơng việc cần hồn thành, nguồn lực cần thiết để thực dự án trình phát triển kế hoạch hành động theo trình tự logic mà biểu diễn dạng sơ đồ hệ thống + Thực dự án: Tiến hành làm dự án theo kế hoạch đề + Theo dõi kiểm sốt dự án: q trình theo dõi, kiểm tra tiến trình dự án, phân tích tình hình hồn thành, giải vấn để liên quan thực báo cáo tình hình dự án + Kết thúc dự án 1.5 Các lĩnh vực quản lý dự án Theo đối tượng quản lý, quản lý dự án bao gồm lĩnh vực cần xem xét, nghiên cứu là: Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang Khoa Khoa Học Máy Tính - Mơn Học Hệ Hỗ Trợ Quyết Định Lập kế hoạch tổng thê: lập kế hoạch cho dự án trình tổ chức dự án theo trình tự chương trình thực cơng việc nhằm đảm bảo lĩnh vực quản lý khác dự án kết hợp cách xác đầy đủ - Quản lý phạm vi: Là việc xác định phạm vi, giám sát việc thực mục đích, mục tiêu dự án, xác định công việc thuộc vê dự án cần phải thực hiện, cơng việc nằm ngồi phạm vi dự án - Quản lý thời gian: Là việc lập kế hoạch, phân phối giám sát tiến độ thời gian nhằm đảm bảo thời hạn hoàn thành dự án Nó rõ cơng việc phải kéo dài bao lâu, bắt đầu, kết thúc toàn dự án kéo dài bao lâu, phải hồn thành - Quản lý chi phí: Là q trình dự tốn kinh phí, giám sát thực chi phí theo tiến độ cho cơng việc toàn dự án Cụ thể tổ chức, phân tích số liệu, báo cáo thơng tin chi phí - Quản lý chất lượng: Là q trình triển khai giám sát tiêu chuẩn chất lượng cho việc thực dự án, đảm bảo chất lượng kết dự án phải đáp ứng mong muốn nhà tài trợ (chủ đầu tư) - Quản lý nhân lực: Là trình hướng dẫn, phối hợp nỗ lực thành viên tham gia dự án vào việc hồn thành mục tiêu dự án Nó cho thấy việc sử dụng lực lượng lao động dự án hiệu đến đâu, - Quản lý thông tin (truyền thơng): Là q trình bảo đảm dịng thơng tin thơng suốt, nhanh chóng xác thành viên dự án với cấp quản lý, tổ nhóm quản lý dự án Thơng qua quản lý thơng tin trả lời câu hỏi: cần thong tin dự án, mức độ chi tiết, nhà quản lý dự án cần báo cáo cho họ cách nào, Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang 10 Khoa Khoa Học Máy Tính Mơn Học Hệ Hỗ Trợ Quyết Định 6.1.2 Nội dung thuật tốn Bước 1: Tính độ hỗ trợ cho item, sau chọn item tập thường xuyên Bước 2: Bắt đầu từ tập hạt giống tập thường xuyên tìm trên, phát sinh tập thường xuyên gọi tập ItemSet ứng viên (C) tính độ hỗ trợ cho tập C sở liệu, từ chọn tập C tập thường xuyên thực dùng làm hạt giống cho bước Bước 3: Lặp lại bước khơng cịn tìm tập thường xun Tuy nhiên thuật tốn có nhược điểm sau: - Tập C tạo cách kết tập thường xuyên với item giao tác, phát sinh q nhiều tập khơng thường xuyên không cần thiết Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang 29 Khoa Khoa Học Máy Tính Mơn Học Hệ Hỗ Trợ Quyết Định - Với tập ứng cử viên C, thuật toán phải duyệt lại tồn sở liệu để tính độ hỗ trợ, điều làm tăng nhiều thời gian xử lý Vì vậy, thuật tốn khơng đạt hiệu tốt sở liệu lớn 6.2 Thuật toán Apriori-Tid 6.2.1 Ý tưởng thuật toán Thuật toán Apriori-TID phần mở rộng theo hướng tiếp cận thuật tốn Apriori Thay dựa vào sở liệu thơ thuật tốn Apriori- TID biểu diễn bên giao dịch ứng cử viên hành Thuật tốn Apriori địi hỏi phải qt tồn sở liệu để tính độ hỗ trợ cho tập hợp ứng cử viên bước Đây lãng phí lớn Dựa tư tưởng ước đoán đánh giá độ hỗ trợ, Agrawal đề xuất cải tiến Apriori theo hướng phải quét sở liệu lần đầu tiên, sau tính độ hỗ trợ cho tập hợp phần tử Từ bước thứ hai trở đi, sử dụng liệu để mã hóa tập itemset ứng viên bước trước bước sau, kích thước liệu mã hóa nhỏ kích thước sở liệu nhiều, tiết kiệm thời gian truy xuất sở liệuNội dung thuật toán 6.2.2 Nội dung thuật toán Thuật toán AprioriTID sử dụng hàm Apriori_Gen để tạo tập ItemSet ứng viên Thuật tốn khơng dùng sở liệu D để đếm support kể từ bước thứ hai, thay vào sử dụng tập Ck cho mục đích Mỗi thành viên tập Ck có dạng , với Xk tập k-ItemSet thể phần giao tác t có mã TID, hay ta viết Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang 30 Khoa Khoa Học Máy Tính Mơn Học Hệ Hỗ Trợ Quyết Định Hàm Get_Large_1_ItemSets() sử dụng để đếm số support Item CSDL trả tập 1_Item có số support lớn hay minsup Hàm AprioriGen (Lk-1) thực việc kết cặp (k-1) ItemSet để phát sinh tập k_ItemSet Tham số hàm Lk-1 – tập tất (k-1)-ItemSet kết trả hàm tập k-ItemSet Thuật toán hàm sau: Join Lk-1 with Lk-1; Insert into Ck select p.item1,p.item2, p.itemk-1, q.itemk-1 from Lk-1 as p, Lk-1 as q; Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang 31 Khoa Khoa Học Máy Tính Mơn Học Hệ Hỗ Trợ Quyết Định where (p.item1= q.item1)^… ^ (p.itemk-2 = q.item k-2) ^ (p.item k-115) = Card({2,7,9,15})/Card({2}) = 4/5 (nhận) Conf(7=>2 =>9=>15) = Card({2,7,9,15})/Card({7}) = 4/6 2 =>9=>15) = Card({2,7,9,15})/Card({9}) = 4/5 (nhận) Conf(15=>2 =>9=>15) = Card({2,7,9,15})/Card({15}) = 4/5 (nhận) Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang 40 Khoa Khoa Học Máy Tính Mơn Học Hệ Hỗ Trợ Quyết Định Tương tự cho hoán đổi khác Vậy ngồi trừ luật 7=>2=>9=>15 khơng hợp lý luật cịn lại {2,7,9,15} thỏa điều kiện Có nghĩa từ điều kiện CSS>90 khơng thể có để đưa suy luận khác Ta dễ dàng nhận thấy luật như: PM có kinh nghiệm -> CSS >90 -> Timeliness 100% ->Dự án thành công Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang 41 Khoa Khoa Học Máy Tính Mơn Học Hệ Hỗ Trợ Quyết Định V KẾT LUẬN, HƯỚNG PHÁT TRIỂN Đề tài tìm hiểu khái niệm Quản lý dự án, quy trình làm dự án phần mềm Tìm hiểu tham khảo quy trình thực tế Fsoft-FPT Đề tài tìm hiểu khái niệm Data Mining, định nghĩa, quy trình khai phá liệu, phương pháp khai phá liệu, phạm vi ảnh hưởng thực tế Data Mining Nghiên cứu tìm hiểu khai phá luật kết hợp liệu, thuật toán Apriori thuật toán cải tiến Apriori-Tid Xây dựng ý tưởng áp dụng khai phá luật kết hợp vào Quản lý dự án phần mềm Nhìn nhận, phân tích u cầu thực tế người làm quản lý dự án phần mềm Vận dụng kinh nghiệm khảo sát thực tế để thu thập liệu, vấn đề liên quan dự án phần mềm Để từ có hướng xây dựng thuật toán khai phá luật kết hợp nhằm phát triển phần mềm hỗ trợ dự báo hay phán đoán tính hiệu quả, tình trạng dự án Tuy nhiên thời gian nghiên cứu, phạm vi môn học nên đề tài dừng lại mức độ xây dựng ý tưởng, thu thập liệu Chưa xây dựng phát triển chương trình ứng dụng Số lượng thuật tốn nghiên cứu cịn Hướng phát triển đề tài nghiên cứu thêm số phương pháp khai phá liệu ngày Xây dựng chương trình hỗ trợ người làm dự án phần mềm dựa nguồn data thu thập lớn đắn từ thực tế Chương trình hỗ trợ dự báo, phán đoán nhiều lĩnh vực liên quan dự án như: phân tích rủi ro, số estimate hợp lý, quản lý task, dự báo thành công hay thất bại dự án, phân tích kết luận tình trạng dự án Đưa lời khuyên hữu ích dựa liệu dự án trước đó, từ giúp người quản lý planning hợp lý xác Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang 42 Khoa Khoa Học Máy Tính Mơn Học Hệ Hỗ Trợ Quyết Định TÀI LIỆU THAM KHẢO Tài liệu học tập Môn học Hệ Hỗ Trợ Quyết Định Thầy PGS.TS Đỗ Phúc Data Mining:Practical Machine Learning Tools and Techniques Mark Hall, Ian Witten, Eibe Frank Data Mining:Concepts and Techniques Jiawei Han and Micheline Kamber Data Mining and Analysis: Fundamental Concepts and Algorithms Mohammed Zaki and Wagner Meira Jr Quản trị đầu tư GS.TS.NGƯT BÙI XUÂN PHONG Process_Software Project Management.pdf Tài liệu Fsoft-FPT http://vi.wikipedia.org/wiki/Qu%E1%BA%A3n_l%C3%BD_d%E1%BB%B1_% C3%A1n_ph%E1%BA%A7n_m%E1%BB%81m http://en.wikipedia.org/wiki/Apriori_algorithm http://timtailieu.vn/tai-lieu/de-tai-nghien-cuu-va-ap-dung-mot-so-ky-thuat-khaipha-du-lieu-voi-co-so-so-du-lieu-nganh-thue-viet-nam-6231/ 10 http://www.eecs.wsu.edu/~cook/dm/lectures/l2/sld014.htm 11 http://associationrule.blogspot.com/2008/09/apriori-aprioritid-and-apriorihybrid.html 12 http://www.ibm.com/developerworks/vn/library/data/2013Q1/ba-data-miningtechniques/ Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang 43 ... luật kết hợp việc tư vấn, hỗ trợ người làm dự án định hiệu Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang Khoa Khoa Học Máy Tính Mơn Học Hệ Hỗ Trợ Quyết Định Trong. .. dẫn nguồn] Áp dụng khai phá luật kết hợp để hỗ trợ định Quản lý dự án phần mềm Trang 16 Khoa Khoa Học Máy Tính Mơn Học Hệ Hỗ Trợ Quyết Định Bối cảnh thực dự án: Căn pháp lý để thực dự án, trạng... Quản lý dự án phần mềm Trang Khoa Khoa Học Máy Tính Mơn Học Hệ Hỗ Trợ Quyết Định II KHÁI NIỆM VỀ QUẢN LÝ DỰ ÁN, QUẢN LÝ DỰ ÁN PHẦN MỀM Quản lý dự án 1.1 Khái niệm Quản lý dự án ngành khoa học nghiên