LỜI CAM ĐOAN Tôi xin cam đoan: a. Những nội dung trong luận văn này là do tôi thực hiện dưới sự hướng dẫn trực tiếp của PGS. TS Nguyễn Thanh Bình. b. Mọi tham khảo dùng trong luận văn đều được trích dẫn rõ ràng và trung thực tên tác giả, tên công trình, thời gian, địa điểm công bố. c. Mọi sao chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tôi xin chịu hoàn toàn trách nhiệm. Tác giả Hong Công Tin MỤC LỤC MỤC LỤC i DANH MỤC CÁC TỪ VIẾT TẮT ii DANH MỤC CÁC BẢNG iii DANH MỤC CÁC HÌNH iv v MỞ ĐẦU 1 CƠ SỞ LÝ THUYẾT 5 1.1. KHO DỮ LIỆU 5 1.2. TÍCH HỢP DỮ LIỆU 14 1.3. XÂY DỰNG KHO DỮ LIỆU, TÍCH HỢP DỮ LIỆU TRONG SQL SERVER20 1.4. MÃ ĐỊA CHỈ BƯU CHÍNH 31 1.5. TổNG KT CHƯƠNG 1 37 GIẢI PHÁP TÍCH HỢP CÁC CSDL TẠI BƯU ĐIỆN QUẢNG BÌNH. .38 1.6. TRỰC TRẠNG CÁCH TỔ CHỨC CSDL TẠI BƯU ĐIỆN QUẢNG BÌNH.38 1.7. MÔ TẢ BÀI TOÁN TÍCH HỢP 40 1.8. ĐỀ XUẤT GIẢI PHÁP TÍCH HỢP 40 1.9. PHÂN TÍCH VÀ THIẾT KẾ GIẢI PHÁP TÍCH HỢP 42 1.10. TẠI KHO DỮ LIỆU, CSDL ĐƯỢC CÀI ĐẶT NHƯ SAU: 52 1.11. TỔNG KẾT CHƯƠNG 2 53 PHÁT TRIỂN ỨNG DỤNG 54 1.12. MÔ TẢ HỆ THỐNG ỨNG DỤNG 54 1.13. PHÂN TÍCH THIẾT KẾ HỆ THỐNG 55 1.14. THỬ NGHIỆM 59 KẾT LUẬN 76 TÀI LIỆU THAM KHẢO 78 QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (BẢN SAO) PHỤ LỤC. DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Giải Thích Tiếng Anh Tiếng Việt OLTP OnLine Transaction Processing Xử lý giao dịch trực tuyến OLAP OnLine Analytical Processing Phân tích trực tuyến SSIS SQL Server Integration Services Dịch vụ tích hợp SQL Server CSDL DataBase Cơ sở dữ liệu DBA DataBase Administrator Quản trị cơ sở dữ liệu DBMS Database Management System Hệ thống quản lý CSDL DCE Data Conversion and Extraction Chuyển đổi và xuất ra dữ liệu DM DataMart Kho dữ liệu chủ đề DOA Decision Oriented Analysis Phân tích hướng quyết định DSS Decision Support System Hệ hỗ trợ quyết định ETL Extract Transformation Load Trích xuất, chuyển và nạp dữ liệu MSS Management Support System Hệ hỗ trợ quản lý SA Subject Area Vùng chủ đề DWH Data WareHouse Kho dữ liệu EMS Dịch vụ chuyển phát nhanh CT2003 Dịch vụ chuyển tiền 2003 DANH MỤC CÁC BẢNG Số hiệu Tên Trang Bảng 2-1 Các trường cần thiết trích rút đối với dịch vụ EMS 45 Bảng 2-2 Các trường cần thiết trích rút đối với dịch vụ chuyển tiền nhanh 48 Bảng 2-3 Cấu trúc bảng dữ liệu khách hàng phát sinh tại các dịch vụ 49 Bảng 2-4 Cấu trúc bảng dữ liệu khách hàng để gán mã địa chỉ Bưu chính 50 Bảng 3-1 So sánh thuộc tính của các CSDL 62 Bảng 3-2 So sánh hình thức sử dụng thủ công và sử dụng phần mềm để thống kê và báo cáo doanh thu dịch vụ. 64 DANH MỤC CÁC HÌNH Số hình Tên hình Trang Hình 1.1 Lược đồ hình sao 9 Hình 1.2 Lược đồ hình bông tuyết 10 Hình 1.3 Kiến trúc kho dữ liệu 11 Hình 1.4 Mô hình tích hợp dữ liệu 15 Hình 1.5 Tích hợp dữ liệu do query-điều khiển 16 Hình 1.6 Mô hình tích hợp dữ liệu theo phương pháp ETL 17 Hình 1.7 Mô hình các kỹ thuật trích xuất dữ liệu trong phương pháp ETL 18 Hình 1.8 Các dịch vụ của SQL Server 2005 20 Hình 1.9 Mô hình xây dựng kho dữ liệu 23 Hình 1.10 Công cụ phát triển SSIS 24 Hình 1.11 Kiến trúc của SSAS 26 Hình 1.12 Kiến trúc của Reporting Services 30 Hình 2.1 Mô hình CSDL hiện tại của Bưu điện Quảng Bình 40 Hình 2.2 Mô hình tổng thể tích hợp các CSDL 42 Hình 2.3 Mô hình ứng dụng của chương trình tin học dịch vụ EMS 43 Hình 2.4 Cấu trúc bảng dữ liệu dịch vụ EMS đi 44 Hình 2.5 Cấu trúc bảng dữ liệu dịch vụ EMS đến 45 Hình 2.6 Mô hình ứng dụng của chương trình tin học dịch vụ chuyển tiền 46 Hình 2.7 Cấu trúc bảng dữ liệu chứa thông tin dịch vụ chuyển tiền 47 Hình 2.8 Mô hình chi tiết trích rút dữ liệu 51 Hình 2.9 Lưu đồ gán mã BC huyện cho dữ liệu khách hàng 52 Hình 2.10 Thuật toán gán mã Bưu chính huyện cho dữ liệu khách hàng 53 Hình 2.11 Sơ đồ quan hệ giữa các bảng 53 Hình 3.1 Biểu đồ ca sử dụng quản trị người dùng 58 Hình 3.2 Biểu đồ ca sử dụng gán mã BC huyện 59 Hình 3.3 Biểu đồ ca sử dụng kết xuất báo cáo. 59 Hình 3.4 Mô hình trích rút dữ liệu 61 1 MỞ ĐẦU 1. Lý do chọn đề ti Bắt đầu từ những năm 1990, việc nghiên cứu và ứng dụng kho dữ liệu đã được diễn ra. Theo thống kê của nhóm META cho thấy công việc nghiên cứu và áp dụng kho dữ liệu khiến thế giới đã tiêu tốn: tháng 02/1996 tiêu tốn 13.000 triệu USD (phần cứng: 8.000; service: 5.000); năm 1998: 14.600 USD; năm 2001: lớn hơn 20.000 triệu USD. Việc ứng dụng công nghệ thông tin nói chung và việc ứng dụng kho dữ liệu nói riêng vào hoạt động của các doanh nghiệp đã góp phần thành công trong sự phát triển của họ. Các ngành đã áp dụng rộng rãi công nghệ thông tin cũng như việc áp dụng kho dữ liệu ngày càng nhiều. Ví dụ như: Hàng không, ngân hàng, viễn thông, đầu tư, bảo hiểm, bán lẻ, chăm sóc sức khỏe, … ứng dụng kho dữ liệu để thống kê, báo cáo và hỗ trợ để phân tích và đưa ra quyết định, định hướng kinh doanh,… vì vậy đã phần nào đã đạt được những thành công nhất định của riêng mình. Đối với Bưu chính Việt Nam nói chung và Bưu điện Quảng Bình nói riêng đã áp dụng hầu hết hệ thống tin học vào quy trình sản xuất. Nhưng do đặc trưng riêng của từng chương trình vì vậy cơ sở dữ liệu không đồng nhất với nhau, do đó tạo nên sự rời rạc có sở dữ liệu của các chương trình. Do đó rất khó khăn khi tập hợp dữ liệu để báo cáo, tổng hợp, thống kê hàng tháng cũng như hàng năm. Do đó, cần phải có một hệ thống nhằm tích hợp dữ liệu từ các phần mềm đó tạo thành một cơ sở dữ liệu “đồng nhất”, nhằm xây dựng chương trình tổng hợp số liệu để báo cáo, thống kê giúp cho những người quản lý thấy được tình hình sản xuất, kinh doanh của đơn vị diễn ra nhằm có những điều chỉnh về chính sách, phương hướng, kế hoạch để đạt hiệu quả cao trong hoạt động sản xuất, kinh doanh của đơn vị. 2 Trước thực tế đó và được sự đồng ý của PGS. TS Nguyễn Thanh Bình, tôi chọn đề tài “Nghiên cứu giải pháp tích hợp CSDL các phần mềm Bưu chính hỗ trợ thống kê, báo cáo tại Bưu điện Quảng Bình” và mục đích đầu tiên là sử dụng tại Bưu điện Quảng Bình. 2. Mục đích nghiên cứu - Xây dựng kho dữ liệu tổng hợp của các phần mềm bưu chính nhằm báo cáo, thống kê hiệu quả sản xuất kinh doanh (số lượng, doanh thu,…), để kịp thời điều chỉnh nhanh chóng phương pháp làm việc và chăm sóc khách hàng để đạt hiệu quả. - Nâng cao hiệu quả kinh doanh, đủ sức cạnh tranh với các doanh nghiệp khác. - Tạo tiền đề để phát triển để phát triển các ứng dụng khác. 3. Đối tượng v phạm vi nghiên cứu - Đối tượng nghiên cứu của đề tài + Các CSDL, quy trình sản xuất đang thực hiện tại Bưu điện Quảng Bình. + Các công cụ lập trình, các hệ cơ sở dữ liệu liên quan đến đề tài (Kho dữ liệu, tích hợp dữ liệu). - Phạm vi nghiên cứu + Các CSDL, quy trình sản xuất đang thực hiện tại Bưu điện Quảng Bình. + Xây dựng ứng thống kê, báo cáo và hệ Cơ sở dữ liệu SQL 2008. 3 4. Phương pháp nghiên cứu - Phương pháp nghiên cứu lý luận: Các nội dung, văn bản quy trình báo cáo, thống kê. Phân tích các nội dung văn bản, quy trình để xây dựng kho dữ liệu, tích hợp dữ liệu. - Phương pháp nghiên cứu thực tiễn. Tìm hiểu các CSDL của các phần mềm bưu chính hiện sử dụng tại Bưu điện Quảng Bình. - Phương pháp nghiên cứu tài liệu: Tìm hiểu ngôn ngữ lập trình, hệ quản trị Cơ sở dữ liệu; Xây dựng ứng dụng. 5. Ý nghĩa khoa học v thực tiễn của đề ti Bưu điện Quảng Bình là đơn vị doanh nghiệp ứng dụng hầu hết công nghệ thông tin vào khai thác, sản xuất dịch vụ Bưu chính tại tỉnh Quảng Bình. Do vậy, việc xây dựng, ứng dụng kho dữ liệu để phục vụ công việc tổng hợp, thống kê báo cáo hiệu suất của công tác sản xuất tại đơn vị giúp cho những người quản lý thấy được tình hình sản xuất, kinh doanh của đơn vị diễn ra nhằm có những điều chỉnh về chính sách, phương hướng, kế hoạch để đạt hiệu quả cao trong hoạt động sản xuất, kinh doanh của đơn vị. 6. Bố cục của luận văn Báo cáo của luận văn được được tổ chức thành ba chương chính. Chương 1. Cơ sở lý thuyt. Chúng tôi trình bày lý thuyết tổng quan về kho dữ liệu, lý thuyết về tích hợp dữ liệu và khái niệm và cách tổ chức mã địa chỉ Bưu chính. Chương 2. Giải pháp tích hợp các CSDL tại Bưu điện Quảng Bình. Chúng tôi trình bày thực trạng các CSDL đang ứng dụng tại Bưu điện Quảng Bình và mô tả bài toán tích hợp dữ liệu, từ đó đề xuất và phân tích thiết kế giải phát tích hợp các CSDL thành một kho dữ liệu thống nhất để phục vụ mục đích tổng hợp, thống kê sản lượng kinh doanh các dịch vụ Bưu chính nhằm điều chỉnh và đưa ra chiến lược kinh doanh. 4 Chương 3. Phát triển ứng dụng. Trên cơ sở kho dữ liệu đã được tích hợp ở chương 2, chúng tôi tiếp tục trình bày các bước phân tích thiết kế, xây dựng ứng dụng “Thống kê và báo cáo sản lượng dịch vụ Bưu chính”, và đánh giá kết quả đạt được. [...]... dùng với một cái nhìn thống nhất của các dữ liệu này [5] 15 Hình 1-4: Mô hình tích hợp dữ liệu 1.2.2 Các phương pháp tích hợp dữ liệu Hiện tại có 3 phương pháp phổ biến được ứng dụng cho việc tích hợp dữ liệu: Tích hợp dữ liệu thủ công, tích hợp dữ liệu bán tự động và tích hợp dữ liệu được tiến hành một cách tự động hoàn toàn a Tích hợp dữ liệu bằng phương pháp thủ công Quan sát một CSDL và mã nguồn của... SQL Server , nó là hệ thống quản lý các báo cáo Hỗ trợ việc tạo báo cáo, quản lý các báo cáo, và quản lý truy cập thông qua nền tảng web SSRS sử dụng ngôn ngữ định nghĩa báo cáo (RDL) và ngôn ngữ đánh dấu mở rộng XML Công cụ soạn thảo báo cáo được tích hợp trên công cụ BIDS dựa trên bộ Visual studio cùng với thành phần Crystal Reports Người dùng có thể soạn thảo các báo cáo một cách dễ dàng trên nền... về khái niệm, đặt tính, cấu trúc, các công cụ xây dựng kho dữ liệu, trình bày lý thuyết tổng quan về khái niệm, các phương pháp tích hợp dữ liệu Các dữ liệu khách hàng được tích hợp sau này sẽ được gán mã Bưu chính do đó trong chương này chúng tôi cũng trình bày khái niệm và các tổ chức mã địa chỉ Bưu chính 1.1 KHO DỮ LIỆU Những nghiên cứu và phát triển trong các hệ thống cơ sở dữ liệu từ những năm... người dùng tích hợp dữ liệu và phân tích dữ liệu từ nhiều nguồn khác nhau Hỗ trợ việc quản lý chất lượng dữ liệu và làm sạch dữ liệu, một công việc quan trọng trong tiến trình ETL • Dịch vụ phân tích dữ liệu (Analysis Service ): cung cấp khung nhìn tích hợp và thống nhất về dữ liệu cho người dùng, hỗ trợ việc phân tích dữ liệu • Công cụ khai phá dữ liệu (Data mining ) được tích hợp hỗ trợ nhiều thuật... khai phá dữ liệu, điều này hỗ trợ cho việc phân 22 tích và khai phá dữ liệu và xây dựng các hệ thống hỗ trợ ra quyết định cho người quản lý • Dịch vụ xây dựng quản lý báo cáo (Reporting Service) được dựa trên nền tảng quản trị doanh nghiệp thông minh và được quản lý qua dịch vụ web Báo cáo có thể được xây dựng với ngôn ngữ truy vấn MDX Việc xây dựng báo cáo dễ dàng thông qua các công cụ trên Business... chuyển đổi lượng dữ liệu khổng lồ kia thành các tri thức có ích và tích hợp nó lại thành một mối thống nhất Từ đó, các kĩ thuật tích hợp dữ liệu đã trở thành một lĩnh vực thời sự của nền CNTT thế giới hiện nay 1.2.1 Khái niệm Tích hợp dữ liệu là quá trình tổng hợp có sự lựa chọn dữ liệu từ các nguồn khác nhau sau đó kết hợp lại thành một tập hợp thông tin chính xác, chất lượng và nhất quán tiếp tục... dùng các giải pháp đơn giản như: select, export,… hoặc viết chương trình để trích xuất các dữ liệu mục tiêu Tuy nhiên, với phương pháp này thì không thể làm việc với một số lượng lớn và được cập nhập thường xuyên b Tích hợp dữ liệu bằng phương pháp bán tự động • Phương pháp do query-điều khiển (on-demand) Mô hình tích hợp dữ liệu bằng phương pháp bán tự động được trình bày ở hình 1-5 16 Hình 1-5: Tích. .. trong nghiên cứu khoa học bằng cách đưa ra một phương pháp mới đáp ứng cả nhu 14 cầu trong khoa học cũng như trong hoạt động thực tiễn, đó chính là công nghệ tích hợp và khai phá dữ liệu Đây chính là ứng dụng chính thứ ba của kho dữ liệu 1.2 TÍCH HỢP DỮ LIỆU Trong những năm gần đây, sự phát triển mạnh mẽ của CNTT và ngành công nghiệp phần cứng đã làm cho khả năng thu thập và lưu trữ thông tin của các. .. thường được tích hợp với một hệ thống ứng dụng đa dạng để hỗ trợ xử lý thông tin và phân tích dữ liệu bằng cách cung cấp 7 một nền tảng đồng nhất cho việc hợp nhất, lịch sử hoá dữ liệu Theo W.H.Inmon, một nhà kiến trúc hàng đầu của việc xây dựng kho dữ liệu, thì kho dữ liệu được định nghĩa như một “tập hợp dữ liệu định hướng theo chủ đề, tích hợp, có tính ổn định, thay đổi theo thời gian hỗ trợ cho xử... như: trong các khu vực bán được nhiều sản phẩm nhất đâu là dòng sản phẩm bán chạy nhất? MDX được xây dựng cho các hệ thống phân tích dữ liệu chính vì thế nó có thể xử lý được những truy vấn một cách dễ dàng MDX có thể xử lý dữ liệu một cách mềm dẻo, kết quả trả về của MDX cũng rất linh hoạt Các phép truy vấn phức tạp trong SQL như pivot được sử dụng một cách dễ dàng trong MDX MDX không hỗ trợ các ngôn . Thanh Bình, tôi chọn đề tài Nghiên cứu giải pháp tích hợp CSDL các phần mềm Bưu chính hỗ trợ thống kê, báo cáo tại Bưu điện Quảng Bình và mục đích đầu tiên là sử dụng tại Bưu điện Quảng Bình. 2 CHỈ BƯU CHÍNH 31 1.5. TổNG KT CHƯƠNG 1 37 GIẢI PHÁP TÍCH HỢP CÁC CSDL TẠI BƯU ĐIỆN QUẢNG BÌNH. .38 1.6. TRỰC TRẠNG CÁCH TỔ CHỨC CSDL TẠI BƯU ĐIỆN QUẢNG BÌNH.38 1.7. MÔ TẢ BÀI TOÁN TÍCH HỢP 40 1.8 tích hợp dữ liệu và khái niệm và cách tổ chức mã địa chỉ Bưu chính. Chương 2. Giải pháp tích hợp các CSDL tại Bưu điện Quảng Bình. Chúng tôi trình bày thực trạng các CSDL đang ứng dụng tại Bưu