i MỤC LỤC DANH MỤC CÁC HÌNH ẢNH TRONG LUẬN VĂN iii DANH SÁCH CÁC BẢNG TRONG LUẬN VĂN iv BẢNG DANH MỤC CÁC CHỮ VIẾT TẮT .v MỞ ĐẦU .1 CHƢƠNG 1: TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU VÀ CƠ SỞ DỮ LIỆU PHÂN TÁN .4 1.1 Khái niệm sở liệu 1.2 Nguyên tắc hệ thống xử lý phân tán 1.2.1 Khái niệm xử lý phân tán 1.2.2 Hệ thống phân tán .5 1.3 Cơ sở liệu phân tán sở liệu tập trung 1.4 Kiến trúc Mô hình sở liệu phân tán 1.4.1 Điểm mạnh sở liệu phân tán .9 1.4.2 Hệ quản trị sở liệu phân tán 10 1.4.3 Các mức sở liệu phân tán .13 1.5 Yêu cầu quản trị sở liệu phân tán 17 1.5.1 Quản lý bảng danh mục sở liệu phân tán 18 1.5.2 Nội dung bảng danh mục 18 1.5.3 Phân tán bảng danh mục 19 1.5.4 Quản trị bảo vệ 21 1.5.5 Áp đặt luật phân quyền 22 1.5.6 Phân lớp ngƣời sử dụng: 23 CHƢƠNG 2: MỘT SỐ KỸ THUẬT XỬ LÝ TRONG CƠ SỞ DỮ LIỆU PHÂN TÁN 25 2.1 Kỹ thuật phân mảnh ngang 25 2.1.1 Thuật toán phân mảnh ngang nguyên thủy .27 2.1.2 Thuật toán xác định tập vị từ đầy đủ cực tiểu 29 2.1.3 Phân mảnh ngang dẫn xuất 31 ii 2.2 Kỹ thuật phân Mảnh dọc 33 2.2.1 Thuật toán tụ nhóm 34 2.2.2 Thuật toán phân mảnh .38 2.3 Kỹ thuật phân mảnh hỗn hợp: 42 2.4 Kỹ thuật trộn 43 2.4.1 Thuật toán trộn tập trung 43 2.4.2 Thuật toán trộn phân tán 45 2.5 Đánh giá số kỹ thuật xử lý CSDL phân tán 46 2.5.1 Đánh giá kỹ thuật phân mảnh liệu: 46 2.5.2 Đánh giá kỹ thuật trộn .49 CHƢƠNG 3: XÂY DỰNG HỆ THỐNG QUẢN LÝ HÓA ĐƠN ĐIỆN TỬ NGÀNH ĐIỆN CHO CỘNG HÒA DÂN CHỦ NHÂN DÂN LÀO 50 3.1 Phát biểu toán 50 3.2 Các yếu tố tác động đến cần thiết xây dựng hệ thống .51 3.3 Phân tích nghiệp vụ yêu cầu hệ thống .52 3.3.1 Các yêu cầu phi chức 52 3.3.2 Phân tích yêu cầu chức hệ thống 55 3.4 Thiết kế mô hình liệu 64 3.5 Xây dựng ứng dụng đánh giá hiệu 66 3.5.1 Lựa chọn công nghệ 66 3.5.2 So sánh hiệu phân tích kết đầu .67 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 69 TÀI LIỆU THAM KHẢO 70 iii DANH MỤC CÁC HÌNH ẢNH TRONG LUẬN VĂN Hình 1.1: Mô hình thành phần hệ quản trị sở liệu phát triển theo kiểu thƣơng mại (Truy cập từ xa trực tiếp) .11 Hình 1.2: Cách thức truy cập csdl ứng dụng 12 Hình 1.3 Cách thức truy cập gián tiếp chƣơng trình ứng dụng vào csdl 13 Hình 1.4: Sơ đồ mức sở liệu phân tán 14 Hình 2.1: Đồ thị kết nối 32 Hình 2.2 Định vị điểm tách 39 Hình 2.3: Phân đoạn hỗn hợp 42 Hình 2.4 Tính tái thiết đƣợc phân mảnh hỗi hợp 43 Hình 2.5: Danh sách nhân viên công ty 44 Hình 2.6 Kết trộn tập trung 44 Hình 2.7: Danh sách nhân viên công ty chi nhánh 45 Hình 2.8: Gộp nhóm theo phƣơng pháp trộn phân tán .46 Hình 3.1: Hóa đơn điện tử 50 Hình 3.2: Yêu cầu siêu liên kết 54 Hình 3.3: Sơ đồ thiết kế tổng thể 55 Hình 3.4: Cấu trúc XML hóa đơn điện tử 57 Hình 3.5: Biểu đồ Actor 58 Hình 3.6: Biểu đồ Use Case 59 Hình 3.7: Biểu đồ trình tự ca sử dụng download hóa đơn điện tử 60 Hình 3.8: Biểu đồ trình tự ca sử dụng xác thực hóa đơn 61 Hình 3.9: Biểu đồ hoạt động ca sử dụng kí số hóa đơn 63 Hình 3.10: Mô hình logic phân tán 65 Hình 3.11: Mô hình thực thể liệu 65 Hình 3.12: Mô hình trƣờng liệu bảng Hóa đơn 66 Hình 3.13: Bảng mục hóa đơn 66 Hình 3.14: Indexer database proccess .67 Hình 3.15: Biểu đồ so sánh hiệu 68 iv DANH SÁCH CÁC BẢNG TRONG LUẬN VĂN Bảng 3.1: Danh sách tác nhân .57 Bảng 3.2: Danh sách ca sử dụng 59 Bảng 3.3 Mô tả biểu đồ hoạt động UC kí lên hóa đơn điện tử 62 Bảng 3.4:Mô tả biểu đồ hoạt động UC Import liệu .64 Bảng 3.5: Hiệu tìm kiếm ghi đƣợc đánh mục primary cluster (khóa chính) 67 Bảng 3.6: Tốc độ xuất báo cáo 68 v BẢNG DANH MỤC CÁC CHỮ VIẾT TẮT Thuật ngữ Ý nghĩa Chi tiết CSDL Cơ sở liệu DBMS Data base management system Hệ quản trị sở liệu DB Data base Cơ sở liệu UC Use case Ca sử dụng DC Data Communication Phần truyền thông liệu DD Data Dictionary Từ điển liệu Distributed Database Phần sở liệu phân tán DDB DN Doanh nghiệp HĐĐT Hóa đơn điện tử CNTT Công nghệ thông tin SSL Secure socket layer Giao thức mạng an toàn PKI Public key infrastructure Hạ tầng khóa công khai MỞ ĐẦU Đặt vấn đề Ngày nay, xu công nghệ thông tin toàn cầu nhƣ phát triển mạng internet, thể giới đƣợc kết nối không khoảng cách Nhƣ tất yếu, phủ doanh nghiệp cần có hệ thống, ứng dụng sở liệu khổng lồ, chứa hàng tỉ ghi để phục phụ nhu cầu đặc thù Các toán mang tầm vóc quốc gia hay hệ thống hoạt động thời gian dài có số ghi lên đến hàng triệu, hàng tỉ Khi hệ thống liệu bùng nổ, chế lƣu trữ quản lý liệu tập trung bộc lộ nhiều điểm yếu, nhƣ khả tìm kiếm, cập nhật liệu chậm, hệ thống hay xuất lỗi tràn nhớ, lỗi tƣơng tranh câu truy vấn vận hành hệ thống Ngoài ra, quản lý liệu tập trung dễ gặp rủi ro sau cố khả vận hành liên tục không hiệu Để khác phục điểm yếu chế liệu tập trung, chuyên gia đƣa mô hình liệu phân tán Theo đó, đặc thù hệ thống cần cân nhắc đến khả phân tán, cách thức phân tán cƣờng độ phân tán liệu Trong luận văn này, tập trung nghiên cứu kĩ thuật phân tán liệu, tính hiệu kĩ thuật khả áp dụng toán đặc thù thực tế Bài toán cụ thể luận văn xây dựng hệ thống quản lý hóa đơn điện tử CHDCND Lào, phân tích đặc thù hệ thống để đƣa kĩ thuật phân tán phù hợp, đánh giá mức độ hiệu kĩ thuật phân tán áp dụng Do đó, “Một số kĩ thuật xử lý sở liệu phân tán ứng dụng” đƣợc chọn làm đề tài Đối tƣợng phạm vi nghiên cứu - Đối tƣợng nghiên cứu:  Một số kĩ thuật xử lý sở liệu phân tán  Ứng dụng quản lý hóa đơn đặc thù ngành điện - Phạm vi nghiên cứu:  Nguyên tắc hệ thống phân tán  Kiến trúc mô hình sở liệu phân tán  Các kĩ thuật xử lý sở liệu phân tán  Nghiệp vụ quản lý tiền điện, nghiệp vụ hóa đơn điện tử, nguyên tắc bảo mật trao đổi hóa đơn điện tử, mô hình áp dụng kết thực nghiệm Hƣớng nghiên cứu đề tài - Xu liệu phân tán - Các nguyên tắc thiết kế bản, kiến trúc mô hình liệu phân tán - Các kĩ thuật áp dụng việc xử lý sở liệu phân tán - Tổng quát hóa lớp toán áp dụng, kiến trúc áp dụng sở liệu phân tán - Đƣa đề xuất, thiết kế ứng dụng, phân tích ƣu nhƣợc điểm, so sánh với hệ thống không áp dụng kiến trúc sở liệu phân tán Bố cục luận văn - Mở đầu - Chƣơng Tổng quan sở liệu sở liệu phân tán - Chƣơng Một số kĩ thuật xử lý sở liệu phân tán - Chƣơng Xây dựng hệ thống quản lý hóa đơn điện tử ngành điện cho CHDC ND Lào - Kết luận Phƣơng pháp nghiên cứu - Nghiên cứu lý thuyết: Tìm hiểu lý thuyết sở liệu phân tán sách, báo, luân văn diễn đàn - Thực nghiệm: Nghiên cứu toán hóa đơn điện tử, áp dụng kĩ thuật xử lí nghiên cứu lí thuyết vào bàn toán cụ thể Ý nghĩa khoa học đề tài - Ý nghĩa khoa học  Tổng hợp, phân tích ƣu nhƣợc điểm kĩ thuật xử lý sở liệu phân tán  Phân tích, đánh giá hiệu với việc không áp dụng kĩ thuật phân tán toán lớn - Ý nghĩa thực tiễn Xây dựng đƣợc ứng dụng quản lý hóa đơn điện tử nghành điện, thực nghiệm với lƣợng liệu khổng lồ Qua kết luận tính khả dụng hình liệu phân tán toán quốc gia CHƢƠNG 1: TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU VÀ CƠ SỞ DỮ LIỆU PHÂN TÁN 1.1 Khái niệm sở liệu Cơ sở liệu (Database) tập hợp liệu đƣợc lƣu trữ cách có tổ chức để phục vụ cho công việc sử dụng thuận tiện Dữ liệu số liệu, hình ảnh cần đƣợc lƣu trữ dƣới dạng file, record tiện lợi cho ngƣời dùng việc tham khảo, xử lý Mỗi sở liệu cần có chƣơng trình quản lý, xắp xếp, trì liệu gọi hệ quản trị sở liệu (DBMS - Database Management System) Hệ quản trị sở liệu đƣợc coi diễn dịch ngôn ngữ bậc cao để dịch công việc ngƣời sử dụng thao tác liệu mà ngƣời dùng không cần quan tâm đến thuật toán Về mặt kiến trúc, sở liệu đƣợc phân chia thành mức khác Một sở liệu có ba phần mức vật lý, mức khái niệm mức thể Tuy nhiên với sở liệu cấp cao có nhiều mức phân hoá Mức vật lý: mức thấp kiến trúc hệ sở liệu, mức liệu đƣợc tổ chức dƣới nhiều cấp khác nhƣ ghi, file Mức khái niệm: biểu diễn trừu tƣợng sở liệu vật lý nói mức vật lý cài đặt cụ thể sở liệu mức khái niệm Mức thể hiện: sở liệu đƣợc thiết kế, thể (giao diện, chƣơng trình quản lý, bảng ) gần gũi với ngƣời sử dụng với sở liệu mức khái niệm gọi khung nhìn Nhƣ khác khung nhìn mức khái niệm không lớn Mô hình phổ biến sở liệu mô hình quan hệ: mô hinh quan hệ xét tập tích Decard miền D (Domain) với miền tập giá trị Gọi D1, D2, D3, Dn n miền Tích Decard miền D1 D2 D3 Dn tập tất n (v1,v2,v3 ,vn) cho vi  Di với i=1, ,n Mỗi hàng quan hệ (tuples) Quan hệ tập tích Decard D1 D2 D3 Dn gọi quan hệ n Khi có n thành phần ( n cột ), cột quan hệ gọi thuộc tính 1.2 Nguyên tắc hệ thống xử lý phân tán 1.2.1 Khái niệm xử lý phân tán Xử lý phân tán phƣơng pháp thiết kế hệ thống phân tán có tính chất: chịu lỗi, xuyên dụng, mở rộng đƣợc, mở Phƣơng pháp kết tự nhiên việc dùng máy tính để lập nên hệ thống phân tán Có hai khái niệm xử lý phân tán liên quan với − Khái niệm liên quan đến việc tính toán Client/Server Trong ứng dụng đƣợc chia thành hai phần, phần Server phần Client đƣợc vận hành hai nơi Trong tính toán phân tán cho phép truy nhập trực tiếp liệu xử lý liệu Server Client − Khái niệm thứ hai việc thực tác vụ xử lý phức tạp nhiều hệ thống Không gian nhớ xử lý nhiều máy hoạt động chia tác vụ xử lý Máy trung tâm giám sát quản lý tiến trình Có trƣờng hợp thông qua Internet, hàng nghìn máy xử lý tác vụ Có thể định nghĩa hệ xử lý phân tán nhƣ sau: Hệ xử lý phân tán tập hợp phần tử xử lý tự trị (không thiêt đồng nhất) đƣợc kết nối với mạng máy tính phối hợp thực công việc gán cho chúng Phần tử xử lý để thiết bị tính toán có khả thực chƣơng trình 1.2.2 Hệ thống phân tán Hệ thống phân tán tập hợp máy tính độc lập kết nối với thành mạng máy tính đƣợc cài đặt hệ sở liệu phần mềm hệ thống phân tán tạo khả cho nhiều ngƣời sử dụng truy nhập chia sẻ nguồn thông tin chung Các máy tính hệ thống phân tán có kết nối phần cứng lỏng lẻo, có nghĩa không chia sẻ nhớ, có hệ điều hành toàn hệ thống phân tán Các mạng máy tính đƣợc xây dựng dựa kỹ thuật Web, ví dụ nhƣ mạng Internet, mạng Intranet… mạng phân tán 56 + Dịch vụ công: dịch vụ cho công dân tiếp cận, theo dõi, quản lý hóa đơn, xác thực hóa đơn điện tử + Các services: Cung cấp services để xác thực hóa đơn cho quan thuế, giúp tự động xác thực hóa đơn với số lƣợng lớn + Hệ thống báo cáo: Xuất hóa đơn, xuất báo cáo tình hình tiêu thụ điện theo tháng, năm tỉnh nhƣ toàn quốc + Hệ thống kí số: Do số lƣợng hóa đơn đƣợc lƣu trữ vô lớn, cần có hệ thống kí số có tốc độ cao Có thể dùng máy kí chuyên biệt phục vụ ứng dụng + Hệ thống quản lý: Quản lý nhóm tài khoản, phân quyền sử dụng, quản trị liệu khách hàng + Hệ thống nhập liệu: Hệ thống cho phép kết nối với hệ thống thu thập liệu công tơ, cho import liệu số công tơ nhanh chóng, thuận tiện, xác b Cấu trúc liệu hóa đơn - Với đặc thù hóa đơn phải đƣợc trao đổi hệ thống khác nhau, hệ thống đọc đƣợc thông tin có cấu trúc hóa đơn Do đó, phải dùng chuẩn định dạng mở để lƣu liệu - XML định dạng mở phổ biến, đƣợc trao đổi qua môi trƣờng mạng, đảm bảo hệ thống đọc đƣợc trƣờng thông tin - Một file hóa đơn gồm phần: + Phần thông tin liệu có cấu trúc, lƣu trữ toàn thông tin có hóa đơn + Phần chữ kí số đƣợc kí lên thông tin hóa đơn với Private key hệ thống quản lý hóa đơn tiền điện Chữ kí đảm bảo hóa đơn quan điện lực cung cấp đảm bảo tính an toàn thông tin đƣợc lƣu trữ hóa đơn 57 Hình 3.4: Cấu trúc XML hóa đơn điện tử c Các tác nhân tham gia sử dụng hệ thống STT Tên tác nhân Vai trò Ngƣời dân sử dụng dịch vụ công hệ thống Công dân Cán nhập liệu Quản trị hệ thống Quản lí báo cáo Cán quan điện lực, có vai trò Import nhập liệu hóa đơn, khách Có vai trò quản trị thông tin, quản trị ngƣời dùng, cấp quyền, thu hồi quyền ngƣời dùng Tổng hợp, xuất báo cáo tình hình sử dụng điện hệ thống Hệ thống quan thuế, hệ thống thu thập Hệ thống khác liệu, hệ thống kí số ….Giao tiếp với hệ thống qua services Bảng 3.1: Danh sách tác nhân 58 Biểu đồ tác nhân Hình 3.5: Biểu đồ Actor d Ca sử dụng (Use case) biểu đồ ca sử dụng Danh sách ca sử dụng STT Tên Use case Mô tả Đăng nhập Đăng nhập vào hệ thống Đăng xuất Thoát khỏi hệ thống, xóa secssion, cookies Xuất hóa đơn theo tháng Xác thực hóa đơn Download hóa đơn điện tử Xuất hóa đơn theo tháng khách hàng theo số công tơ Xác thực hóa đơn điện tử hệ thống Cho phép download hóa đơn điện tử sau kí với chữ kí điện lực Gửi hóa đơn điện tử cho Gửi hóa đơn cho khách hàng qua email sau khách hang kí số Services xác thực hóa đơn Services xác thực hóa đơn cho quan thuế Import liệu Nhập liệu số công Đối với nơi chƣa có hệ thống đọc số Import liệu số công tơ từ file từ hệ thống đọc số công tơ khác 59 tơ công tơ tự động, hệ thống cho phép cán điện lực nhập liệu số công tơ tay 10 Quản lý thông tin khách Cán quản trị nội dung quản lý thông tin hang khách hàng, 11 Sinh mã số khách hàng 12 Sinh số hóa đơn 13 Kí điện tử lên hóa đơn 14 Quản lý ngƣời dung 15 Phân quyền sử dụng 16 Tạo nhóm ngƣời dùng 17 Xuất báo cáo Hệ thống tự động sinh mã số cho khách hàng thêm khách hàng vào hệ thống Sinh số hóa đơn điện tử Thực kí điện tử trƣớc xuất hóa đơn cho khách hàng Quản lý ngƣời dùng hệ thống Phân quyền sử dụng cho nhóm ngƣời dùng hệ thống Tạo nhóm ngƣời sử dụng hệ thống Xuất báo cáo tình hình sử dụng điện nƣớc, tỉnh theo tháng, năm Bảng 3.2: Danh sách ca sử dụng Biểu đồ Use case Hình 3.6: Biểu đồ Use Case 60 e Biểu đồ trình tự biểu đố hoạt động ca sử dụng UC Download hóa đơn điện tử - Actor: Khách hàng, cán điện lực - Điều kiện trƣớc: Ngƣời dùng trang xem danh sách hóa đơn Hóa đơn trạng thái đƣợc kí điện tử - Actor liên quan: Hệ thống - Biểu đồ trình tự Hình 3.7: Biểu đồ trình tự ca sử dụng download hóa đơn điện tử - Lớp xử lý giao diện gửi yêu cầu download hóa đơn điện tử - Dựa vào yêu cầu này, hệ thống đánh mục tìm hóa đơn theo mã để xác định hóa đơn database - Hệ thống tự động sinh truy vấn đến database có mã số hóa đơn - Trả liệu hóa đơn điện tử theo dạng XML 61 UC xác thực hóa đơn - Actor: Ngƣời dùng - Điều kiện trƣớc: Không có - Actor liên quan: Hệ thống - Biểu đồ trình tự: Hình 3.8: Biểu đồ trình tự ca sử dụng xác thực hóa đơn - Ngƣời dùng thực upload liệu hóa đơn điện tử lên hệ thống để thực xác thực hóa đơn - Bộ Paser hệ thống thực tách phần data phần chữ kí gửi vào hệ thống xác thực - Hệ thống xác thực đƣợc cung cấp khóa công khai hệ thống thực việc kí lên hóa đơn Sau thực xác thực trả thông tin hóa đơn có bị thay đổi nội dung hệ thống sinh quản lý hóa đơn điện tử cung cấp hay không 62 UC kí điện tử lên hóa đơn Kí điện tử lên hóa đơn Tên UC Để hóa đơn có ý nghĩa, hệ thống cần kí lên hóa đơn Sau hóa đơn có đầy đủ thông tin, hệ thống chuyển thông tin đến máy kí số chuyên dụng Máy thực kí Mô tả UC trả chữ kí số, hệ thống lưu khối liệu thành dạng XML lưu vào trường liệu phi cấu trúc bảng hóa đơn Actor kích hoạt Cán điện lực Actor liên quan HeThong UC khởi động UC liên quan Luồng kiện Cán chọn chức kí lên danh sách hóa đơn lập Hệ thống tổng hợp trường liệu thành mảng byte Gửi mảng byte vào máy kí số chuyên dụng Máy kí số sinh chữ kí trả cho hệ thống Hệ thống tổng hợp liệu vào file XML Lưu liệu XML vào trường liệu hóa đơn phi cấu trúc database Luồng kiện thay A1 Báo lỗi trình kí không thành công Bảng 3.3 Mô tả biểu đồ hoạt động UC kí lên hóa đơn điện tử 63 Biểu đồ hoạt động Hình 3.9: Biểu đồ hoạt động ca sử dụng kí số hóa đơn 64 UC import liệu Import liệu Tên UC Mô tả UC Import liệu từ file hệ thống đọc số công tơ thu thập Actor kích hoạt Cán điện lực Actor liên quan HeThong UC khởi động UC liên quan Luồng kiện Cán chọn chức import liệu upload file số công tơ lên hệ thống Hệ thống thực đọc file, phân tích liệu Insert liệu vào database Đặt trạng thái hóa đơn chờ kí Luồng kiện thay A1 Báo lỗi trình import không thành công Bảng 3.4: Mô tả biểu đồ hoạt động UC Import liệu 3.4 Thiết kế mô hình liệu - Dân số Cộng hòa dân chủ nhân dân Lào ƣớc tính có 6.7 triệu dân Nhƣ vậy, lƣợng hóa đơn tiền điện tính theo tháng lên tới số khổng lồ vài năm sử dụng Do đó, cần phải phân tán liệu thành database nhỏ để thực lƣu trữ, cập nhật truy vấn liệu cách nhanh - Mô hình đƣa tỉnh có liệu hóa đơn điện tử riêng cho tỉnh Do giảm đƣợc đáng kể số hóa đơn database Do thao tác truy vấn để xuất báo cáo quan trọng thƣờng xẩy hệ thống, đó, cần có hệ thống database làm thao tác đọc Khi cần query liệu, query đến database đọc Dữ liệu tỉnh sau đƣợc import vào đƣợc đồng theo lô lên database đọc vào thấp điểm 65 - Khi câu truy vấn đến, với tham số vào mã hóa đơn, ta mã hóa đơn năm database tỉnh Nhƣ ta xây dựng database mục Cần lựa chọn công nghệ phù hợp cho db này, thông thƣờng dùng lusen server làm db mục Từ biết cần query đến db tỉnh để đƣợc hóa đơn cần tìm Cơ sở liệu ngành Readonly database Indexer DB Tự động đồng liệu Cơ sở liệu tỉnh Hình 3.10: Mô hình logic phân tán Mô hình liên kết bảng hệ thống a Cho chức quản lý hệ thống phân quyền người sử dụng Hình 3.11: Mô hình thực thể liệu 66 b Bảng hóa đơn Hình 3.12: Mô hình trường liệu bảng Hóa đơn c Bảng mục hóa đơn Hình 3.13: Bảng mục hóa đơn 3.5 Xây dựng ứng dụng đánh giá hiệu 3.5.1 Lựa chọn công nghệ - Do đặc thù phải đồng liệu cách liên tục, phải chọn phiên SQL server enterprise từ phiên 2008 trở lên Các db phải thiết lập chế 67 độ Replication, tự động đồng theo chiều từ db tỉnh lên sở liệu nghành - Dabase indexer: sử dụng Lucene 3.4.0 Đây db chuyên dùng để đánh mục, chịu đựng hàng tỉ record Hình 3.14: Indexer database proccess - Kí số: Do số lƣợng hóa đơn vô lớn, kí điện tử thuật toán tốn tài nguyên, server không đủ tài nguyên để sử dụng nên phải dùng máy kí số chuyên dụng - Services cho quan thuế: sử dụng chuẩn giao thức SOAP, có xác thực tocken key kết nối - Ngôn ngữ lập trình: Microsoft MVC 5, Entity framework 6.0, có chế cache query - Hệ thống báo cáo: Sử dụng rdlc report 3.5.2 So sánh hiệu phân tích kết đầu a Hiệu tìm kiếm ghi đánh mục primary cluster (khóa chính) Số ghi Số lần test DB tập trung DB phân tán 100 1000 0.02s 0.3s 1000 1000 0.06s 0.4s 100.000 1000 1s 0.4s 1000.000 1000 1.2s 0.7s 10.000.000 500 3s 0.8s Bảng 3.5: Hiệu tìm kiếm ghi đƣợc đánh mục primary cluster (khóa chính) 68 b Tốc độ xuất báo báo thống kê theo khách hàng sử dụng điện Số ghi 100 1000 100.000 1000.000 10.000.000 Số lần test DB tập trung 1000 0.02s 1000 0.06s 1000 1s 1000 1.2s 500 3s Bảng 3.6: Tốc độ xuất báo cáo DB phân tán 0.3s 0.4s 0.4s 0.7s 0.8s c Phân tích kết đầu Qua việc đánh giá hiệu thấy rõ ràng với số lƣợng liệu, db tập trung tỏ tốc độ Nhƣng liệu tăng nhanh, DB tập trụng có thời gian chạy query lũy tiến nhanh, nhƣng DB phân tán trì thời gian mức ổn định Lý số ghi, DB phân tán lại chạy chậm query, hệ thống phải thực truy lục lần, lần vào DB indexer, lần vào db chứa liệu Trên thực tế, hệ thống quản lý hóa đơn có số lƣợng ghi lớn, việc áp dụng DB phân tán ứng dụng tuyệt đối cần thiết Biểu đồ so sánh hiệu 4 1.8 1 0.04 0.09 Hình 3.15: Biểu đồ so sánh hiệu Màu xanh: Có sử dụng phân tán Màu đỏ: DB tập trung 1- 100 records 2- 1000 records 3- 100.000 records 4- 1000.000 records 5- 10.000.000 records 69 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Kết luận Triển khai hệ thống sở liệu phân tán lĩnh phức tạp, cần phải hiểu biết kiến trúc hệ thống kiến thực sâu rộng Database Với đặc thù hệ thống yêu cầu nghiệp vụ khác có cách thiết kế cụ thể khác nguyên tắc sở liệu phân tán nói chung, áp dụng kiến trúc hệ thống vào đặc thù hệ thống khác đƣợc Luận văn đƣa nguyên tắc thiết kế hệ thống phân tán, kĩ thuật xử lý để áp dụng loại toán khác Trọng tâm luận văn mô hình phân tán liệu toán quản lý hóa đơn điện tử ngành điện Mô hình thiết kế đảm bảo bám sát vào yêu cầu nghiệp vụ việc xử lý hóa đơn, dịch vụ công mà ngành điện cần cung cấp cho xã hội nhƣ đƣa báo cáo thống kê cách hiệu quả, nhanh chóng Phần cuối luận văn so sánh phân tích đƣợc ƣu nhƣợc điểm triển khai sở liệu tập trung hay phân tán Từ kết luận đó, có thông tin bổ ích định xây dựng hệ thống thực tế theo mô hình phân tán hay tập trung Hƣớng phát triển Ngày nay, mà nhu cầu đơn giản hóa việc quản lý hóa đơn ngày tăng Hóa đơn điện tử thể đƣợc điểm mạnh tính tiện dụng nhƣ tiết kiệm dễ dàng quản lý Không với ngành điện, hệ thống áp dụng cách ngành nghề khác Việc ban hành hành lang pháp lý chữ kí điện tử tạo đà phát triển mạnh mẽ hóa đơn điện tử Trong tƣơng lai, cần mở rộng hệ thống nữa, xây dựng thêm chức dịch vụ công để giải triệt để toán hóa đơn phức tạp khó quản lý kinh tế 70 TÀI LIỆU THAM KHẢO * Tiếng Việt [1] Lê Huy Thập, Cơ sở lý thuyết song song, NXB THÔNG TIN VÀ TRUYỀN THÔNG, 8-2010 [2] Đoàn Văn Ban, Nguyễn Mậu Hân, Xử lý song song phân tán, NXB Khoa học Kỹ thuật, 2006 [3] Đỗ Xuân Lôi, Cấu trúc liệu giải thuật, NXB Khoa học Kỹ thuật, 1996 [4] Lê Huy Thập, Bài giảng CSDL phân tán, ĐH Sƣ Phạm Hà Nội Học Viện CN Bƣu Chính Viễn Thông [5]Đỗ Xuân Lôi, Cấu trúc liệu giải thuật, NXB Khoa học Kỹ thuật, 1996 * Tiếng Anh [6] Robert Sedgewick, Cẩm nang thuật toán Vol.1 and vol.2 NXB Khoa học Kỹ thuật, 2001 [7] M.Tamer Ozsu, Patrick Valduriez, Nguyên lý hệ liệu phân tá, Trần Đức Quang biên dịch, NXB Thống kê, 1999 [8] Seyed H Roo, “Parallel processing and Parallel Algorithms, Theory and Coputation”, Springer 1999 ... nghiệm với lƣợng liệu khổng lồ Qua kết luận tính khả dụng hình liệu phân tán toán quốc gia 4 CHƢƠNG 1: TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU VÀ CƠ SỞ DỮ LIỆU PHÂN TÁN 1.1 Khái niệm sở liệu Cơ sở liệu (Database)... Một số kĩ thuật xử lý sở liệu phân tán  Ứng dụng quản lý hóa đơn đặc thù ngành điện - Phạm vi nghiên cứu:  Nguyên tắc hệ thống phân tán  Kiến trúc mô hình sở liệu phân tán  Các kĩ thuật xử. .. lý hóa đơn điện tử CHDCND Lào, phân tích đặc thù hệ thống để đƣa kĩ thuật phân tán phù hợp, đánh giá mức độ hiệu kĩ thuật phân tán áp dụng Do đó, Một số kĩ thuật xử lý sở liệu phân tán ứng dụng