Thông tin tài liệu
1
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ
****************
Nguyễn Văn Tâm
PHÂN TÍCH DỮ LIỆU HỆ THỐNG CẢNH BÁO
LỖI THIẾT BỊ MẠNG DỰA TRÊN BỘ CÔNG CỤ
PENTAHO
KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC CHÍNH QUY
Ngành: Công Nghệ Thông Tin
Hà Nội - 2013
2
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ
****************
Nguyễn Văn Tâm
PHÂN TÍCH DỮ LIỆU HỆ THỐNG CẢNH BÁO
LỖI THIẾT BỊ MẠNG DỰA TRÊN BỘ CÔNG CỤ
PENTAHO
KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC CHÍNH QUY
Ngành: Công Nghệ Thông Tin
Cán bộ hƣớng dẫn : ThS. Lê Hồng Hải
Hà Nội - 2013
1
TÓM TẮT
Cùng với việc áp dụng rộng rãi công nghệ thông tin vào trong hầu hết các lĩnh
vực trong đời sống, kinh tế, xã hội đó là việc dữ liệu thu nhận được qua thời gian ngày
càng nhiều.Vì vậy, yêu cầu thiết yếu đặt ra đối với các doanh nghiệp đó là việc khai
thác các dữ liệu một các hiệu quả để phục vụ cho việc kinh doanh ngày càng tốt hơn.
Khóa luận này với đề tài áp dụng công cụ Pentaho và kỹ thuật OLAP để phân tích, xử
lý kho dữ liệu trong báo cáo viễn thông.
2
LỜI CẢM ƠN
Để hoàn thành khóa luận chuyên ngành một cách hoàn chỉnh, em xin bày tỏ lòng
cảm ơn chân thành đến các thầy cô đã hướng dẫn thực tập tại trường Đại Học Công
Nghệ. Đặc biệt là thầy Lê Hồng Hải, thầy đã trực tiếp hướng dẫn tận tình, sửa chữa và
đóng góp nhiều ý kiến quý báu giúp chúng em hoàn thành khóa luận tốt nghiệp của
mình.
Con xin chân thành cảm ơn Ông Bà, Cha Mẹ đã luôn động viên, ủng hộ vật chất lẫn tinh
thần trong suốt thời gian qua.
Chân thành cảm ơn đến các bạn trong trong tập thể lớp K54CB đã hỗ trợ để mình có thể
hoàn thành tốt khóa luận.
Lời cảm ơn chân thành và sâu sắc, em xin gửi đến gia đình, đã luôn sát cánh và
động viên em trong những giai đoạn khó khăn nhất.
Em cũng xin chân thành gửi lời cảm ơn đến tất cả các thầy cô đã giảng dạy em thời gian
qua, đã truyền đạt và trang bị cho em những kinh nghiệm, kiến thức chuyên môn, giúp chúng
em mở rộng tầm nhìn khi thâm nhập vào thực tế. Em xin hứa sẽ không ngừng phấn đấu nỗ lực
vươn lên trong học tập và công tác sau này.
Sinh viên
Nguyễn Văn Tâm
3
LỜI CAM ĐOAN
Tôi xin cam đoan khóa luận tốt nghiệp là do tôi "Nguyễn Văn Tâm" viết dưới sự
hướng dẫn của ThS.Lê Hồng Hải, bộ môn Các hệ thống thông tin, trường Đại học
Công nghệ, Đại học Quốc gia Hà Nội. Trong toàn bộ nội dung của khóa luận, tôi xin
cam đoan ngoài những phần do cá nhân tự viết, mọi nội dung có nguồn gốc từ nghiên
cứu bên ngoài, của cá nhân hay tổ chức đều được chỉ rõ trong trích dẫn và trong danh
mục tài liệu tham khảo một cách rõ ràng. Nếu có vấn đề sai sót tôi xin hoàn toàn chịu
trách nhiệm.
4
MỤC LỤC
Chƣơng 1: Giới thiệu hệ thống và lý do chọn đề tài, tìm hiểu kho dữ liệu, tổng
quan về OLAP 10
1.1. Hệ thống xử lý lỗi trong thiết bị mạng Vinaphone 10
1.2. Kho dữ liệu (Data warehouse) 11
1.2.1. Kho dữ liệu 11
1.2.2. Đặc tính kho dữ liệu 11
1.2.3. Ích lợi của kho dữ liệu 12
1.2.4. Cấu trúc hệ thống kho dữ liệu 12
1.2.5. Ứng dụng của kho dữ liệu (Data warehouse) 14
1.3. Tổng quan về OLAP, các mô hình lưu trữ hỗ trợ kỹ thuật OLAP, ưu điểm
và nhược điểm của các mô hình. 15
1.3.1. Giới thiệu OLAP 15
1.3.2. Cấu trúc OLAP 16
1.3.3. Đơn vị lưu trữ OLAP 17
1.3.4. Một số mô hình hỗ trợ OLAP 18
1.3.4.1. Mô hình Multidimentional OLAP (MOLAP) 18
1.3.4.2. Mô hình Relational OLAP (ROLAP) 19
1.3.4.3. Mô hình Hybrid OLAP (HOLAP) 19
1.3.5. So sánh mô hình dữ liệu 20
Chƣơng 2: Giới thiệu bộ công cụ Pentaho 21
2.1. Tổng quan BI (Pentaho) 21
2.2. Các tính năng mà BI Pentaho hỗ trợ 23
2.3. Lợi ích công cụ BI Pentaho mang lại 25
2.4. Tìm hiểu một số công cụ BI áp dụng vào bài toán thực tế 27
2.4.1. Giới thiệu và sử dụng công cụ PDI (Pentaho Data Integration) 27
2.4.1.1. Giới thiệu công cụ PDI 27
2.4.1.2. Sử dụng công cụ PDI 28
2.4.2. Giới thiệu và sử dụng công cụ Schema workbench 29
2.4.2.1. Giới thiệu Schema workbench 29
2.4.2.2. Sử dụng Schema workbench 30
5
Chƣơng 3: Xây dựng bài toán dữ liệu trên công cụ Pentaho và kết quả đạt đƣợc
32
3.1. Xây dựng bài toán triển khai trên công cụ Pentaho 32
3.2. Thu thập xây dựng dữ liệu thô từ hệ quản trị Oracle 32
3.3. Xây dựng Data Warehouse sử dụng công cụ Pentaho 34
3.4. Xử lý bằng kĩ thuật OLAP sử dụng công cụ Schema-workbench 47
3.4.1. Tạo cube và publish lên server 47
3.4.2. Thiết kế biểu đồ, báo cáo 49
Chƣơng 4: Kết luận 58
Tài liệu kham khảo 59
6
DANH SÁCH HÌNH VẼ
Hình 1: Cấu trúc hệ thống kho dữ liệu 13
Hình 2: Ứng dụng kho dữ liệu trong Business Intelligence 15
Hình 3: Mô hình cấu trúc OLAP 16
Hình 4: Mô hình dữ liệu MOLAP 18
Hình 5: Mô hình dữ liệu ROLAP 19
Hình 6: Kiến trúc Pentaho BI 21
Hình 7: Báo cáo đồ thị 23
Hình 8: Phân tích lược đồ 24
Hình 9: Ứng dụng data warehouse 25
Hình 10: Công cụ Spoon 27
Hình 11: Giao diện đồ họa Spoon 29
Hình 12: Giao diện thiết kế schema workben 30
Hình 13: Tạo thuộc tính kết nối Cube 30
Hình 14: Chọn kết nối tới cơ sở dữ liệu 31
Hình 15: Tạo mới schema cube 31
Hình 16: Dữ liệu thô các cảnh báo lỗi 33
Hình 17: Mô hình mối quan hệ giữa các bảng dữ liệu 34
Hình 18: Dữ liệu vào từ Oracle 35
Hình 19: Lựa chọn cơ sở dữ liệu 36
Hình 20: Lựa chọn kết nối 37
Hình 21: Step Combination lookup/update 38
Hình 22: Connection dim_time 39
Hình 23: Kết nối dim_time 39
Hình 24: Kiểm tra kết nối tới database 40
Hình 25: Tạo dim_time 41
Hình 26: Hiển thị các bảng dim 42
Hình 27: Tạo bảng dữ liệu fact_alarm 43
Hình 28: Hiển thị log 44
Hình 29: Tạo một thủ tục 45
Hình 30: Dữ liệu sau khi xử lý 46
7
Hình 31: Tạo cube 47
Hình 32: Tạo kết nối tới Admintor 48
Hình 33: Đăng nhập server 48
Hình 34: Giao diện thiết kế báo cáo 49
Hình 35: Lựa chọn schema 49
Hình 36: Thiết kế biểu đồ 50
Hình 37: Lựa chọn thước đo 50
Hình 38: Lựa chọn chiều thời gian 51
Hình 39: Lựa chọn thời gian theo năm 51
Hình 40: Lựa chọn thời gian tháng, ngày, giờ 52
Hình 41: Chỉnh sửa cấu trúc biểu đồ. 53
Hình 42: Biểu đồ đường thể hiện tổng số lỗi trong năm 2012 53
Hình 43: Biểu đồ cột thể hiện tổng số lỗi trong năm 2012 54
Hình 44: Biểu đồ cột nhiều mầu sắc thể hiện tổng số lỗi trong năm 2012 55
Hình 45: Bảng dữ liệu về tổng lỗi năm 2012 55
Hình 46: Xử lý các chiều dữ liệu để phân tích 56
Hình 47: Lựa chọn mức lỗi 56
Hình 48: Biểu đồ đường hiển thị mức lỗi 57
Hình 49: Biểu đồ cột hiển thị mức lỗi 57
8
BẢNG TỪ VIẾT TẮT
OLAP
Online Analysis Processing
MOLAP
Multidimensional Online Analysis Processing
ROLAP
Relational Online Analysis Processing
HOLAP
Hybird Online Analysis Processing
PDI
Pentaho Data Integration
[...]... kho dữ liệu, phương pháp OLAP và ứng dụng trong phân tích các cảnh báo lỗi của nhà mạng Vinaphone bằng công cụ Pentaho Khóa luận gồm bốn chương: Chương 1 Giới thiệu tổng quan hệ thống và lý do chọn đề tài Giới thiệu kho dữ liệu, tổng quan về OLAP, các mô hình lưu trữ hỗ trợ kỹ thuật OLAP, ưu điểm và nhược điểm của các mô hình Chương 2 Giới thiệu bộ công cụ Pentaho, tìm hiểu cụ thể một số công cụ Pentaho. .. 3.2 Thu thập xây dựng dữ liệu thô từ hệ quản trị Oracle Dữ liệu dưới đây, em lấy từ hệ thống FM tool core của công ty cổ phần viễn thông Telsoft Nguồn dữ liệu đã được import và lưu trữ trên database Oracle Do số lượng các cảnh báo thường xuyên xẩy ra và chèn vào cơ sở dữ liệu nên nguồn dữ liệu trong database là vô cùng lớn và đơn phức tạp 32 Hình 16: Dữ liệu thô các cảnh báo lỗi Dữ liệu trong khi thu... lỗi Dữ liệu trong khi thu thập có đầy đủ các thông tin về một cảnh báo lỗi như thời gian xẩy ra cảnh báo lỗi, mã lỗi, tên thiết bị, mã thiết bị, tên nhà cung cấp, nguyên nhân lỗi, mức độ nguy hiểm của cảnh báo Ví dụ thông tin về một cảnh báo thì có dạng như sau Mã lỗi Thờ i gian xẩy ra lỗi Mã Tên thi thiết ết bị bị Nguyên nhân lỗi Chi tiết lỗi 12 3 11Jul201 3 17 1 SYNCHR ONOUS DIGIEML PATH QUALITY SUPERVIS... xử lý chậm Dữ liệu dùng cho hệ thống báo cáo sản lượng là dữ liệu nghiệp vụ chưa qua xử lý, còn dư thừa nhiều, không phù hợp với một hệ thống báo cáo và phân tích số liệu Để giải quyết vấn đề này, hệ thống Data warehouse (kho dữ liệu) ra đời cùng với các kỹ thuật OLAP, Data mining (khai phá dữ liệu) để có thể giúp được người quản trị cấp cao trả lời các câu hỏi mà họ yêu cầu 10 1.2 Kho dữ liệu (Data... Hình 1: Cấu trúc hệ thống kho dữ liệu 13 1.2.5 Ứng dụng của kho dữ liệu (Data warehouse) Kho dữ liệu được đưa vào ba mảng ứng dụng chính Theo như cách khai thác truyền thống đối với cơ sở dữ liệu, kho dữ liệu được sử dụng để khai thác thông tin bằng các công cụ thực hiện truy vấn và báo cáo Nhờ việc dữ liệu thô đã được chuyển sang thành các dữ liệu ổn định, có chất lượng nên kho dữ liệu đã giúp nâng... cho mục đích kinh doanh cụ thể cần áp dụng Kỹ thuật Công cụ khai thác dữ liệu mạnh: Cung cấp một công cụ học giải thuật toàn diện từ dự án Weka bao gồm xếp nhóm, chia đoạn, quyết định hình cây, kiểu ngẫu nhiên, kiểu hình mạng, và phân tích nhân tố thiết yếu Pentaho tích hợp với hệ Pentaho BI xử lý chuyển đổi định dạng dữ liệu tự động thành các định dạng mà công cụ khai thác dữ liệu cần [8] Giải thuật... bài toán phân tích thống kê dữ liệu bằng công cụ Pentaho để xuất ra báo cáo phục vụ mục đích cho việc kinh doanh và định hướng phát triển trong tương lai Thông qua nguồn dữ liệu thô sinh ra trong các thiết bị mạng Vinaphone, em tinh lọc và xử lý thành một nguồn dữ liệu chuẩn để có thể xây dựng bài toán Môi trường thực hiện: Hệ điều hành window Hệ quản trị Oracle, mysql Bộ công cụ Pentaho Data... dữ liệu đa chiều và mối quan hệ giữa chúng, kiến trúc chủ khách, giao diện người dùng đồ họa và nhiều nữa Dữ liệu trong kho dữ liệu không giống dữ liệu của hệ điều hành là loại chỉ có thể đọc nhưng không chỉnh sửa được Hệ điều hành tạo ra, chỉnh sửa và xóa những dữ liệu sản xuất mà những dữ liệu này cung cấp cho kho dữ liệu Nguyên nhân chính cho sự phát triển một kho dữ liệu là hoạt động tích hợp dữ. .. phát triển đi thẳng vào công nghệ hiện đại nhất Trước sự phát triển công nghệ thông tin viễn thông đó, mạng di động này cũng gặp phải nhiều sự cố, lỗi do các thiết bị phần cứng gây ra cũng như lưu lượng người truy cập quá lớn làm hệ thống quá tải và sinh ra các cảnh báo lỗi Để có thể biết trước được khả năng phát sinh ra lỗi của thiết bị, nhà mạng cần phải lưu lại dữ liệu phân tích và xử lý để có kế... tương lại Sau một thời gian dài hoạt động do dữ liệu hệ thống ngày một gia tăng cùng với nhu cầu cao hơn trong phân tích số liệu hệ thống đã không đáp ứng được một số vấn đề sau đây - - Do dữ liệu ngày càng gia tăng vì thế tốc độ xử lý các truy vấn để tạo báo cáo sản lượng chậm Tổ chức dữ liệu theo mô hình cơ sở dữ liệu quan hệ khiến cho việc truy vấn dữ liệu không linh hoạt Với những câu hỏi nghiệp .
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ
****************
Nguyễn Văn Tâm
PHÂN TÍCH DỮ LIỆU HỆ THỐNG CẢNH BÁO
LỖI THIẾT BỊ MẠNG DỰA TRÊN BỘ CÔNG CỤ
PENTAHO
.
PHÂN TÍCH DỮ LIỆU HỆ THỐNG CẢNH BÁO
LỖI THIẾT BỊ MẠNG DỰA TRÊN BỘ CÔNG CỤ
PENTAHO
KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC CHÍNH QUY
Ngành: Công Nghệ
Ngày đăng: 09/03/2014, 19:20
Xem thêm: Đề tài " PHÂN TÍCH DỮ LIỆU HỆ THỐNG CẢNH BÁO LỖI THIẾT BỊ MẠNG DỰA TRÊN BỘ CÔNG CỤ PENTAHO " potx, Đề tài " PHÂN TÍCH DỮ LIỆU HỆ THỐNG CẢNH BÁO LỖI THIẾT BỊ MẠNG DỰA TRÊN BỘ CÔNG CỤ PENTAHO " potx