XỬ LÝ DỮ LIỆU SONG SONG VÀ PHÂN TÁN VỚI HADOOP

21 960 8
XỬ LÝ DỮ LIỆU SONG SONG VÀ PHÂN TÁN VỚI HADOOP

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

XỬ LÝ DỮ LIỆU SONG SONG & PHÂN TÁN VỚI HADOOP Trình bày: Nguyễn Minh Quý Bộ môn: CNPM – Khoa CNTT quyutehy@gmail.com Đặt vấn đề  Bạn từng xử lý dữ liệu có kích thước lớn nhất là bao nhiêu MB/GB?  Bạn dùng hệ quản trị cơ sở dữ liệu nào để lưu trữ? Access, SQL, MySQL hay Oracle?.  Giới hạn kích thước cơ sở dữ liệu trong SQL Server (Bản SQL Server Express) là bao nhiêu GB?  Các công cụ và môi trường bạn biết/làm việc có thể xử lý dữ liệu lên đến hàng ngàn, thậm chí hàng triệu, hàng tỉ GB được không?  Copy 1 triệu GB qua mạng LAN Gigabit hết bao lâu? Đặt vấn đề  Bạn từng xử lý dữ liệu có kích thước lớn nhất là bao nhiêu MB/GB?  Bạn dùng hệ quản trị cơ sở dữ liệu nào để lưu trữ? Access, SQL, MySQL hay Oracle?.  Giới hạn kích thước cơ sở dữ liệu trong SQL Server (Bản SQL Server Express) là bao nhiêu GB?  Các công cụ và môi trường bạn biết/làm việc có thể xử lý dữ liệu lên đến hàng ngàn, thậm chí hàng triệu, hàng tỉ GB được không?  Copy 1 triệu GB qua mạng LAN Gigabit hết bao lâu? Giải quyết?? Nội dung  HADOOP  Giới thiệu về Hadoop  Các thành phần trong Hadoop  Cấu hình và chạy Hadoop  Demo chương trình đếm từ trong văn bản  So sánh tốc độ với chương trình chạy trên máy đơn Giới thiệu Hadoop  Hadoop là một hệ thống lưu trữ, xử lý dữ liệu song song và phân tán.  Được Google phát triển từ năm 2002  Hiện có nhiều tổ chức và công ty lớn sử dụng: Yahoo, Google, Facebook,…  Năm 2009, Hadoop đã giành chiến thắng khi sắp xếp 1 terabyte (=1000GB) dữ liệu trong vòng 209s, phá kỷ lục trước đó là 297s. Giới thiệu Hadoop  Lưu trữ dữ liệu phân tán trên hệ thống Hadoop Distributed File System (HDFS) Mỗi Block có kích thước 64, 128,… MB Giới thiệu Hadoop  Xử lý song song và phân tán trên các nút Chương trình java sẽ được copy xuống các node và việc xử lý sẽ diễn ra tại node Kiến trúc của Hadoop Kiến trúc của HDFS MapReduce framework - Map phase:  Chuyển dữ liệu ban đầu thành các cặp <Key, Value> bằng hàm Map - Reduce phase:  Tổng hợp/tính toán trên danh sách <Key, Value> từ Map phase và tạo ra kết quả cuối cùng. Bằng hàm Reduce [...]...CÀI ĐẶT VÀ CẤU HÌNH HADOOP  Cài đặt hadoop    Chỉ việc download Hadoop tại địa chỉ (v1.1): http://mirrors.digipower.vn/apache /hadoop/ common/ hadoop- 1.1.0 /hadoop- 1.1.0.tar.gz Giải nén và copy vào thư mục bất kỳ, ví dụ /home /hadoop Đặt thông số cho các file cấu hình trong thư mục /conf của hadoop, gồm: core-site.xml, mapred-site.xml, hdfs-site.xml, masters, slaves CÀI ĐẶT VÀ CẤU HÌNH HADOOP  Cấu... Slave2 Chạy chương trình Hadoop   Biên dịch chương trình viết trong Java sang file rar Vd: Chạy chương trình wordcount (có sẵn trong hadoop)  B1.Copy file lên server: hadoop dfs -copyFromLocal /home/quynm /hadoop/ wordcountdata/ /user/root/  B2.Chạy: hadoop jar /home/quynm /hadoop/ hadoopexamples-1.0.0.jar wordcount Màn hình chạy Hadoop Xem tiến trình xử lý trên web So sánh tốc độ với chương trình chạy... 192.168.1.11 và 192.1.12) Cấu hình cho mô hình Hadoop có 1 master và 2 slaves (node) Master node IP: 192.168.1.10 Slave1 (Data node) IP: 192.168.1.11 Slave2 (Data node) IP: 192.168.1.12 Cấu hình cho mô hình Hadoop có 1 master và 2 slaves (node) Master node IP: 192.168.1.10 Step 1: Sửa file /etc/hosts Trên cả 3 nodes Slave1 (Data node) IP: 192.168.1.11 Slave2 (Data node) IP: 192.168.1.12 Cấu hình cho mô hình Hadoop. .. hình Hadoop có 1 master và 2 slaves (node) STEP 2: Master node IP: 192.168.1.10 Slave1 (Data node) IP: 192.168.1.11 Thêm đường dẫn đến Java trong file /etc/bash.bashrc trên cả 3 nodes Slave2 (Data node) IP: 192.168.1.12 export HADOOP_ HOME=/home/quynm /hadoop export JAVA_HOME=/usr/lib/jvm export HIVE_HOME=/home/quynm/hive0.8.1 export PATH=$PATH:$JAVA_HOME/bin export PATH=$PATH: $HADOOP_ HOME/bin export... Màn hình chạy Hadoop Xem tiến trình xử lý trên web So sánh tốc độ với chương trình chạy trên máy đơn  Chạy bộ dữ liệu lớn (lên đến 240 triệu bản ghi) chứa các Flows gói tin trong mạng Internet Internet Flow export enabled LAN LAN Flow export enabled Flow export enabled Hadoop Name node WAN WAN Hadoop Data nodes So sánh (Benchmark) Kết quả thử nghiệm ... export JAVA_HOME=/usr/lib/jvm export HIVE_HOME=/home/quynm/hive0.8.1 export PATH=$PATH:$JAVA_HOME/bin export PATH=$PATH: $HADOOP_ HOME/bin export PATH=$PATH:$HIVE_HOME/bin Cấu hình cho mô hình Hadoop có 1 master và 2 slaves (node) Master node IP: 192.168.1.10 Đặt giá trị một số thuộc tính trong file cấu hình ở cả 3 Nodes Core-site.xml fs.default.name hdfs://master:54310 Hdfs-site.xml . Reduce CÀI ĐẶT VÀ CẤU HÌNH HADOOP  Cài đặt hadoop  Chỉ việc download Hadoop tại địa chỉ (v1.1): http://mirrors.digipower.vn/apache /hadoop/ common/ hadoop- 1.1.0 /hadoop- 1.1.0.tar.gz  Giải nén. dung  HADOOP  Giới thiệu về Hadoop  Các thành phần trong Hadoop  Cấu hình và chạy Hadoop  Demo chương trình đếm từ trong văn bản  So sánh tốc độ với chương trình chạy trên máy đơn Giới thiệu Hadoop  Hadoop. trình Hadoop  Biên dịch chương trình viết trong Java sang file rar.  Vd: Chạy chương trình wordcount (có sẵn trong hadoop)  B1.Copy file lên server: hadoop dfs -copyFromLocal /home/quynm /hadoop/ wordcountdata/

Ngày đăng: 06/10/2014, 11:56

Mục lục

  • XỬ LÝ DỮ LIỆU SONG SONG & PHÂN TÁN VỚI HADOOP

  • Kiến trúc của Hadoop

  • Kiến trúc của HDFS

  • CÀI ĐẶT VÀ CẤU HÌNH HADOOP

  • Cấu hình cho mô hình Hadoop có 1 master và 2 slaves (node)

  • Chạy chương trình Hadoop

  • Màn hình chạy Hadoop

  • Xem tiến trình xử lý trên web

  • So sánh tốc độ với chương trình chạy trên máy đơn

Tài liệu cùng người dùng

Tài liệu liên quan