TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO THỰC TẬP CHUYÊN MÔN Tên đề tài: TÌM HIỂU CƠNG NGHỆ CLUSTERING ĐẢM BẢO DỊCH VỤ CỦA MÁY CHỦ GIÁO VIÊN HƯỚNG DẪN : Th.S NGUYỄN THANH TOÀN SINH VIÊN THỰC HIỆN : NGUYỄN VĂN HIỂN LỚP : MMT & TT K50 Hà Nội – 2012 TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO THỰC TẬP CHUN MƠN Tên đề tài: TÌM HIỂU CƠNG NGHỆ CLUSTERING ĐẢM BẢO DỊCH VỤ CỦA MÁY CHỦ GIÁO VIÊN HƯỚNG DẪN : Th.S NGUYỄN THANH TOÀN SINH VIÊN THỰC HIỆN : NGUYỄN VĂN HIỂN LỚP : MMT & TT K50 Hà Nội – 2012 MỤC LỤC Lời nói đầu Lời cảm ơn Phần I : Tổng quan công nghệ Clustering .6 I Khái niệm phân loại : .6 i Khái niệm : .6 ii Phân loại kĩ thuật Clustering : loại II Cấu trúc chế độ hoạt động Cluster : III Cluster nhiều địa điểm phân tán : 10 IV Tối ưu hoá thiết bị lưu trữ cluster : .11 V Tính mở Cluster : .12 Phần II : Linux Cluster .13 LỜI NÓI ĐẦU Trong thời đại bùng nổ cơng nghệ thơng tin nay, mạng máy tính đóng vai trò ngày quan trọng hoạt động doanh nghiệp, tổ chức quan nhà nước Thậm chí số đơn vị, chẳng hạn công ty hàng không ngân hàng lớn, mạng máy tính ví hệ thần kinh điều khiển hoạt động toàn doanh nghiệp Sự ngừng hoạt động mạng máy tính quan làm tê liệt hoạt động đơn vị, thiệt hại khó lường trước Chúng ta biết máy chủ trái tim của mạng máy tính, máy chủ mạng hỏng, hoạt động hệ thống bị ngưng trệ Điều đáng tiếc dù hãng sản xuất cố gắng làm cách để nâng cao chất lượng thiết bị, hỏng hóc thiết bị mạng nói chung máy chủ nói riêng điều khơng thể tránh khỏi Do vậy, vấn đề đặt cần có giải pháp để đảm bảo cho hệ thống hoạt động tốt có cố xảy máy chủ mạng, công nghệ clustering (bó) câu trả lời cho vấn đề Sau số tìm hiểu em cơng nghệ áp dụng cho hệ thống máy tính lớn , tưởng chừng đơn giản thực tế lại phức tạp Do thời gian vốn tài liệu , khả tiếng anh cịn , kiến thức hiểu biết dừng lại mức độ tìm hiểu bao qt nên cịn nhiều thiếu sót Em mong đóng góp thầy tồn thể bạn để báo cáo sau em trở nên tốt Em xin chân thành cảm ơn! Hà Nội, ngày tháng năm 2012 Sinh viên Phần I : Tổng quan công nghệ Clustering I Khái niệm phân loại : i Khái niệm : Clustering kiến trúc nhằm đảm bảo nâng cao khả sẵn sàng cho hệ thống mạng máy tính Clustering cho phép sử dụng nhiều máy chủ kết hợp với tạo thành cụm (cluster) có khả chịu đựng hay chấp nhận sai sót (fault-tolerant) nhằm nâng cao độ sẵn sàng hệ thống mạng Cluster hệ thống bao gồm nhiều máy chủ kết nối với theo dạng song song hay phân tán sử dụng tài nguyên thống Nếu máy chủ ngừng hoạt động bị cố để nâng cấp, bảo trì, tồn cơng việc mà máy chủ đảm nhận tự động chuyển sang cho máy chủ khác (trong cluster) mà không làm cho hoạt động hệ thống bị ngắt hay gián đoạn Quá trình gọi “fail-over”; việc phục hồi tài nguyên máy chủ hệ thống (cluster) gọi “fail-back” Yêu cầu việc thiết kế lắp đặt cluster : • Yêu cầu tính sẵn sàng cao (availability) : Các tài nguyên mạng phải sẵn sàng khả cao để cung cấp phục vụ người dùng cuối giảm thiểu ngưng hoạt động hệ thống ngồi ý muốn • u cầu độ tin cậy cao (reliability) : Độ tin cậy cao cluster hiểu khả giảm thiểu tần số xảy cố, nâng cao khả chịu đựng sai sót hệ thống • u cầu khả mở rộng (scalability).: Hệ thống phải có khả dễ dàng cho việc nâng cấp, mở rộng tương lai Việc nâng cấp mở rộng bao hàm việc thêm thiết bị, máy tính vào hệ thống để nâng cao chất lượng dịch vụ, việc thêm số lượng người dùng, thêm ứng dụng, dịch vụ thêm tài nguyên mạng khác Ba yêu cầu gọi tắt RAS (Reliability-Availability-Scalability), hệ thống đáp ứng ba yêu cầu gọi hệ thống RAS (cần phân biệt với Remote Access Service dịch vụ truy cập từ xa) ii Phân loại kĩ thuật Clustering : loại • Cluster : dùng cho ứng dụng Stateful applications ( ứng dụng hoạt động thường xuyên thời gian dài ) bao gồm database server Microsoft MSQL Server, Microsoft Exchange Server, File and Print Server….Tất node cluster dung chung nơi lưu trữ sở liệu dung cơng nghệ SCSI hoạc Storage Area Network(SAN) Windows Server 2003 Enterprise Datacenter hỗ trợ cluster lên đến node Windows 2000 Advance Server hỗ trợ node Windows 2000 Datacenter node • NLB (Cân tải mạng): Là loại khác kỹ thuật Clustering có khả chia tải nâng cao khả chịu lỗi hệ thống tốt hơn, Được dung cho ứng dụng Stateless applications (các ứng dụng hoạt động mang tính thời) như: Web, File Tranfer Protocol (FTP), Virtual Private NetWork (VPN), DHCP… Mỗi liệu nơi lưu trữ, số lượng node nhiều thời gian cho việc replication lâu điều nên ta không nên triển khai ứng dụng Stateful kỹ thuật NLB nhằm đảm bảo tính xác liệu Cũng cần ý hiệu hoạt động hệ thống Clustering phụ thuộc vào tương thích ứng dụng dịch vụ, phần cứng phần mềm Ngoài ra, kỹ thuật clustering chống lại cố xảy virus, sai sót phần mềm hay sai sót người sử dụng Để chống lại cố cần xây dựng sở liệu bảo vệ chắn có kế hoạch khôi phục, backup liệu II Cấu trúc chế độ hoạt động Cluster : Cấu trúc : Cluster tổ chức thành nhóm gọi farm hay pack Trong hầu hết trường hợp, dịch vụ tầng trước (front-end and middle-tiers services) tổ chức thành farm sử dụng clone, dịch vụ tầng sau (back-end services) tổ chức thành pack Các khái niệm farm, pack clone hệ thống cluster làm rõ • Cluster Farm : nhóm máy chủ chạy dịch vụ giống nhau, không dùng chung sở liệu Được gọi farm (trang trại) chúng xử lý yêu cầu gửi đến cho chúng sở liệu (tài nguyên) giống hệt lưu giữ cục bộ, không dùng chung sở liệu Cũng tính chất nên máy chủ thành viên farm làm việc độc lập chúng gọi clone (clone máy tính thiết kế để mơ chức máy tính khác) • Cluster Pack : nhóm máy chủ hoạt động với chia sẻ với phần sở liệu Được gọi pack (khối) hoạt động máy chủ thành viên pack có liên hệ chặt chẽ với chúng làm việc theo phương thức thống để quản lý trì dịch vụ Chế độ hoạt động Cluster : Mỗi máy chủ cluster gọi nút (cluster node), thiết lập chế độ chủ động (active) hay thụ động (passive) Khi nút chế dộ chủ động, chủ động xử lý yêu cầu Khi nút thụ động, nằm chế độ dự phịng nóng (stanby) chờ để sẵn sàng thay cho nút khác bị hỏng Nguyên lý hoạt động Cluster biểu diễn hình Hình Nguyên lý hoạt động Cluster Trong cluster có nhiều nút kết hợp nút chủ động nút thụ động Trong mơ hình loại việc định nút cấu hình chủ động hay thụ động quan trọng Để hiểu lý sao, xem xét tình sau: - Nếu nút chủ động bị cố có nút thụ động sẵn sàng, ứng dụng dịch vụ chạy nút hỏng chuyển sang nút thụ động Vì máy chủ đóng vai trò nút thụ động chưa chạy ứng dụng hay dịch vụ nên gánh tồn cơng việc máy chủ hỏng mà khơng ảnh hưởng đến ứng dụng dịch vụ cung cấp cho người dùng cuối (Ngầm định các máy chủ cluster có cấu trúc phần cứng giống nhau) - Nếu tất máy chủ cluster chủ động có nút bị cố, ứng dụng dịch vụ chạy máy chủ hỏng phải chuyển sang máy chủ khác đóng vai trị nút chủ động Vì nút chủ động nên bình thường máy chủ phải đảm nhận số ứng dụng hay dịch vụ đó, có cố xảy phải gánh thêm cơng việc máy chủ hỏng Do để đảm bảo hệ thống hoạt động bình thường kể có cố máy chủ cluster cần phải có cấu hình dư đủ để gánh thêm khối lượng cơng việc máy chủ khác cần Trong cấu trúc cluster mà nút chủ động dự phòng nút thụ động, máy chủ cần có cấu hình cho với khối lượng cơng việc trung bình chúng sử dụng hết khoảng 50% CPU dung lượng nhớ Trong cấu trúc cluster mà số nút chủ động nhiều số nút bị động, máy chủ cần có cấu hình tài ngun CPU nhớ mạnh để xử lý khối lượng cơng việc cần thiết nút bị hỏng Các nút cluster thường phận vùng (domain) cấu hình máy điều khiển vùng (domain controllers) hay máy chủ thành viên Lý tưởng cluster nhiều nút có hai nút làm máy điều khiển vùng đảm nhiệm việc failover dịch vụ vùng thiết yếu Nếu không khả sẵn sàng tài nguyên cluster bị phụ thuộc vào khả sẵn sàng máy điều khiển domain III Cluster nhiều địa điểm phân tán : Với hệ thống mạng lớn có người dùng phân bố rải rác, hiệu việc phòng chống cố nâng cao tính sẵn sàng mạng cải thiện nhiều xây dựng hệ thống cluster bố trí nhiều địa điểm Kiến trúc nhiều địa điểm thiết kế theo nhiều cách khác nhau, phổ biến có điểm gốc số điểm xa • • Với kiểu thiết kế đầy đủ, toàn cấu trúc điểm gốc xây dựng lại đầy đủ điểm xa Điều cho phép điểm xa hoạt động độc lập xử lý tồn khối lượng công việc điểm gốc cần Trong trường hợp này, việc thiết kế phải đảm bảo cho sở liệu ứng dụng điểm gốc điểm xa phải đồng cập nhật lặp chế độ thời gian thực Với kiểu thiết kế thực phần có thành phần cài đặt điểm xa nhằm: Xử lý khối lượng công việc tải cao điểm; Duy trì hoạt động mức trường hợp điểm gốc site bị cố; Cung cấp số dịch vụ hạn chế cần 10 Cả kiểu thiết kế đầy đủ hay phần dùng phương cách phân tán máy chủ rải rác mặt địa lý Cluster phân tán địa lý sử dụng mạng LAN ảo (Virtual LAN) để kết nối mạng khu vực lưu trữ SAN (storage area network) qua khoảng cách lớn Để trì hoạt động cluster cách hiệu quả, yêu cầu kết nối mạng LAN ảo phải có độ trễ khoảng 500 ms IV Tối ưu hoá thiết bị lưu trữ cluster : Các thiết bị lưu trữ cluster cần tối ưu hoá sở nhu cầu hiệu mức độ sẵn sàng Trong bảng cung cấp cách khái quát cấu hình hệ thống đĩa dự phịng RAID phổ biến lựa chọn cho Cluster Các đầu mục bảng xếp từ mức RAID cao đến thấp Bảng Các cấu trúc RAID cho Cluster Mức Kiểu RAID RAID Mô tả RAID Ưu/Nhược điểm 5+1 Phân “vành” (Disk striping) có kiểm tra chẵn lẻ (parity checking) + phản chiếu (mirroring) Cần khối (volume) trở lên, volume ổ đĩa riêng cấu hình giống hệt tạo thành tổ hợp vành gương có kiểm tra lỗi chẵn lẻ (parity error checking) Có mức chịu đựng lỗi cao dư thừa nhiều Hiệu suất sử dụng ổ đĩa thấp Phân “vành” có chẵn lẻ Cần volume trở lên, volume ổ đĩa riêng cấu thành tổ hợp vành có kiểm tra lỗi chẵn lẻ Trong trường hợp bị lỗi liệu phục hồi lại Có khả chịu đựng lỗi dư thừa so với kiểu gương Hiệu suất đọc cao so với kiểu gương Phản chiếu Hai volume hai ổ đĩa có cấu Có dự phịng nóng Hiệu hình giống hệt Dữ liệu suất ghi tốt so với đĩa ghi vào hai ổ đĩa Nếu ổ bị phân “vành” có chẵn lẻ lỗi, liệu khơng bị ổ đĩa lưu liệu 0+1 Phân “vành” + phản chiếu Hai volume trở lên, volume Có dự phịng nóng với hiệu ổ đĩa riêng, phân suất đọc/ghi tốt thành vành đai phn chiõu Dữ liệu ghi lên ổ 11 đĩa có cấu hình giống hệt V Phân “vành” Hai hay nhiều volume ổ Tốc độ hiệu đĩa riêng cấu hình thành khơng có bảo vệ liệu “vành” (stripe set) Dữ liệu chia thành khối ghi lên tất ổ đĩa stripe set Tính mở Cluster : Một vấn đề mà nhà đầu tư xây dựng hệ thống cần quan tâm khả mở rộng hệ thống Clustering Tuỳ theo yêu cầu cụ thể cluster cần phải thêm máy chủ vào Cluster, thêm CPU RAM cho máy chủ để tăng khả đảm nhận công việc cho máy chủ có Muốn mở rộng Cluster cách thêm server, hai yếu tố Kỹ thuật clustering lẫn Hệ điều hành mà server sử dụng quan trọng Ví dụ trình bày bảng sau đây, khác khả mở rộng Advanced Server Datacenter Server số nút dùng với Cluster Với Windows 2000, số nút máy chủ Cluster tối đa 4, với Windows NET, số nút máy chủ Cluster tối đa Bảng Số nút tối đa tương ứng với hệ điều hành kỹ thuật Clustering Hệ điều hành Kỹ thuật Clustering Tên gọi Phiên Windows 2000 Windows NET Cân tải mạng Cân tải thành phần Dịch vụ Cluster Advanced Server 32 Datacenter Server 32 Advanced Server 32 Datacenter Server 8 32 Muốn mở rộng Cluster cách thêm vào CPUs RAM việc dùng hệ điều hành vấn đề quan trọng Ví dụ Hệ điều hành Window 2000 Advanced Server hỗ trợ tối đa vi xử lý GB RAM, Window 2000 Datacenter Server hỗ trợ tối đa 32 vi xử lý 64 GB RAM Như vậy, phải nâng cấp hệ 12 điều hành từ Advanced Server lên Datacenter Server yêu cầu thêm CPU RAM vượt khả hệ điều hành dùng Phần II : Linux Cluster Mặc dù công nghệ clustering phổ biến dùng hệ điều hành nguồn đóng, thống kê thị phần mức tăng trưởng thị trường máy chủ cho thấy rõ ràng chuyển dịch sang hệ điều hành nguồn mở Linux ngày trở nên thực (IBM đầu tư khoảng tỷ USD để phát triển hệ thống IBM Linux cluster Bởi thảo luận công nghệ clustering, việc tìm hiểu Linux clustering vấn đề cần thiết) Linux cluster ý phát triển nhờ có đặc điểm như: Giá thành rẻ phát triển từ hệ điều hành UNIX có mã nguồn mở; Tốc độ tính tốn nhanh; Độ tin cậy cao Linux cluster sở xử lý Intel trở nên thông dụng viện ngiên cứu Đó phương án khơng q tốn vấn đề công nghệ thông tin lập trình song song, phát triển cơng cụ song song quản lý hệ thống phân tán Đồng thời, Intel Linux cluster xuất dự án nghiên cứu công nghiệp, đầu dạng hộp mẫu thử nghiệm hệ thống thiết kế Về nguyên lý hoạt động nói chung hệ thống Linux cluster giống hệ thống cluster dùng phần mềm nguồn đóng, nhiên hệ điều hành sở cho Linux cluster hệ điều hành Linux, cài đặt nút cluster Chương trình quản lý dùng Linux cluster tuỳ theo yêu cầu khách hàng hỗ trợ chức bao gồm việc cung cấp giao diện dòng lệnh cửa sổ; Các chức quản trị từ xa thiết đặt lại hệ thống; giám sát tham số quan trọng; kiểm soát nguồn; xem tệp nhật ký hệ thống; thao tác đơn tác động song song đến nhiều nút v.v Sơ đồ nguyên lý Linux cluster cỡ lớn biểu diễn hình 13 Hình 2: Sơ đồ nguyên lý Linux cluster lớn Như nói trên, Linux cluster có độ tin cậy tính ổn định cao, nhiên việc thiết kế Linux cluster hay siêu cluster khơng phải đơn giản, địi hỏi phải xác định lớp trừu tượng độ phức tạp tăng theo kích thước cluster Các đề án giải pháp Linux cluster phải người có hiểu biết cần thiết vấn đề xây dựng nên Việc xác định nút cần thiết phải theo nguyên tắc sau: · Cứ 32 đến 64 nút tính tốn cần có nút đầu mối · Mỗi hệ thống cần có nút quản lý · Việc vào/ra bên ngồi cần có hay nhiều nút lưu trữ Có ba mạng chức cần phải có: · Mạng dành cho việc liên lạc tiến trình IPC (inter process communication) với tốc độ phụ thuộc vào toán đặt · Mạng dùng cho vào/ra tệp (file I/O) Mạng IPC kiêm nhiệm vụ · Mạng phục vụ cho việc 14 quản lý hệ thống, thường mạng thiết lập chuyển mạch 10/100 Ethernet Cũng cần phải có máy chủ phục vụ đầu cuối mạng Kết luận Clustering kỹ thuật áp dụng nhằm nâng cao độ tin cậy tính sẵn sàng hệ thống mạng máy tính Một mạng cấu trúc dạng clustering có khả hoạt động bình thường có cố xảy cho máy chủ mạng cluster Tuỳ theo yêu cầu cụ thể hệ thống mà cấu trúc cluster nút, nút, nút nhiều Các nút cluster tồn thể chủ động, có nút chủ động, có nút thụ động Mỗi cấu trúc cluster đòi hỏi cấu hình phần cứng máy chủ tương ứng Hệ điều hành yếu tố quan trọng cần xem xét thiết kế clustering cho mạng Lựa chọn phần mềm nguồn đóng Window 2000 đảm bảo hệ thống dễ thiết lập, nhiên tính bảo thường khơng cao Các hệ điều hành nguồn đóng Linux khó thiết định lại có tính bảo mật độ an tồn cao Bởi vậy, định thiết đặt cấu trúc clustering cho hệ thống mạng mình, nhà đầu tư cần xem xét kỹ yếu tố nêu để định lựa chọn giải pháp tối ưu cho mình./ Các mặt tích cực đề tài: Sau thời gian nghiên cứu em tự đánh giá thực cơng việc sau: Tìm hiểu cách sơ công nghệ clustering với số thơng tin kèm Các mặt cịn hạn chế đề tài: - Cịn hình minh họa , ngơn từ nhiều khiến cho người đọc chóng nhàm chán , khó - hiểu Mặc dù cố gắng em khơng thể hồn thành demo nho nhỏ - kèm công nghệ clustering sử dụng rộng rãi ngày Tài liệu đa phần tiếng nước ngồi , ngơn ngữ cịn hạn chế nên em khó tiếp cận với sách gốc mà thông qua dịch có mạng nên mức độ tìm hiểu cịn chưa sâu Hướng phát triển đề tài: Nếu có hội em muốn sâu đề tài , mong đóng góp giúp đỡ thầy , bạn !!! Em xin chân thành cảm ơn ! Hà nội , ngày….tháng năm 2012 15 Sinh viên thực hiện: TÀI LIỆU THAM KHẢO http://www.tapchibcvt.gov.vn/News/PrintView.aspx?ID=15755 http://diendan.hpu.edu.vn/showthread.php?t=612&page=1 http://tailieu.vn/tag/tai-lieu/clusters.html?page=2 http://kenhgiaiphap.vn/Detail/41/Cong-nghe-clustering-tren-Linux.html http://chimcanhcut.info/pc-world/tong-quan-ve-cong-nghe-clustering/ 16 ... NỘI KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO THỰC TẬP CHUYÊN MÔN Tên đề tài: TÌM HIỂU CƠNG NGHỆ CLUSTERING ĐẢM BẢO DỊCH VỤ CỦA MÁY CHỦ GIÁO VIÊN HƯỚNG DẪN : Th.S NGUYỄN THANH TOÀN SINH VIÊN THỰC HIỆN... số tìm hiểu em cơng nghệ áp dụng cho hệ thống máy tính lớn , tưởng chừng đơn giản thực tế lại phức tạp Do thời gian vốn tài liệu , khả tiếng anh , kiến thức hiểu biết dừng lại mức độ tìm hiểu. .. dụng dịch vụ chạy máy chủ hỏng phải chuyển sang máy chủ khác đóng vai trị nút chủ động Vì nút chủ động nên bình thường máy chủ phải đảm nhận số ứng dụng hay dịch vụ đó, có cố xảy phải gánh thêm công