ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN CHƯƠNG TRÌNH ĐÀO TẠO THẠC SỸ CNTT QUA MẠNG __________ Bài thu hoạch GRID-COMPUTING: Giảng viên hướng dẫn: PGS. TS. Nguyễn Phi Khứ Thực hiện: Nguyễn Võ Thanh Sang – CH1101036 Những mô hình điện toán phân tán TP HCM, năm 2013 LỜI CẢM ƠN Trong suốt thời gian học vừa qua, em đã nhận được sự quan tâm, động viên và tận tình hướng dẫn, giảng dạy của thầy, đã cung cấp những kiến thức hết sức bổ ích và cần thiết làm hành trang cho công tác sau này. Chúng em xin chân thành cảm ơn quý thầy cô trường Đại học Công Nghệ Thông Tin, Phòng Đào tạo Sau đại học đã tạo cho chúng em một môi trường học tập, rèn luyện trong suốt thời gian học đã cung cấp những kiến thức cũng như những kinh nghiệm hết sức cần thiết cho việc học tập và nghiên cứu. Đặc biệt, chúng em xin gửi lời cảm ơn chân thành đến PGS. TS. Nguyễn Phi Khứ, thầy đã truyền đạt những kiến thức quý báu về môn học học “Tính toán hiệu năng cao – Grid Computing” và hướng dẫn em thực hiện bài thu hoạch môn học này. Do kiến thức về học phần còn hạn chế nên bài thu hoạch không tránh khỏi thiếu sót. Em rất mong được hướng dẫn thêm của thầy để bài thu hoạch được hoàn thiện hơn. Nguyễn Võ Thanh Sang -CH1101036 NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN MỤC LỤC Nội dung GIỚI THIỆU Điện toán phân tán được thực hiện trên nhiều hệ thống để giải quyết một vấn đề quy mô lớn. Sự phát triển của các mạng băng thông rộng tốc độ cao ở các nước phát triển và đang phát triển, sự gia tăng liên tục trong khả năng tính toán, và sự phát triển nhanh chóng của Internet đã thay đổi cách thực hiện. Trong đó xã hội quản lý thông tin và dịch vụ thông tin. Trong lịch sử, mô hình tính toán đã trải qua một loạt các nền tảng và thay đổi môi trường. Điện toán phân tán đảm bảo tuyệt vời cho việc sử dụng hệ thống máy tính một cách hiệu quả. Kết quả là, các siêu máy tính và trung tâm dữ liệu đã thay đổi từ việc cung cấp khả năng tính toán dấu chấm động hiệu suất cao sang đồng thời phục vụ số lượng lớn các yêu cầu từ hàng tỷ người sử dụng. Hệ thống điện toán phân tán sử dụng nhiều máy tính để giải quyết vấn đề quy mô lớn thông qua môi trường Internet. Nó sẽ trở thành dữ liệu chuyên sâu và mạng lưới trung tâm. Các ứng dụng điện toán phân tán ngày càng rộng rãi. Trong điện toán phân tán, khó khăn chính là việc chia sẻ nguồn tài nguyên quy mô lớn và luôn luôn thể hiện hiệu suất tốt nhất. Trong phạm vi bài thu hoạch này, em xin được giới thiệu hai bài báo: “The Distributed Computing Paradigms: P2P, Grid, Cluster, Cloud, and Jungle” của các tác giả: Brijender Kahanwal, Tejinder Pal Singh và “Smart Redundancy for Distributed Computation” của các tác giả Yuriy Brun, George Edwards, Jae young Bang, and Nenad Medvidovic. Hai bài báo đã giới thiệu các khái niệm cơ bản về điện toán phân tán và một giải pháp cải thiện hiệu quả thực hiện, làm nền tảng cho các nghiên cứu sau này. 5 Phần I. NHỮNG MÔ HÌNH ĐIỆN TOÁN PHÂN TÁN 1. Giới thiệu Sự phổ biến của Internet và sự sẵn có của máy tính mạnh mẽ và mạng tốc độ cao, chi phí thấp đang thay đổi cách tác giả tính toán.Điện toán phân tán đã trở thành một thành phần thiết yếu của máy tính khoa học trong nhiều thập kỷ. Nó bao gồm một tập hợp các quá trình hợp tác để đạt được một mục tiêu cụ thể chung. Mọi người đều công nhận rộng rãi rằng Công nghệ thông tin và Truyền thông Công nghệ (ICT) đã cách mạng hóa việc thực hành hàng ngày. Mạng xã hội thể hiện một bước trong quá trình sử dụng Internet để cho phép các thao tác xã hội hóa thông tin và văn hóa. Hết hết các trang mạng xã hội được thực hiện trên các khái niệm về hệ thống điện toán phân tán lớn. Đó là những hoạt động trong các trung tâm dữ liệu điều khiển tập trung. Tuy nhiên, xu hướng trong các hệ thống ồ ạt mở rộng là hướng tới việc sử dụng điện toán ngang hàng, tiện ích, cụm, và rừng. Điện toán tiện ích về cơ bản là điện toán lưới và điện toán đám mây là chủ đề gần đây của nghiên cứu. Phân loại này cũng thể hiện trong hình 1.1. Với tính không đồng nhất ngày càng tăng của các phần cứng cơ bản, việc lập bản đồ một cách hiệu quả về các vấn đề tính toán dựa trên phần cứng thuần đã trở thành cực kỳ phức tạp. Có rất nhiều thách thức của điện toán phân tán như sau: Sự trong suốt có nghĩa là ẩn sự phân tán từ người sử dụng ở mức độ cao và từ các chương trình ở cấp thấp. Có nhiều hình thức ẩn như địa điểm, di cư, nhân rộng, truy cập đồng thời và song song. Linh hoạt nên dễ phát triển. Độ tin cậy bao gồm một số yếu tố như không mất dữ liệu, hệ thống an toàn, và các hệ thống chấp nhận lỗi. Hiệu suất nên được cao. Khả năng mở rộng nên co dãn vô thời hạn. 6 Các hình thức điện toán phân tán 2. Các công trình liên quan Ngành công nghiệp máy tính là một trong những ngành phát triển nhanh nhất và nó được kích thích bởi sự phát triển công nghệ nhanh chóng trong các lĩnh vực phần cứng máy tính và phần mềm. Công nghệ tiên tiến trong phần cứng bao gồm phát triển chip và công nghệ chế tạo, bộ vi xử lý nhanh chóng và rẻ tiền, cũng như băng thông cao và mạng lưới kết nối độ trễ thấp. Trong số đó, những tiến bộ gần đây trong công nghệ điện tử đã đóng một vai trò quan trọng trong sự phát triển của máy tính tuần tự và song song mạnh mẽ. Công nghệ phần mềm cũng đang phát triển nhanh. Phần mềm trưởng thành, chẳng hạn như hệ điều hành, ngôn ngữ lập trình, phương pháp phát triển, và các công cụ, đang có sẵn. Điều này đã cho phép sự phát triển và triển khai các ứng dụng phục vụ cho khoa học, kỹ thuật, thương mại và nhu cầu. Cũng cần lưu ý rằng các ứng dụng mang tính thách thức lớn, chẳng hạn như dự báo thời tiết và phân tích trận động đất, đã trở thành động lực chính đằng sau sự phát triển của máy tính song song mạnh mẽ. Hệ thống phân tán có thể được coi là mạng thông thường của những máy tính độc lập. Chúng có nhiều hình ảnh hệ thống, như mỗi nút chạy hệ điều hành riêng của mình, và các máy 7 tính cá nhân trong một hệ thống phân tán có thể được, ví dụ, sự kết hợp của bộ xử lý đồng loạt song song (MPP), đa xử lý đối xứng (SMPS), các cụm, và các máy tính cá nhân. Dịch vụ điện toán đám mây chủ yếu chia thành ba mô hình cung cấp dịch vụ: SaaS (phần mềm như một dịch vụ, ví dụ như Google Mail), PaaS (nền tảng như một dịch vụ, ví dụ như Google AppEngine) và IaaS (Cơ sở hạ tầng như một dịch vụ, ví dụ như Amazon EC2). Kể từ khi công việc trình bày trong chương này có liên quan chặt chẽ với cơ sở hạ tầng như một mô hình dịch vụ, tác giả chỉ tập trung trong phần này trên loại hình dịch vụ này. Các nhà cung cấp IaaS nhằm mục đích cung cấp nguồn lực cho người sử dụng như cách thức “chỉ trả những gì bạn dùng”. Một nhà cung cấp chính của dịch vụ này là Amazon thông qua Điện toán đám mây đàn hồi (EC2) và Dịch vụ lưu trữ đơn giản (S3). Các viện sĩ và các nhóm khổng lồ đang làm hết sức mình để trở lại với những khái niệm mới của điện toán phân tán và họ đã đưa ra rất nhiều kết quả tốt. Nhưng luôn luôn có một sự tăng thêm để phát triển một công nghệ tốt hơn, vì vậy tác giả đang phát triễn và điện toán đám mây là chủ đề gần đây đang được tiến hành. 3. Điện toán ngang hàng Mạng ngang hàng (P2P) đã được làm việc chủ yếu vào các vấn đề khả năng mở rộng vốn có trong các nguồn tài nguyên phân tán trên một số lượng lớn của các kết nối mạng. Trong một hệ thống P2P, tất cả các nút hoạt động như một máy khách và máy chủ, cung cấp một phần của tài nguyên hệ thống. Máy ngang hàng chỉ đơn giản là máy tính của khách hàng kết nối với Internet. Tất cả các máy khách hàng hành động một cách tự tham gia hoặc rời khỏi hệ thống một cách tự do. Điều này có nghĩa rằng không có mối quan hệ chủ-khách tồn tại giữa các đồng nghiệp. Không có sự phối hợp tập trung hoặc không có cơ sở dữ liệu trung tâm là cần thiết. Nói cách khác, không có máy ngang hàng nào có một cái nhìn toàn cục của toàn bộ hệ thống P2P. Hệ thống được tự tổ chức với điều khiển phân tán như thể hiện trong hình 3.1. 8 Figure 3.1: P2P Network 4. Điện toán cụm Một cụm máy tính bao gồm một tập hợp các máy tính độc lập hoặc đơn lẻ và một mạng kết nối chúng. Nó hoạt động hợp tác với nhau như một nguồn tài nguyên máy tính tích hợp duy nhất. Một cụm là địa phương trong tất cả các hệ thống con thành phần của nó được giám sát trong một phạm vi hành chính duy nhất, thường trú tại một phòng đơn và quản lý như một hệ thống máy tính duy nhất. Các thành phần của một nhóm được kết nối với nhau thông qua mạng cục bộ nhanh. Để xử lý khối lượng công việc nặng nề với bộ dữ liệu lớn, các hệ thống máy tính của nhóm đã chứng minh kết quả ấn tượng trong quá khứ. Kiến trúc của môi trường điện toán cụm được thể hiện trong Hình 4.1 9 Thành phần của điện toán cụm: Có rất nhiều thành phần của điện toán cụm như sau: o Máy tính hiệu năng cao như máy tính cá nhân, máy trạm, vv o Hệ điều hành dựa trên hạt nhân nhỏ. o Các mạng tốc độ cao hoặc chuyển mạch như Gigabit Ethernet. o NIC (Network Interface Card) o Các giao thức và dịch vụ thông tin nhanh o Cụm Middleware là phần cứng, hạt nhân hệ điều hành, các ứng dụng và các hệ thống con. o Công cụ môi trường lập trình song song như các trình biên dịch, máy ảo song song, vv o Các ứng dụng tuần tự và song song Các cụm trung gian có rất nhiều khả năng cung cấp một ảnh hệ thống khó nắm bắt và thống nhất. Sự phân loại các cụm như thể hiện trong hình 4.2. 10 [...]... không tương tác 13 5.2 Điện toán đám mây Điện toán đám mây là một hình thức điện toán tiện ích Nó là một thuật ngữ mới trong thế giới điện toán và báo hiệu sự ra đời của một mô hình điện toán mới Mô hình mới này là nhanh chóng phát triển và thu hút một lượng khách hàng và các nhà cung cấp như nhau Sự phát triển nhanh chóng của điện toán đám mây đang được thúc đẩy bởi các công nghệ máy tính mới nổi cho phép... của điện toán tiện ích dựa trên một mô hình dịch vụ dự phòng, nơi người dùng (người tiêu dùng) trả nhà cung cấp để sử dụng sức mạnh tính toán chỉ khi họ cần Điện toán tiện ích tập trung vào một mô hình kinh doanh, theo đó khách hàng nhận được tài nguyên máy tính từ một nhà cung cấp dịch vụ thanh toán Tất cả các nền tảng lưới / điện toán đám mây được coi là nhà cung cấp dịch vụ tiện ích Tuy nhiên, điện. .. điện toán đám mây cung cấp một khái niệm rộng hơn so với máy tính tiện ích 5.1 Điện toán lưới Mục đích của Điện toán lưới là cho phép chia sẻ tài nguyên và phối hợp giải quyết trong năng động tổ chức nhiều tổ chức ảo, vấn đề Như một lưới điện- tiện ích, một mạng lưới máy tính cung cấp một cơ sở hạ tầng các cặp máy tính, phần mềm/trung gian, dụng cụ đặc biệt, và người và cảm biến với nhau Lưới điện thường... công chúng Các đám mây riêng là một mô hình triển khai cho dịch vụ điện toán đám mây Trong mô hình này các tài nguyên điện toán đám mây không được chia sẻ bởi các bên thứ ba không rõ Các nguồn tài nguyên điện toán đám mây trong mô hình này có thể nằm trong phạm vi các cơ sở tổ chức khách hàng hoặc ngoại vi 14 Figure 5: Classification of Cloud Computing Trong mô hình này, an ninh của khách hàng và yêu... đám mây, lưới máy tính để bàn, máy tính độc lập, và nhiều hơn nữa Tính toán rừng đề cập đến việc sử dụng đa dạng, hệ thống máy tính hoạt động phân tán và rất không đồng đều cao để đạt được hiệu năng cao nhất Những mô hình phân 15 tán máy tính mới đã dẫn đến một bộ sưu tập đa dạng của các nguồn lực sẵn có để các nhà khoa học nghiên cứu, kể cả máy độc lập, hệ thống cụm, lưới, đám mây, lưới máy tính để... một tập hợp con của các hệ thống này: những kiến trúc tính toán phân tán (DCAs), trong đó giải quyết vấn đề lớn bằng cách triển khai cao các tính toán song song (ví dụ, bộ các nhiệm vụ độc lập) cho mạng lưới động các nút tính toán có khả năng bị lỗi và không đáng tin cậy Những DCAs nổi tiếng và thành công bao gồm các hệ thống lưới điện (ví dụ, Globus), hệ thống máy tính thực nghiệm (ví dụ, BOINC), và... điện toán đám mây công chúng không có quyền truy cập vào các đám mây riêng không không tổ chức sử dụng điện toán đám mây công cộng Đám mây lai như tên gọi của nó là một mô hình triển khai kết hợp đám mây khác nhau ví dụ như các đám mây riêng và công cộng Trong mô hình này những đám mây kết hợp giữ lại bản sắc của họ nhưng đang bị ràng buộc với nhau bằng công nghệ chuẩn hóa Trong loại này của điện toán. .. loại được thể hiện trong hình 5 Đám mây công cộng trong việc triển khai này, cơ sở hạ tầng điện toán đám mây có thể truy cập cho công chúng nói chung và chia sẻ trong một trả như bạn đi mô hình thanh toán Các nguồn tài nguyên điện toán đám mây có thể truy cập thông qua internet và các nhà cung cấp có trách nhiệm bảo đảm quy mô kinh tế và quản lý cơ sở hạ tầng được chia sẻ Trong mô hình này khách hàng có... bàn, vv như thể hiện trong hình 6.1 và bộ sưu tập đa dạng này được đặt tên như rừng máy tính Sự phức tạp ngày càng tăng của môi trường điện toán hiệu năng cao đã cung cấp một loạt rắc rối, sự lựa chọn bên cạnh các siêu máy tính truyền thống, cụm Các nhà khoa học có thể sử dụng lưới điện và cơ sở hạ tầng điện toán đám mây, trong một loạt các kết hợp cùng với các siêu máy tính truyền thống - tất cả các... nhiều lõi như GPU, cũng như các siêu máy tính trên chip trong những môi trường đã được thêm vào sự phức tạp Do đó tính toán hiệu năng cao có thể sử dụng nhiều nền tảng khác nhau và các hệ thống cùng một lúc, dẫn đến thuật ngữ "Điện toán rừng" Ibis cao hiệu năng hệ thống lập trình phân tán là một ví dụ về điện toán rừng Tác giả đã thảo luận về động lực để phân tán máy tính Nó sẽ tiếp tục phát triển Có rất . tác. 13 5.2. Điện toán đám mây Điện toán đám mây là một hình thức điện toán tiện ích. Nó là một thuật ngữ mới trong thế giới điện toán và báo hiệu sự ra đời của một mô hình điện toán mới. Mô hình mới. Kiến trúc của môi trường điện toán cụm được thể hiện trong Hình 4.1 9 Thành phần của điện toán cụm: Có rất nhiều thành phần của điện toán cụm như sau: o Máy tính hiệu năng cao như máy tính cá nhân,. riêng là một mô hình triển khai cho dịch vụ điện toán đám mây. Trong mô hình này các tài nguyên điện toán đám mây không được chia sẻ bởi các bên thứ ba không rõ. Các nguồn tài nguyên điện toán đám