ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH CHƯƠNG TRÌNH ĐẠO TẠO THẠC SĨ CNTT QUA MẠNG ________oOo________ BÀI THU HOẠCH MÔN HỌC TÍNH TOÁN LƯỚI TÌM HIỂU TÍNH TOÁN LƯỚI VÀ SỰ ỨNG DỤNG TÍNH TOÁN LƯỚI TRONG THỰC TIỄN PGS. TS.: NGUYỄN PHI KHỨ HỌC VIÊN: NGUYỄN HOÀNG HUY MSHV: CH1101090 TÍNH TOÁN LƯỚI PGS. TS. NGUYỄN PHI KHỨ < 2012 > BÀI THU HOẠCH MÔN HỌC Trang 2 TÍNH TOÁN LƯỚI PGS. TS. NGUYỄN PHI KHỨ MỤC LỤC GIỚI THIỆU 4 A. TÍNH TOÁN LƯỚI 5 I. Một số khái niệm cơ bản 5 1. Tính toán lưới 5 2. Cấu trúc mô hình tính toán lưới 6 3. Các chức năng chung 6 4. Lưới tính toán có thể phân theo ba giai đoạn phát triển 7 5. Tính toán lưới là một loại hình đặc biệt của tính toán phân tán 7 II. Nền tảng của tính toán lưới (Grid computing) 8 1. Grid là gì và hoạt động như thế nào? 8 2. Ích lợi của tính toán lưới 11 III. Mốt số thành phần cơ trong mô hình tính toán lưới 15 1. Lớp ứng dụng (Grid Application) 15 2. Lớp cơ sở hạ tầng (Grid Infrastructures) 15 3. Lớp giữa (Grid Middleware) 15 IV. Từ tính toán lưới đến tính toán đám mây 16 B. MỘT SỐ ỨNG DỤNG THỰC TIỄN 18 I. Thế giới 18 II. Trong nước 18 III. Một số lưu ý 19 IV. Các tổ chức hỗ trợ và phát triển tính toán lưới 19 1. Diễn đàn điện toán lưới toàn cầu GGF 19 2. Tổ chức Globus Alliance 20 3. Các dịch vụ khác 20 V. Các sản phẩm tính toán lưới thương mại 21 21 TÀI LIỆU THAM KHẢO 22 BÀI THU HOẠCH MÔN HỌC Trang 3 TÍNH TOÁN LƯỚI PGS. TS. NGUYỄN PHI KHỨ GIỚI THIỆU Với sự phát triên mạnh mẽ của công nghệ thông tin, con người ngày nay càng trở nên thông minh mà sáng tạo. Con người càng thông minh thì nghiên cứu ra những hệ thống, kỹ thuật càng thông minh, phục vụ tối đa cho nhu cầu của con người. Sự phát triển và mở rộng không ngừng của máy tính, kéo theo nhu cầu sử dụng của con người cũng không ngừng nâng cao. Các vấn đề, các nhu cầu cần máy tính xử lý cũng ngày càng phức tạp và đòi hỏi tài nguyên lớn hơn. Để giải quyết nhưng vấn đề đó, ta cần một hướng nghiên cứu để tối ưu cách xử lý cũng như tối ưu các tài nguyên nhỏ lẻ thành những hệ thống xử lý và tài nguyên khổng lồ. Với thực tế đó, tính toán lưới được ra đời như một bước ngoặc giúp con người khai thác được sức mạnh của máy tính triệt để hơn. Và ngày nay, tính toán lưới là một mô hình tính toán đang được ứng dụng rất phổ biến, đây là một mô hình có khả năng thực hiện tính toán với tốc độ cao bằng cách tận dụng nhiều máy tính nối mạng để tạo ra một kiến trúc máy tính ảo có thể phân phối việc tính toán trên một cơ sở hạ tầng song song. Lưới tính toán sử dụng tài nguyên của nhiều máy tính riêng lẻ kết nối với nhau thông qua một mạng máy tính (thường là mạng máy Internet) để giải quyết các yêu cầu tính toán lớn. Lưới có khả năng thực hiện việc tính toán trên những tập dữ liệu lớn, bằng cách chia nhỏ các tập dữ liệu này thành các tập hợp nhỏ hơn hoặc thực hiện nhiều qui trình tính toán cùng lúc như trên một mánh tính đơn thông qua mô hình phân phối công việc giữa các tiến trình song song. Ngày nay, việc phân phối tài nguyên trên lưới tuân theo chuẩn SLA (Service Level Agreement). Bài viết này được tham khảo và tổng hợp từ nhiều nguồn tài liệu có sẵn để nhằm hoàn thành bài thu hoạch cho môn học Tính toán lưới cũng như giúp người đọc có cái nhìn tổng quát về Tính toán lưới và một số ứng dụng thực tế của tính toán lưới hiện nay. BÀI THU HOẠCH MÔN HỌC Trang 4 TÍNH TOÁN LƯỚI PGS. TS. NGUYỄN PHI KHỨ A. TÍNH TOÁN LƯỚI I. Một số khái niệm cơ bản 1. Tính toán lưới - Tính toán lưới (Grid computing) là khái niệm về liên kết các tài nguyên phân tán để giải quyết các bài toán quy mô lớn. Các tài nguyên như super- computers, clusters, cơ sở dữ liệu, đặc biệt các thiết bị khoa học (như radio telescopes) kết nối ở mức luận lý với nhau và biểu diễn như một tài nguyên chung cho người sử dụng. - Trong những năm gần đây, tính toán lưới nổi lên như một nền tảng hỗ trợ tính toán phân tán trên những bộ dữ liệu lớn, thực hiện những công việc tính toán phức tạp. Tư tưởng của Grid là kết hợp sức mạnh tính toán của hàng trăm, hàng nghìn máy tính bình thường nằm phân tán về mạnh địa lý, tạo thành một cơ sở hạ tầng tính toán tổng hợp tương đương hoặc thậm chí vượt xa sức mạnh của những siêu máy tính hiện đại đắt tiền. - Michael Di Stefano đưa ra định nghĩa về tính toán lưới như sau: “Tính toán lưới là bất kỳ cụm tài nguyên tính toán nào cung cấp môi trường hỗ trợ chia sẻ và quản lý tài nguyên cho các công việc phân tán dựa trên chính sách nào đó”. - Còn Ian Foster đưa ra ba đặc điểm của một lưới thực sự: • Phối hợp sử dụng tài nguyên mà không dựa trên điều khiển tập trung. • Sử dụng các giao thức chuẩn và có tính mở rộng. • Cung cấp chất lượng dịch vụ không tầm thường, theo nghĩa tài nguyên hoạt động kết hợp trên môi trường lưới tạo ra chất lượng dịch vụ tốt hơn nhiều so với tổng chất lượng dịch vụ của các tài nguyên đơn lẻ. - Hiện nay, nhiều người vẫn lẫn lộn khái niệm “tính toán lưới” với “tính toán ngang hàng”. Cả hai có điểm chung là cùng giải quyết bài toán chia sẻ tài nguyên phân tán giữa các tổ chức ảo, cùng được xây dựng dựa trên kiến trúc phân tầng, và mỗi hướng tiếp cận có điểm mạnh, điểm yếu riêng. Lưới được xây dựng trên nền tảng kiến trúc chặt chẽ, phục vụ cộng đồng người dùng quy mô nhỏ, thường nằm trong cùng lĩnh vực nghiên cứu mà họ quan tâm, hỗ trợ khả năng tích hợp tài nguyên mạnh mẽ đa dạng hơn tính toán ngang hàng. Ứng dụng trên lưới thường là ứng dụng khoa học, đòi hỏi khả năng tính toán cao, và hướng người dùng. Ngược lại, tính toán ngang hàng được xây dựng trên nền kiến trúc linh hoạt hơn, phục vụ cho một số lượng lớn người dùng, có BÀI THU HOẠCH MÔN HỌC Trang 5 TÍNH TOÁN LƯỚI PGS. TS. NGUYỄN PHI KHỨ thể lên đến hàng triệu, chủ yếu hỗ trợ ứng dụng chia sẻ tài nguyên như chia sẻ chu kỳ tính toán hoặc tệp. 2. Cấu trúc mô hình tính toán lưới 3. Các chức năng chung - Tính toán lưới tạo ra một mô hình để giải quyết các bài toán tính toán lớn bằng cách sử dụng những tài nguyên rỗi (CPU, và thiết bị lưu trữ) của một loạt các máy tính riêng rẽ, thường là máy để bàn, hệ thống này được coi là một một cụm máy ảo nhúng trong một môi trường liên lạc phân tán. Tính toán lưới tập trung vào khả năng hỗ trợ tính toán giữa các khu vực hành chính, điều này làm cho mô hình này tách biệt so với mô hình cụm tính toán và tính toán phân tán truyền thống. - Lưới cung cấp một giải pháp cho những bài toán về tính toán hiệu năng cao như tạo nếp protein, mô hình hoá tài chính, mô phỏng động đất và dự đoán khí hậu thời tiết. Ngoài ra lưới còn có thể giúp các tổ chức, doanh nghiệp sử dụng một cách tối ưu hoá tài nguyên công nghệ thông tin và tạo ra các dịch vụ tính toán theo nhu cầu cho các khách hàng thương mại và miễn phí trong đó khách hàng chỉ phải trả những gì họ đã sử dụng giống như điện và nước. - Tính toán lưới được thiết kế với mục tiêu giải các bài toán tính toán quá lớn cho một siêu máy tính, trong khi vẫn giữ được sự linh hoạt đối với những bài toán nhỏ hơn. Vì vậy tính toán lưới cung cấp một môi trường đa người dùng. Mục tiêu thứ hai của tính toán lưới là khả năng khai thác tốt hơn những năng lực tính toán chưa được sử dụng và phục vụ cho những nhu cầu tính toán không ngừng của các bài toán khoa học lớn. BÀI THU HOẠCH MÔN HỌC Trang 6 TÍNH TOÁN LƯỚI PGS. TS. NGUYỄN PHI KHỨ - Điều này dẫn đến việc sử dụng các cơ chế cấp phép an toàn để cho phép những người sử dụng ở xa có thể điều khiển các tài nguyên tính toán từ xa. - Tính toán lưới thực hiện sử dụng các chuẩn mở để chia sẻ qua mạng những tài nguyên hỗn tạp (trên những nền tảng kiến trúc phần mềm, phần cứng và ngôn ngữ lập trình khác nhau), nằm tại những địa điểm khác nhau tuỳ thuộc vào các khu vực hành chính. Nói một cách đơn giản, nó là việc ảo hoá các tài nguyên tính toán. 4. Lưới tính toán có thể phân theo ba giai đoạn phát triển - Lưới văn phòng - Lưới công ty - Lưới toàn cầu. Những giai đoạn này tương ứng với một công ty bắt đầu tận dụng tài nguyên trong một nhóm đơn như một đơn vị hoặc phòng chuyên về công nghệ kết nối các máy tính để bàn, các cụm và thiết bị. Lưới sẽ phát triển để trở thành lưới của toàn công ty khi các tài nguyên của các phòng ban còn lại có thể sử dụng để lưu trữ và tận dụng tài nguyên CPU. Một lưới toàn cầu là sự kết nối của các lưới phòng ban và hãng, lưới này sẽ được sử dụng theo kiểu thương mại và cộng tác. 5. Tính toán lưới là một loại hình đặc biệt của tính toán phân tán Mô hình khái niệm Bản chất của tính toán lưới giống một nền tảng dạng khái niệm hơn là một tài nguyên vật lý. Lưới được tận dụng để cung cấp tài nguyên cho một nhiệm vụ tính toán. Mục tiêu của công nghệ lưới liên quan tới những yêu cầu của việc cung cấp tài nguyên linh hoạt vượt ra khỏi các khu vực cục bộ. Tổ chức Ảo Một môi trường lưới được tạo ra để giải quyết các nhu cầu về tài nguyên. Những tài nguyên này(như CPU, ổ lưu trữ, dữ liệu, các chương trình phần mềm, các thiết bị ngoại vi) thường nằm ở ngoài các khu vực cục bộ. Phương thức cung cấp ngoài này đòi hỏi phải tạo ra một khu vực khác được nhắc đến với cái tên là Tổ chức ảo(Virtual Organization – VO) với một tập riêng rẽ các chính sách quản lý ( các chính sách quản lý cục bộ và các chính sách quản lý tài nguyên bên ngoài tạo thành các chính sách của VO. Ngữ cảnh được tạo ra cho một nhiệm vụ tính toán lưới được phân biệt bằng những yêu cầu được tạo ra khi thực thi ngoài các khu vực cục bộ. Công nghệ Lưới được tận dụng để BÀI THU HOẠCH MÔN HỌC Trang 7 TÍNH TOÁN LƯỚI PGS. TS. NGUYỄN PHI KHỨ làm cho việc chuẩn hoá và thống nhất với ngữ cảnh lưới liên quan tới việc thực thi ứng dụng của bạn. Tận dụng tài nguyên. Một đặc điểm mà hiện tại phân biệt tính toán lưới và tính toán phân tán là sự trừu tượng hoá của một tài nguyên phân tán thành một tài nguyên lưới. Một kết quả của sự trừu tượng này là nó cho phép việc thay thế tài nguyên trở nên dễ dàng hoàn thành. Vài chi phí liên quan tới sự linh hoạt này nằm ở tầng phần mềm trung gian và thời gian trễ liên quan tới việc truy nhập vào một tài nguyên lưới hoặc tài nguyên phân tán. Những chi phí, đặc biệt là thời gian trễ, phải được đánh giá khi đánh giá sự ảnh hưởng của tới hiệu năng tính toán của một tài nguyên lưới. Các tài nguyên web hoặc việc truy nhập các tài nguyên web là một phương pháp hấp dẫn để cung cấp tài nguyên lưới. Một sự phát triển gần đây của phần mềm trung gian lưới GGF đã sửa lại kiến trúc và thiết kế của khái niệm tài nguyên lưới bằng cách sử dụng ngôn ngữ mô tả dịch vụ web WSDL của W3C để triển khai một tài nguyên lưới. Các ứng dụng chuyển đổi từ việc sử dụng các tài nguyên liên quan tới vị trí địa lý sang việc sử dụng các tài nguyên web cần quan tâm tới bản chất phi ranh giới của web trong khi vẫn đảm bảo khả năng mở rộng cho web. II. Nền tảng của tính toán lưới (Grid computing) Tính toán mạng lưới (grid) ngày nay không còn là một giải pháp hàn lâm hay thử nghiệm. Với những tiến bộ quan trọng về phần mềm triển khai, người ta hy vọng nó sẽ đem sức mạnh của siêu máy tính tới tất cả người dùng PC đơn lẻ trên thế giới. 1. Grid là gì và hoạt động như thế nào? - Grid là một loại hệ thống phân tán, bố trí song song, cho phép linh hoạt chia sẻ, tuyển lựa và tập hợp các nguồn tài nguyên độc lập và rải rác về địa lý, tùy theo khả năng sẵn có, công suất, hoạt động, chi phí và yêu cầu về chất lượng dịch vụ của người sử dụng. BÀI THU HOẠCH MÔN HỌC Trang 8 TÍNH TOÁN LƯỚI PGS. TS. NGUYỄN PHI KHỨ Mô hình tính toán lưới - Điện toán mạng lưới (ĐTML) có nghĩa là tất cả hoặc một phần của một nhóm máy tính, máy chủ và thiết bị lưu trữ trong mạng doanh nghiệp, được “ảo hóa” (virtualize) thành một cỗ máy tính lớn. Vì ĐTML giải phóng những khả năng tính toán không được sử dụng vào một thời điểm bất kỳ, chúng có thể cho phép các doanh nghiệp tăng cường rất nhiều về tốc độ, sức mạnh xử lý thông tin và sự liên kết, thúc đẩy các quy trình tính toán mật độ cao. Trong khi đó, chi phí vẫn sẽ được giữ ở mức thấp vì ĐTML có thể được xây dựng từ chính hạ tầng hiện có, góp phần đảm bảo sự huy động tối ưu các khả năng tính toán. - ĐTML cho phép ảo hóa các chức năng tính toán phân tán cũng như các nguồn xử lý, băng thông mạng và khả năng lưu trữ, để từ đó tạo ra một hệ thống đơn đồng nhất, cho phép người sử dụng và các ứng dụng truy cập thông suốt vào các tính năng điện toán rộng lớn. Giống như người lướt web xem một nội dung thống nhất qua web, người sử dụng ĐTML cũng nhìn thấy một máy tính ảo cực lớn duy nhất. BÀI THU HOẠCH MÔN HỌC Trang 9 TÍNH TOÁN LƯỚI PGS. TS. NGUYỄN PHI KHỨ Mô hình tính toán lưới dựa trên Internet - Trọng tâm của ĐTML dựa trên một tập hợp mở của nhiều chuẩn và giao thức, ví dụ Kiến trúc dịch vụ lưới mở (OGSA), cho phép liên lạc qua nhiều môi trường hỗn tạp và phân tán về địa lý. Với ĐTML, các tổ chức và doanh nghiệp có thể tối ưu hóa khả năng tính toán và các nguồn dữ liệu, tập trung chúng lại thành những khối sức mạnh lớn, chia sẻ chúng qua mạng và thúc đẩy sự phối hợp, tương tác. - Giả dụ, khi một người có chiếc máy tính cá nhân tham gia đóng góp sức mạnh xử lý trong một mạng lưới gridmuốn chạy một ứng dụng đòi hỏi thêm sức mạnh xử lý thì công việc đang được giải quyết trên chiếc máy đó sẽ được tự động tái phân bổ tới một máy khác trong lưới đang “rảnh rỗi” và không bị trưng dụng sức mạnh tính toàn vào công việc nào. BÀI THU HOẠCH MÔN HỌC Trang 10 [...]... thích hợp IV Từ tính toán lưới đến tính toán đám mây - Ở nước ta trong mấy năm qua, báo chí đã đề cập với những tên gọi khác nhau mà thuật ngữ tiếng Anh là “Grid computing” và “Cloud computing” Nào là mạng lưới máy tính, mạng lưới tính toán, điện toán lưới, tính toán đám mây, điện toán đám mây, điện toán máy chủ ảo…Ở đây, tôi dùng cụm từ tính toán lưới (Grid computing) và tính toánmây” (Cloud computing)... lớn,những clusters, những PM ứng dụng và sự quản trị hệ thống phức hợp; là nói đến tính toán song song, phân chia thời gian, các thuật toán tối ưu xử lý phân bố tài nguyên tính toán, lưu trữ…Những mô hình tính toán lưới gần đây cũng tiếp cận đến cách khai thác PM như một DV, khai thác nền tảng như một DV, đã có DV máy chủ ảo và thực sự chúng đã chuyển hoá dần sang tính toán mây Tính toán mây đều có những... dịch vụ và ứng dụng rải rác trong một môi trường phân tán Từ năm 2003, cộng đồng tính toán lưới và dịch vụ web đã thống nhất cung cấp Lưới như một BÀI THU HOẠCH MÔN HỌC Trang 20 TÍNH TOÁN LƯỚI PGS TS NGUYỄN PHI KHỨ dịch vụ web (Grid Service) Kiến trúc dịch vụ lưới mở OGSA(Open Grid Service Architecture)đã được hình thành để thực hiện khuynh hướng này, nó định nghĩa ra môi trường cung cấp một vài chức... computing) để chỉ những khái niệm này - Tính toán lưới đã phát triển rất mạnh trên thế giới để liên kết những hệ thống tính toán với nhau nhằm giải những bài toán cực lớn Hệ thống bao gồm phần cứng, phần mềm (PM), đường truyền và hàng bao nhiêu thiết bị khác trong những không gian thích hợp tạo một môi trường tính toán gọi là môi trường lưới Nói đến tính toán lưới là nói đến những cơsở hạ tầng cực mạnh,... ĐH lớn nên có nội dung đào tạotính toán mây mà không chỉ dừng lại ở bộ môn tính toán song song như ởcác trường trước đây đã có - Cần tiếp tục đẩy mạnh việc dùng PMnguồn mở để chuẩn bị sẵn sàng đón nhận công nghệ tính toán mây Cần cónhững chính sách thỏa đáng thu hút nhân lực cũng như đầu tư vào PMNM IV Các tổ chức hỗ trợ và phát triển tính toán lưới 1 Diễn đàn điện toán lưới toàn cầu GGF Diễn đàn Grid... cho Bộ KH & ĐT mạnh ứng dụng ▪ Một số ứng dụng có thể cần phải được tinh chỉnh để có đầy đủ lợi thế của mô hình mới ▪ Cấp phép trên nhiều máy chủ có thể làm cho nó cấm đối với một số ứng dụng Các nhà cung cấp đang bắt đầu được linh hoạt hơn với môi trường như thế này BÀI THU HOẠCH MÔN HỌC Trang 14 TÍNH TOÁN LƯỚI PGS TS NGUYỄN PHI KHỨ - Khu vực đã được tận dụng tốt của tính toán lưới bao gồm tin sinh... lưới Sứ mệnh của OGSA là mô tả và xây dựng một bộ giao diện chuẩn và thao tác có chức năng như một nền tảng chung cho các hệ thống và ứng dụng hỗ trợ lưới V Các sản phẩm tính toán lưới thương mại Các hãng cung cấp dịch vụ tính toán cung cấp các giải pháp lưới dựa trên bộ công cụ Globus Toolkit hoặc theo một kiến trúc riêng của họ Nhưng một việc vẫn chưa rõ ràng đó là các hãng này cung cấp dịch vụ tính. .. thực thi (Execution), thông tin (Information), theo dõi tài nguyên (Resource Monitoring), kiểm lỗi và phục hồi (Failure Detector and Recovery)… Đây là những DV cốt lõi để cho người BÀI THU HOẠCH MÔN HỌC Trang 15 TÍNH TOÁN LƯỚI PGS TS NGUYỄN PHI KHỨ dùng tham gia vào môi trường lưới Tùy theo yêu cầu của người dùng, lớp ứng dụng sẽ tạo cho người dùng một nền tảng ứng dụng (Platform) thích hợp IV Từ tính. .. TS NGUYỄN PHI KHỨ - Khu vực đã được tận dụng tốt của tính toán lưới bao gồm tin sinh học, cheminformatics, khoan dầu và, và các ứng dụng tài chính III Mốt số thành phần cơ trong mô hình tính toán lưới Môi trường lưới có thể phân thành 3 lớp: 1 Lớp ứng dụng (Grid Application) Lớp ứng dụng rất phong phú, chẳng hạn, từ việc truy xuất dữ liệu qua điện thoại di động đến những hệ mô phỏng xử lý một lượng... dùng truy cập đến tính toán mây thông qua các DV Webservices BÀI THU HOẠCH MÔN HỌC Trang 16 TÍNH TOÁN LƯỚI PGS TS NGUYỄN PHI KHỨ Mô hình tính toán mây (hình lấy trên Internet) - Nền tảng của một ứng dụng nào đó được khai thác như một DV (PaaS - Platform as a Service): Người dùng không phải chịu chi phí cho toàn bộ nền tảng của ứng dụng mà chỉ chịu chi phí cho phần nền tảng nào được sử dụng - PM được khai . THU HOẠCH MÔN HỌC TÍNH TOÁN LƯỚI TÌM HIỂU TÍNH TOÁN LƯỚI VÀ SỰ ỨNG DỤNG TÍNH TOÁN LƯỚI TRONG THỰC TIỄN PGS. TS.: NGUYỄN PHI KHỨ HỌC VIÊN: NGUYỄN HOÀNG HUY MSHV: CH1101090 TÍNH TOÁN LƯỚI PGS mạng lưới máy tính, mạng lưới tính toán, điện toán lưới, tính toán đám mây, điện toán đám mây, điện toán máy chủ ảo…Ở đây, tôi dùng cụm từ tính toán lưới (Grid computing) và tính toánmây”. thực tế của tính toán lưới hiện nay. BÀI THU HOẠCH MÔN HỌC Trang 4 TÍNH TOÁN LƯỚI PGS. TS. NGUYỄN PHI KHỨ A. TÍNH TOÁN LƯỚI I. Một số khái niệm cơ bản 1. Tính toán lưới - Tính toán lưới (Grid