ĐẠI HỌC QUỐC GIA THÀNH PHỐ CHÍ MINH Trường Đại học Công Nghệ Thông Tin BÀI THU HOẠCH: ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY ĐỀ TÀI: GRID COMPUTING & WEB SERVICE Giáo viên hướng dẫn : PGS.TS NGUYỄN PHI KHỨ Học viên thực hiện : Hồ Văn Linh Mã số học viên : CH1301020 Tp.HCM, Tháng 06 năm 2014 Điện toán lưới và đám mây GVHD: PGS.TS.Nguyễn Phi Khứ LỜI CÁM ƠN Công nghệ Grid Computing ra đời đánh dấu một bước phát triển mới trong lĩnh vực điện toán hiệu năng cao. Nó cho phép tận dụng năng lực xử lý, lưu trữ cùng các tài nguyên nhàn rỗi khác để cung cấp một môi trường tính toán có năng lực xử lý lớn, khả năng lưu trữ dồi dào để giải quyết các bài toán phức tạp - khó có thể giải quyết được với các công nghệ hiện hành hoặc giải quyết được nhưng với chi phí rất cao - trong khoa học, thương mại. Grid Computing giúp tận dụng tối đa tài nguyên, tăng cường hợp tác, giảm chi phí đầu tư trong khi vẫn cung cấp năng lực tính toán như mong muốn. Trong những năm vừa qua, nhiều tổ chức, tập đoàn công nghệ thông tin lớn đã chọn công nghệ Grid Computing làm chiến lược phát triển của mình, đã đầu tư nghiên cứu nhằm sớm đưa công nghệ Grid Computing vào thực tế. Công nghệ này đang ngày càng thu hút được sự quan tâm chú ý từ khắp nơi trên thế giới. Có thể nói công nghệ Grid Computing là một xu hướng phát triển mới trong ngành công nghệ thông tin. Hiện nay, đất nước ta đang thực hiện công cuộc công nghiệp hoá, hiện đại hóa, trong đó việc rút ngắn sự tụt hậu, phát triển về khoa học công nghệ là yếu tố then chốt quyết định đến thành công của công cuộc đổi mới. Song song với quá trình phát triển, ngày càng có nhiều bài toán mới, đòi hỏi năng lực xử lý lớn xuất hiện trong khoa học, thương mại và quản lý đất nước. Các công nghệ tính toán hiện hành cũng được áp dụng nhưng không thể triển khai rộng rãi để có thể giải quyết hết các nhu cầu do chi phí đầu tư quá lớn. Việc nghiên cứu, áp dụng công nghệ Grid Computing là một giải pháp tốt để giải quyết các tình huống này. Hơn nữa, công nghệ Grid Computing hiện nay còn khá mới mẻ, đang trong giai đoạn hoàn thiện, việc cùng tham gia nghiên cứu với cộng đồng thế giới sẽ giúp chúng ta học hỏi kinh Điện toán lưới và đám mây GVHD: PGS.TS.Nguyễn Phi Khứ nghiệm, tiến tới làm chủ công nghệ, từ đó có thể phát triển theo hướng đi của riêng mình, đáp ứng nhu cầu tính toán hiệu năng cao ngày càng tăng của đất nước. Thông qua đề tài này em tìm hiểu sơ lược về một mô hình tính toán với hiệu năng cao, tận dụng được tài nguyên của máy tính và ứng dụng cho dịch vụ Web, đang là mô hình tính toán được thế giới quan tâm phát triển. Em xin gởi lời cám ơn chân thành đến Thầy PGS.TS Nguyễn Phi Khứ, dù thời gian không nhiều nhưng Thầy đã giảng dạy và hướng dẫn chúng em tận tình trong suốt thời gian môn học và đó là kiến thức quý báu và hữu ích. Do thời gian hạn chế, bài thu họach còn nhiều thiếu sót. Rất mong nhận được ý kiến đóng góp của Thầy. Xin chân thành cảm ơn ! Điện toán lưới và đám mây GVHD: PGS.TS.Nguyễn Phi Khứ MỤC LỤC I. TỔNG QUAN VỀ CÔNG NGHỆ GRID COMPUTING 1 1.1 Khái niệm 1 1.2 Tài nguyên của Grid 1 1.3 Phân loại Grid & Grid Topology 3 1.4 Yêu cầu của công nghệ Grid 7 1.5 Một số ích lợi khi sử dụng công nghệ Grid Computing 13 1.6 Các thành phần cơ bản của một hệ thống cơ sở hạ tầng Grid 15 1.7 Kiến trúc Grid 16 1.8 Chuẩn hoá Grid 24 1.9 Giới thiệu các dự án Grid middleware chính 27 II. TỪ TÍNH TOÁN LƯỚI ĐẾN TÍNH TOÁN ĐÁM MÂY 33 III. CÁC BƯỚC XÂY DỰNG VÀ TRIỂN KHAI GRID SERVICE 34 IV. CẤU HÌNH QUÁ TRÌNH TRIỂN KHAI SERVICE VỚI WEB SERVICE DEPLOYMENT DESCRIPTOR (WSDD) 38 4.1 Tạo file GAR với công cụ Ant 39 4.2 Triển khai Grid service trên một Grid service container 40 4.3 Xây dựng client 41 V. TÀI LIỆU THAM KHẢO 42 Điện toán lưới và đám mây GVHD: PGS.TS.Nguyễn Phi Khứ I. TỔNG QUAN VỀ CÔNG NGHỆ GRID COMPUTING 1.1Khái niệm Một định nghĩa về Grid khá hoàn chỉnh được đưa ra bởi tiến sỹ Ian Foster như sau “Grid là một loại hệ thống song song, phân tán cho phép chia sẻ, lựa chọn, kết hợp các tài nguyên phân tán theo địa lý, thuộc nhiều tổ chức khác nhau dựa trên tính sẵn sàng, khả năng, chi phí của chúng và yêu cầu về chất lượng dịch vụ (QoS) của người dùng để giải quyết các bài toán, ứng dụng có quy mô lớn trong khoa học, kỹ thuật và thương mại. Từ đó hình thành nên các “tổ chức ảo” (Virtual Organization (VO)), các liên minh tạm thời giữa các tổ chức và tập đoàn, liên kết với nhau để chia sẻ tài nguyên và/hoặc kỹ năng nhằm đáp ứng tốt hơn các cơ hội kinh doanh hoặc các dự án có nhu cầu lớn về tính toán và dữ liệu, toàn bộ việc liên minh này dựa trên các mạng máy tính” Một hệ thống Grid có những đặc trưng sau: a. Có sự kết hợp, chia sẻ các tài nguyên không được quản lý tập trung: Grid tích hợp và phối hợp tài nguyên, người dùng thuộc nhiều vùng quản lý khác nhau, nhiều đơn vị khác nhau trong một tổ chức, hay nhiều tổ chức khác nhau. Công nghệ Grid tập trung giải quyết các vấn đề về bảo mật, chính sách quản trị, chi phí, thành viên,… nảy sinh trong quá trình chia sẻ và sử dụng tài nguyên. b. Sử dụng các giao diện và giao thức chuẩn, mang tính mở, đa dụng. Grid được xây dựng trên các giao thức và giao diện tổng quát, đa dụng để giải quyết các vấn đề cơ bản như chứng thực người dùng, phân quyền, tìm kiếm và truy xuất tài nguyên. c. Đáp ứng yêu cầu cao về chất lượng dịch vụ. Grid cho phép sử dụng phối hợp các tài nguyên để cung cấp nhiều loại dịch vụ với các mức chất lượng khác nhau, liên quan đến ví dụ như thời gian đáp ứng, hiệu suất, tính sẵn sàng, bảo mật, cho phép kết hợp nhiều kiểu tài nguyên để đáp ứng nhu cầu phức tạp của người dùng. Mục tiêu là phải phối hợp làm sao để khả năng của hệ thống sau khi kết hợp phải lớn hơn hẳn tổng khả năng của từng đơn vị cấu thành nên Grid. 1.2Tài nguyên của Grid Các tài nguyên của Grid bao gồm các loại sau a. Tài nguyên tính toán Trang: 1 Điện toán lưới và đám mây GVHD: PGS.TS.Nguyễn Phi Khứ Đây là tài nguyên phổ biến nhất, là các chu kỳ tính toán (computing cycles) được cung cấp bởi bộ vi xử lý của các thiết bị trong Grid. Các bộ vi xử lý không cần phải cùng loại mà có thể có tốc độ, kiến trúc, chạy phần mềm khác nhau. Có 3 cách để khai thác tài nguyên tính toán của Grid: 1. Cách đơn giản nhất là chạy các ứng dụng hiện có trên một node của Grid thay vì chạy trên máy tính cục bộ. 2. Thiết kế ứng dụng, tách các công việc thành các phần riêng rẽ để có thể thực thi song song trên nhiều bộ xử lý khác nhau. 3. Chạy ứng dụng thực thi nhiều lần trên nhiều node khác nhau trong Grid. b. Tài nguyên lưu trữ Tài nguyên phổ biến thứ nhì trong Grid là tài nguyên lưu trữ. Mỗi thiết bị trong Grid thường cung cấp một số dung lượng lưu trữ phục vụ cho việc thực thi ứng dụng trên Grid. Tài nguyên lưu trữ có thể là bộ nhớ trong, ổ đĩa cứng hoặc các thiết bị lưu trữ khác. Bộ nhớ trong thường dùng để lưu trữ dữ liệu tạm thời cho ứng dụng, trong khi các thiết bị lưu trữ ngoài có thể được sử dụng để tăng không gian lưu trữ, tăng hiệu suất, khả năng chia sẻ và đảm bảo tính tin cậy của dữ liệu. c. Phương tiện liên lạc Khả năng liên lạc giữa các máy tính phát triển nhanh chóng đã giúp cho công nghệ Grid trở nên hiện thực, do đó đây cũng là một tài nguyên quan trọng. Ở đây bao gồm việc liên lạc, trao đổi dữ liệu giữa các thành phần trong Grid và giao tiếp giữa Grid với bên ngoài. Một số công việc đòi hỏi một lượng dữ liệu lớn nhưng các dữ liệu này thường không nằm trên máy đang thực thi công việc. Khả năng về băng thông trong những trường hợp như vậy là một tài nguyên then chốt, ảnh hưởng đến khả năng của Grid. Việc giao tiếp với bên ngoài được thực hiện thông qua mạng Internet. Grid có thể sử dụng các kết nối Internet để liên lạc giữa các node. Vì các kết nối này không chia sẻ một đường truyền nên làm tăng băng thông truy cập Internet. Các đường truyền dự phòng đôi khi cần thiết để giải quyết tốt hơn các vấn đề về hư hỏng mạng và truyền dữ liệu lớn. d. Phần mềm, ứng dụng Grid có thể được cài đặt các phần mềm mà có thể quá mắc để cài trên tất cả mọi máy tính trong Grid. Các phần mềm này chỉ cần được cài trên một số node. Thông qua Grid, khi một công việc cần đến chúng, nó sẽ gửi dữ liệu đến node đã được cài đặt phần mềm và cho thực thi. Đây có thể là một giải pháp tốt để tiết kiệm chi phí về bản quyền phần mềm. Trang: 2 Điện toán lưới và đám mây GVHD: PGS.TS.Nguyễn Phi Khứ e. Các thiết bị đặc biệt Là các thiết bị dùng trong khoa học, kỹ thuật như kính viễn vọng, các bộ cảm biến (sensor),… Các thiết bị này chủ yếu thu thập các dữ liệu khoa học, phục vụ cho các bước phân tích, xử lý sau này. Tài nguyên Grid dưới quan điểm của người dùng, là một khối thống nhất có được nhờ sự ảo hoá 1.3 Phân loại Grid & Grid Topology 1.3.1 Phân loại Grid a. Các kiểu Grid Công nghệ Grid Computing có thể được sử dụng theo nhiều cách khác nhau để giải quyết các loại yêu cầu ứng dụng. Thông thường Grid được phân loại bởi kiểu của ứng dụng cần giải quyết. Có 3 loại Grid như trình bày dưới đây. Tuy nhiên không có ranh giới phân biệt rõ ràng giữa các loại Grid và trong thực tế, các giải pháp Grid thường là sự kết hợp 2 hay nhiều loại khác nhau. b. Grid Tính toán (Computation Grid) Loại Grid này tập trung chủ yếu vào việc sử dụng năng lực tính toán. Ở dạng Grid này, phần lớn các node là các máy tính hay các nhóm máy tính(cluster) có năng lực xử lý, tính toán rất lớn. Hình thức thực hiện là chia tác vụ tính toán lớn thành nhiều công việc nhỏ thực thi song song trên các node của Grid. Việc phân tán các tác vụ tính toán trong Grid sẽ làm giảm rất đáng kể toàn bộ thời gian xử lý và tăng khả năng tận dụng hệ thống. Thông thường một hệ thống chính sẽ chia khối dữ liệu cần xử lý thành các phần nhỏ, sau đó phân phối đến các node trên Grid. Mỗi node sẽ thực hiện xử lý dữ liệu và trả kết quả về hệ thống chính để hệ này tổng hợp và trình diễn kết quả toàn cục cho người dùng. Hình 2-2 minh họa quá trình này. c. Grid Dữ liệu (Data Grid) Ở đây, không gian lưu trữ là tài nguyên. Một Grid Dữ liệu chịu trách nhiệm lưu trữ và cung cấp khả năng truy cập dữ liệu cho nhiều tổ chức khác nhau. Người dùng không cần biết chính xác vị trí dữ liệu khi thao tác với dữ liệu. Các cơ sở dữ liệu, đặc biệt các cơ sở dữ liệu liên hợp, đóng vai trò quan trọng trong các Grid Dữ liệu, nhất là khi có nhiều nguồn dữ liệu và xuất hiện nhu cầu kết hợp các thông tin từ các nguồn dữ liệu này. Các Grid Dữ liệu có thể được sử dụng trong lĩnh vực khai thác dữ liệu(data mining) hoặc các hệ thống thương mại thông minh. Trong trường hợp này, không chỉ có hệ thống file hay các cơ sở dữ liệu mà toàn bộ dữ liệu của tổ chức cần tập hợp lại. Ở đây có thể phải kết hợp giữa Grid Dữ liệu và Grid Tính toán. d. Scavenging Grid Trang: 3 Điện toán lưới và đám mây GVHD: PGS.TS.Nguyễn Phi Khứ Một Scavenging Grid thường được dùng với một lượng lớn các máy tính để bàn. Các máy tính thường được kiểm tra định kỳ để xem khi nào bộ xử lý và các tài nguyên khác rảnh rỗi để thực hiện các tác vụ Grid. Chủ nhân của máy để bàn thường có quyền xác định khi nào thì chia sẻ chiếc máy của mình. 1.3.2 Đồ hình Grid (Grid Topology) Grid có thể được xây dựng theo nhiều kích cỡ khác nhau, từ một nhóm vài máy tính đặt trong một phòng ban đến hàng trăm nhóm máy tính tổ chức theo kiểu phân cấp trải rộng khắp thế giới. Đồ hình Grid đơn giản nhất là SimpleGrid, chỉ bao gồm một số máy tính đồng nhất ở cùng một vị trí. Độ phức tạp của đồ hình Grid tương ứng với số lượng tổ chức tham gia Grid và các ràng buộc về địa lý. Phần này sẽ giới thiệu sơ nét về một số đồ hình Grid cơ bản. Hình 1-1 Các đồ hình Grid. a. SimpleGrid Trang: 4 Điện toán lưới và đám mây GVHD: PGS.TS.Nguyễn Phi Khứ Hình 1-2 Đồ hình SimpleGrid Một SimpleGrid chỉ bao gồm vài máy tính, tất cả đều có cùng kiến trúc phần cứng, chạy cùng một hệ điều hành, kết nối vào mạng cục bộ. Dạng Grid này sử dụng các hệ thống đồng nhất nên ít phức tạp, thường chỉ dùng để thử nghiệm, làm quen với các phần mềm Grid. Các máy tính thuộc một phòng ban trong tổ chức nên việc sử dụng chúng cho Grid không cần các chính sách đặc biệt về quản lý cũng như bảo mật. Các máy tính chạy cùng hệ điều hành, cùng kiến trúc phần cứng nên việc chọn các phần mềm ứng dụng khá đơn giản, dễ dàng. Đồ hình này khiến người ta liên tưởng đến các cluster hơn là Grid. b. IntraGrid Hình 1-3 Đồ hình IntraGrid Trang: 5 Điện toán lưới và đám mây GVHD: PGS.TS.Nguyễn Phi Khứ Mở rộng hơn một chút so với SimpleGrid là IntraGrid. Lúc này xuất hiện các hệ thống không đồng nhất, nhiều loại tài nguyên mới trong Grid. Sử dụng cùng một chính sách bảo mật, sử dụng mạng nội bộ để kết nối các hệ thống trong Grid là các đặc tính quan trọng của đồ hình này. Hệ thống Grid cần có các module lập lịch. Việc chia sẻ file có thể sử dụng các hệ thống file mạng (network filesytem). Các máy tính tham gia Grid có thể thuộc nhiều phòng ban khác nhau nhưng vẫn trong cùng một tổ chức. Khi Grid mở rộng ra nhiều phòng ban, các chính sách mới về cách sử dụng Grid cần phải được xác lập và áp dụng. Ví dụ: cần phải có chính sách quy định những công việc nào được thực hiện trên Grid, vào thời điểm nào; độ ưu tiên của các phòng ban,… Bên cạnh đó vấn đề bảo mật cũng cần được quan tâm, các dữ liệu nhạy cảm của một phòng ban cần được bảo vệ khỏi sự truy cập từ các công việc của các phòng ban khác. Các máy tính dành riêng cho Grid bắt đầu được đưa vào để làm tăng chất lượng dịch vụ của Grid, thay vì phải trông chờ vào các tài nguyên rảnh rỗi. c. ExtraGrid Vẫn trong cùng một tổ chức, ExtraGrid là sự kết hợp 2 hay nhiều IntraGrid. Như trong hình 2-6, ExtraGrid liên quan đến nhiều vùng quản lý khác nhau, phân tán theo địa lý, sử dụng các kết nối truy cập từ xa hay WAN, do đó độ phức tạp trong quản lý tăng lên rất nhiều. Đối với ExtraGrid, các tài nguyên mang tính động hơn, Grid cần phải linh động trong việc quản lý các tài nguyên, cần có cơ chế kiểm soát và phục hồi lỗi. Cần có các dịch vụ cung cấp thông tin (information service) để tìm kiếm tài nguyên. Hình 1-4 Đồ hình ExtraGrid Trang: 6 [...]... giữa các Grid service Chuẩn OGSI dựa trên các chuẩn khác như XML, Web service, WSDL, … do đó, nó cũng là một chuẩn mở c Web Services Resource Framework (WSRF) Là một bước phát triển của OGSI, nó kết hợp kiến trúc Grid vào công nghệ Web service hiện hành Thay vì xây dựng một kiểu Grid service mới, những đặc tả này cho phép các service xác định trong OGSI được xây dựng hoàn toàn dựa trên Web service Tóm... đi sâu vào mặt kỹ thuật của vấn đề, nó chỉ giúp phân biệt cái gì là Grid và cái gì không phải OGSA xác định Grid service phải được xây dựng dựa trên các chuẩn về Web service hiện hành, xem Grid service như là các Web service được chỉnh sửa để đáp ứng các yêu cầu mới Ví dụ, bản thân các Grid service được định nghĩa bằng chuẩn WSDL (Web Services Definition Language) với một số mở rộng Điều này rất quan... công nghệ dựa theo một chuẩn chung và mở để truy cập nhiều loại Grid service dựa trên các chuẩn hiện hành như SOAP, XML, và WSSecurity Với điều kiện như vậy, có thể thêm và tích hợp các Grid service mới một cách đơn giản, dễ dàng Nó cung cấp một phương pháp chung nhất để tìm kiếm, xác Trang: 25 Điện toán lưới và đám mây GVHD: PGS.TS.Nguyễn Phi Khứ định, sử dụng các service mới khi chúng có mặt Từ đó,... Global Grid Forum(GGF) ra đời với thành viên là hầu hết các nhà nghiên cứu, các tổ chức hàng đầu trong việc xây dựng công nghệ Grid Computing GGF đã và đang phát triển các chuẩn về Grid Computing như : Open Grid Services Architecture (OGSA), Open Grid Services Infrastructure (OGSI), Web Services Resource Framework (WSRF) Các chuẩn trên đây cũng là chuẩn duy nhất hiện nay trong ngành công nghệ Grid Computing. .. nghệ Grid Computing vào thực tế 1.4.7 Các vấn đề khác  Khi kích cỡ Grid tăng lên, chi phí quản lý cũng tăng theo, hiệu suất của Grid cũng giảm xuống, do đó khi xây dựng các công nghệ Grid cần tính toán khả năng mở rộng của hệ thống  Cần có các cơ chế quản lý tiến trình để đặt chỗ trước trên tài nguyên, khởi động, kiểm soát, điều khiển việc thực thi của các tiến trình Trang: 12 Điện toán lưới và đám mây. .. năng Grid sau: + Lấy các thông tin, thẻ chứng thực (các protocol tầng Connectivity) + Truy vấn hệ thống thông tin Grid và các danh mục để tìm các tài nguyên thích hợp và vị trí các file dữ liệu đầu vào (các dịch vụ tầng Collective) + Gửi các yêu cầu đến các tài nguyên để thực hiện tính toán, di chuyển dữ liệu,… và kiểm soát quá trình thực thi công việc, thông báo cho Trang: 21 Điện toán lưới và đám mây. .. tầm nhìn rộng hơn do Grid cung cấp, các tình huống trên có thể được giải quyết dễ dàng Trang: 14 Điện toán lưới và đám mây GVHD: PGS.TS.Nguyễn Phi Khứ Trên đây giới thiệu một số ích lợi khi sử dụng công nghệ Grid Computing, Grid còn mang lại rất nhiều lợi ích khác mà không thể kể hết ở đây, tuỳ vào tình huống cụ thể mà đem lại các lợi ích khác nhau Vấn đề là phải hiểu rõ bản chất Grid, sử dụng tốt các.. .Điện toán lưới và đám mây GVHD: PGS.TS.Nguyễn Phi Khứ d InterGrid Theo thời gian, các Grid mở rộng ra khỏi một tổ chức và bắt đầu liên kết nhiều tổ chức với nhau, được dùng để phối hợp giữa các tổ chức trong các dự án lớn Một InterGrid đòi hỏi việc liên kết động các ứng dụng, tài nguyên và dịch vụ Khách hàng hay bất kỳ tổ chức hợp lệ nào khác đều có thể truy cập Grid thông qua các... quyết các bài toán đòi hỏi năng lực xử lý lớn trong các ngành khác như y dược, tính toán tài chính, kinh tế, khai thác dầu hoả, dự báo thời tiết, công nghiệp vũ trụ, thiết kế sản phẩm, … và rất nhiều lĩnh vực khác Trang: 13 Điện toán lưới và đám mây GVHD: PGS.TS.Nguyễn Phi Khứ c Cho phép hợp tác trên toàn thế giới Một trong những đóng góp quan trọng của công nghệ Grid Computing là cho phép và đơn giản... CORBA, RMI, RPC,… Và hiện nay, toàn bộ bản đặc tả OGSI version 1.0 đã được cài đặt cụ thể trong bộ Globus Toolkit từ version 3.0 trở đi, và UNICORE cũng bắt đầu cài đặt lại theo OGSA, OGSI Hình 1-10 Mối quan hệ giữa các chuẩn về Grid Service Trang: 26 Điện toán lưới và đám mây GVHD: PGS.TS.Nguyễn Phi Khứ 1.9 Giới thiệu các dự án Grid middleware chính Ứng với từng tầng trong kiến trúc Grid, có rất nhiều . cảm ơn ! Điện toán lưới và đám mây GVHD: PGS.TS.Nguyễn Phi Khứ MỤC LỤC I. TỔNG QUAN VỀ CÔNG NGHỆ GRID COMPUTING 1 1.1 Khái niệm 1 1.2 Tài nguyên của Grid 1 1.3 Phân loại Grid & Grid Topology. các dự án Grid middleware chính 27 II. TỪ TÍNH TOÁN LƯỚI ĐẾN TÍNH TOÁN ĐÁM MÂY 33 III. CÁC BƯỚC XÂY DỰNG VÀ TRIỂN KHAI GRID SERVICE 34 IV. CẤU HÌNH QUÁ TRÌNH TRIỂN KHAI SERVICE VỚI WEB SERVICE. khai Grid service trên một Grid service container 40 4.3 Xây dựng client 41 V. TÀI LIỆU THAM KHẢO 42 Điện toán lưới và đám mây GVHD: PGS.TS.Nguyễn Phi Khứ I. TỔNG QUAN VỀ CÔNG NGHỆ GRID COMPUTING