Tính tốn lưới Tổng quan Hà nội, 6/2008 Đại học Bách khoa Hà Nội Nguyễn Hữu Đức Center of High Performance Computing Hanoi University of Technology {ducnh@soict.hut.edu.vn} Ứng dụng phân tán Lịch sử hệ phân tán Những hệ phân tán đầu tiên,v.d SABRE & SAGE 1960 Licklider đề xuất mô hình tính tốn chia sẻ nhiều site ARPA net IBM CICS Ethernet TCP Các mạng nghiên cứu với nhiều giao thức khơng tương thích CORBA & DCOM IP-based Internet Academic & Research WWW 1970 1980 1990 2000 1960 Từ hệ phân tán đến tính tốn lưới D-Grid Những hệ phân tán Nhiều lưới toán nghiên cứu Licklider đề xuất mô hifnhtisnh chia sẻ sử dụng đa dạng & M/W stacks IBM CICS Web Services EDG EGEE EGEE II Unicore Nhiều mạng nghiên cứuvói thức khơng tương thích Cộng tác dựa chia Các giaoGlobus sẻ liệu sinh CORBA & DCOM học/hóa học/y học IP-based Internet I-way Academic & Research Condor WWW ARPA net 1970 1980 1990 2000 Lịch sử tính tốn lưới F ‘9 G C s G S m : h ‘ g ru n n g o ộ h t tin đ dF i u p p p ậ Gri ậ l h h r m k P n e nh o r t p e C ế a m A r p k p u e a r ” & GA s p p y o ” u n G g F a S v E F um my olo -W r e : d A & G o to ysi A r i r op S ay F F O a G u S n h G d G W i r O G rm I“A “P OG US E G fo 1995 ’96 ’97 ’98 ’99 2000 ’01 ’02 ’03 ’04 ’05 2006 • • Chương Chươngtrình trìnhe-Science e-Science(UK) (UK) •• •• •• •• •• DARPA DARPAtài tàitrợ trợGlobus GlobusToolkit Toolkit&&Legion Legion EU tài trợ UNICORE project EU tài trợ UNICORE project US USDoE DoEcổ cổvũ vũtính tínhtốn tốnlưới lưới NSF tài trợ National Technology NSF tài trợ National TechnologyGrid Grid NASA xây dựng Information Power NASA xây dựng Information PowerGrid Grid Chính Chínhphủ phủNhật Nhậttài tàitrợ: trợ: • • Business Grid project Business Grid project • • NAREGI NAREGIproject project Hiện Hiệnnay: nay: • • TTL TTLlàlàgiải giảipháp phápphổ phổbiến biếntrong trongHPC HPC • • TTL bắt đầu phổ biến TTL bắt đầu phổ biến trongkinh kinh doanh doanh • • Các Cácchuẩn chuẩncơng cơngnghệ nghệđang đangphát pháttriển triển Lịch sử tính tốn lưới • Tính tốn song song năm 80-90 – Cung cấp kỹ thuật truyền thông xử lý máy tính song song – PVM,MPI,OpenMP • Mơ hình I-WAY (SC95) – Kết nhập tài nguyên phân tán từ 17 site – 60 ứng dụng – Một kiến trúc phần mềm cho việc truy nhập, bảo mật, điều phối tài nguyên Lịch sử tính tốn lưới • Các dự án I-WAY – – – – – – Globus Legion Condor (lập lịch thông lượng cao) Mars,Prophet (lập lịch hiệu cao) NWS Môi giới tài nguyên lưu trữ … • Các diễn đàn lưới – Kiến trúc lưới mở OGSA Lưới tính tốn gì? Lưới Lướitính tínhtốn toánlà làmột hệ hệ thống thốngbao bao gồm: gồm: −− −− Các Cáctài tàinguyên nguyênphân phântán tánđược đượckết kếtnối nốivới vớinhau Phần Phầncứng cứngvà vàphần phầnmềm mềmcho chophép phéptruy truynhập nhậpvà vàquản quảnlýlýcác cáctài tài nguyên cách suốt nguyên cách suốt License License Web Web server server Handheld Server Workstation Database Database Supercomputer Cluster Data Center Printer Printer R2AD Lưới mơ hình liên quan Tính Tínhtốn tốnphân phântán tán •• Ràng Ràngbuộc buộclỏng lỏng •• Khơng đồng Khơng đồngnhất •• Một Mộtquản quảntrịtrị Tính Tínhtốn tốnlưới lưới •• Cỡ Cỡlớn lớn •• Nhiều Nhiềutổtổchức chức •• Phân tán Phân tán vềđịa địalýlý •• Phân Phântán tánquản quảnlýlý Tính Tínhtốn tốntiện tiệních ích ••Dịch Dịchvụ vụtính tínhtốn tốn ••Khơng cần tri Khơng cần trithức thứcvề vềNCC NCC ••Sử dụng công nghệ lưới Sử dụng công nghệ lưới Cụm Cụm •• Ràng Ràngbuộc buộcchặt chặt •• Đồng Đồng •• Cộng Cộngtác tác Ứng dụng tính tốn lưới High-performance computing Collaborative design E-Business High-energy physics Financial modeling Data center automation Drug discovery Life sciences E-Science Collaborative data-sharing Một số ví dụ điển hình • •Tích Tíchhợp hợpvà vàchia chiasẻ sẻdữ dữliệu liệu −−Khoa Khoahọc họccuộc cuộcsống: sống:Chia Chiasẻ sẻcác cácdata-sets, data-sets,tổng tổng hợp data-sets hợp data-sets −−Thông Thơngtin tinyyhọc: học:Hệ Hệthống thốngthơng thơngtin tinbệnh bệnhviện việntích tích hợp hợp −−Năng Nănglượng lượng ••Mơ Mơphỏng −−Mơ Mơphỏng phỏngđộng độngđất đất ••Tính Tínhtốn tốnhiệu hiệunăng năngcao cao −−Khoa Khoahọc họcđời đờisống sống −−Vật liệu Vật liệu −−Thiên Thiênvăn vănhọc học ••Tính Tínhtốn tốnthơng thơnglượng lượngcao cao −−Khoa Khoahọc họcđời đờisống: sống:BLAST, BLAST,CHARMM, CHARMM,drug drug screening screening −−Công Côngnghệ: nghệ:aircraft aircraftdesign, design,materials, materials,biomedical biomedical −−Khoa học: high-energy physics, economic Khoa học: high-energy physics, economicmodeling modeling Một số ví dụ điển hình Một số ví dụ điển hình Một số tổ chức lưới • Global Grid Forum – Xây dựng chuẩn cho lưới • OASIS – Tổ chức phi lợi nhuận phát triển chuẩn thương mại • Các tổ chức liên quan khác – DMTF – W3C Kiến trúc lưới • Kiến trúc dịch vụ lưới mở (2002) – Cung cấp đặc tả chuẩn mở ứng dụng lưới – Chuẩn hóa hầu hết dịch vụ mà ứng dụng lưới sử dụng (vd Quản lý công việc, quản lý tài nguyên,…) – Áp dụng kiến trúc hướng dịch vụ (SOA) – Đặc tả dịch vụ cần thiết Một mô hình lưới cộng đồng Mơ hình lưới cộng đồng • Global Resources – Bao gồm máy tính,mạng, thiết bị lưu trữ, thiết bị hiển thị,… • Common Infrastructure – Các dịch vụ phần mềm cho phép hợp lưới mơi trường thống (OGSA) • User-focus middleware, tools, services – Cho phép sử dụng lưới cách suốt – Kết nối ứng dụng người sử dụng lưới Các nội dung đề cập đến mơn học • Hạ tầng – RPC, RMI, SOAP, OGSA, Globus, WSRF • Các dịch vụ – Bảo mật lưới, quản trị lưới • Quản lý cơng việc giao tiếp người sử dụng – Lập lịch lưới, quản lý tài nguyên – Quản lý luồng công việc – Cổng thơng tin lưới • Một số ứng dụng lưới RPC RMI • Triệu gọi từ xa (RPC) – Mở rộng khái niệm client/server cách tạo lập luật định vị dịch vụ truyền tham số • Kích hoạt phương thức từ xa (RMI) – Là RPC cho lập trình đối tượng (Java) Dịch vụ mạng • Là hệ thống Client/Server • Ý tưởng tương tự RPC,chỉ hoạt động giao thức HTTP • Thiếu sót: stateless,non-transient Dịch vụ lưới • Là mở rộng dịch vụ mạng Một số dịch vụ lưới GT OGSI • Chuẩn tính tốn lưới Single sign-on Thực thi từ xa Quản lý tính tốn chuyển dịch liệu Hỗ trợ từ cộng đồng người sử dụng lớn (tính phổ dụng) – Là khung dịch vụ lưới mức cao – – – – WSRF • Các tổ chức hỗ trợ dịch vụ mạng chưa thống với dịch vụ lưới • Globus Alliance đề xuất WSRF để tạo thống với chuẩn cho dịch vụ có trạng thái: – Create, address, inspect, discover, manage ... hiệu cao) NWS Môi giới tài nguyên lưu trữ … • Các diễn đàn lưới – Kiến trúc lưới mở OGSA Lưới tính tốn gì? Lưới Lướitính tínhtốn tốnlà làmột hệ hệ thống thốngbao bao gồm: gồm: −− −− Các Cáctài tàinguyên... Printer Printer R2AD Lưới mơ hình liên quan Tính Tínhtốn tốnphân phântán tán •• Ràng Ràngbuộc buộclỏng lỏng •• Khơng đồng Khơng đồngnhất •• Một Mộtquản quảntrịtrị Tính Tínhtốn tốnlưới lưới •• Cỡ Cỡlớn... tánquản quảnlýlý Tính Tínhtốn tốntiện tiệních ích ••Dịch Dịchvụ v? ?tính tínhtốn tốn ••Khơng cần tri Khơng cần trithức thứcvề vềNCC NCC ••Sử dụng cơng nghệ lưới Sử dụng cơng nghệ lưới Cụm Cụm ••