BÁO CÁO LUẬN VĂN CAO HỌC Đề tài: Nghiên cứu mô tính giá thành cho tô-pô mạng liên kết siêu máy tính sử dụng công cụ Simgrid Học viên: Trần Trung Hiếu GVHD: TS Phan Thanh Liêm PGS TS Nguyễn Khanh Văn Nội dung Tổng quan mạng liên kết Công cụ mô Simgrid Tính giá thành cho tô-pô mạng liên kết Ứng dụng minh họa Tổng quan mạng liên kết a Khái niệm & ứng dụng b Các thành phần  Cấu hình mạng (topology)  Định tuyến (routing)  Điều khiển luồng (flow control)  Hiệu mạng liên kết o Thông lượng o Độ trễ Tổng quan mạng liên kết a Khái niệm & ứng dụng (Mô hình mạng liên kết mức cao) • Mạng liên kết (Interconnection Network) hiểu cách tổng quát hệ thống lập trình vận chuyển liệu thiết bị đầu cuối • Sử dụng nhóm ứng dụng: tính toán hiệu cao (high-performance computing), lưu trữ vào (storage I/O), hệ thống cluster/workgroup… Tổng quan mạng liên kết • Các lĩnh vực ứng dụng mạng liên kết: On-chip networks (OCNs) , System/storage area networks (SANs), Local area networks (LANs), Wide area networks (WANs) Tổng quan mạng liên kết b Các thành phần  Cấu hình mạng (topology) •  Mẫu thiết kế kết nối nút mạng gọi cấu hình mạng - topology Định tuyến (routing) •  Là trình lựa chọn đường chọn để gói tin truyền theo Điều khiển luồng (flow control) •  Là trình lựa chọn, lệnh cho gói tin quyền truy cập vào tài nguyên cụ thể thời điểm Hiệu mạng liên kết • Thông lượng: Là lượng thông tin tối đa truyền đơn vị thời gian mạng liên kết • Độ trễ: Là khoảng thời gian trải qua từ gói tin khởi tạo nút nguồn đến gói tin nhận ỏ nút đích Tổng quan mạng liên kết b Các thành phần  Cấu hình mạng (topology) 1D mesh Ring 2D mesh 2D torus 4D-Hypercube Clos CM-5 “Thinned” Fat Tree Tổng quan mạng liên kết b Các thành phần  Cấu hình mạng (topology)  Ở đó, mesh sử dụng rộng rãi mạng truyền thống nhờ tính chất đơn giản cấu hình mạng dễ dàng định tuyến  Dựa vào đó, cấu hình mạng thiết kế phát triển như: o Direct topology: k-ary n-cubes • for ring • for mesh or torus • for cube o  Indirect topology: • Crossbar • Clos • Tree • Butterfly Một số siêu máy tính top500 sử dụng topology torus như: IBM's Blue Gene/L & Blue Gene/P; Cray XT3, IBM's Blue Gene/Q; Fujitsu's K computer & PRIMEHPC FX10  Compaq Alpha 21364 (and 21464, R.I.P.): 2D torus (k-ary 2-cube)  Cray T3D and T3E: 3D torus (k-ary, 3-cube)  Thinking Machines CM-5: Fat Tree Công cụ mô Simgrid a Lý lựa chọn công cụ Simgrid b Cấu hình cho ứng dụng Simgrid c Kiến trúc Simgrid Công cụ mô Simgrid a Lý lựa chọn công cụ Simgrid • Vai trò mô để kiểm nghiệm hay đề xuất thuật toán mạng máy tính • So với công cụ mô mạng giới Ns2, Ns3, Omnet++, SSFNet, J-Sim, Opnet, QualNet… Simgrid có ưu điểm: – Linh hoạt: Simgrid sử dụng cho nhiều cộng đồng tính toán phân tán quy mô lớn (LSDC) như: Grids, Clouds, HPC, P2P… tính toán song song truyền thông điệp MPI – Đáng tin cậy tiện lợi: mô hình kiểm nghiệm qua lý thuyết thực tiễn; nhanh, tốn nhớ; đa tảng; chế lưu vết trực quan; – Mã nguồn mở, sử dụng rộng rãi: sử dụng nhiều báo khoa học, CERN để cải thiện thuật toán Công cụ mô Simgrid b Cấu hình cho ứng dụng Simgrid • Trong Simgrid mô xây dựng, việc xác định đặc điểm tảng ứng dụng dựa thực thể trừu tượng: – Tài nguyên: Bao gồm tham số phần cứng sử dụng để miêu tả tảng đơn vị xử lý, kênh truyền, router,… – Hoạt động: Liên quan tới phần mềm, ứng dụng sử dụng tài nguyên Trong nghiên cứu LSDC, quan tâm tới loại hoạt động: • Tính toán: Hoạt động liên quan đến khả xử lý, đại diện cho ứng dụng thực tế, khối lượng công việc thực nút tính toán • Truyền thông: Hoạt động liên quan đến băng thông mạng, đại diện cho luồng liệu (data flow) vận chuyển từ nguồn tới đích 2 Công cụ mô Simgrid b Cấu hình cho ứng dụng Simgrid • Để thực thi thực tế với Simgrid cần xác định số đặc tính: – Nền tảng (Platform): Một miêu tả cho tài nguyên tính toán tài nguyên mạng – Ứng dụng (Application): Là phần code chương trình chạy sử dụng chức mô Simgrid, việc truyền thông tính toán quy đổi sang mô hành động, ước tính lõi mô Simgrid – Triển khai (Deployment): Các tiến trình chạy thực host giả lập xác định đây, vào lõi mô Simgrid biết tài nguyên sử dụng để truyền, xử lý liệu hoạt động mô bắt đầu – Lưu vết (Trace): Các trạng thái sử dụng tài nguyên biểu diễn 2 Công cụ mô Simgrid b Cấu hình cho ứng dụng Simgrid • Một ví dụ đơn giản: (viết sử dụng MSG api) Cấu hình platform Viết ứng dụng Cấu hình triển khai Công cụ mô Simgrid c Kiến trúc Simgrid Tính giá thành cho tô-pô mạng liên kết a Sử dụng cáp mạng công thức tính theo độ dài • Sử dụng cáp đồng & cáp quang kết hợp Chi phí Chi phí 1m dây Chi phí đầu kết nối Loại cáp mạng (Cost_per_m) (Connector_Cost) Cáp đồng ( < 5m) 16$ 20$ Cáp quang ( >5m) 5$ 188$ Cable_cost = (Cable_length * Cost_per_m + Connector_Cost) * 1.25 + Installation_Cost Tính giá thành cho tô-pô mạng liên kết b Tính độ dài cáp mạng • Minh họa mô hình phòng mạng • Lưới tọa độ AxB, với m số tủ mạng • Công thức manhatan: 0.6*ΔX + 2.1*ΔY + overhead Ứng dụng minh họa Topology 3D-torus (2,2,2) Ứng dụng minh họa • Xây dựng ứng dụng giả lập server room sử dụng cho tính toán song song tính giá thành để xây dựng topology – Nền tảng: Gồm nhiều máy, bố trí tủ mạng theo layout xác định – Cấu hình: Sử dụng topology kiểu 3D-torus – Ứng dụng chạy: Bài toán nhân ma trận – Triển khai: Ứng dụng cấu hình chạy số máy server room Tr©n träng c¶m ¬n! [...]... động mô phỏng bắt đầu – Lưu vết (Trace): Các trạng thái sử dụng tài nguyên được biểu diễn ở đây 2 Công cụ mô phỏng Simgrid b Cấu hình căn bản cho các ứng dụng Simgrid • Một ví dụ đơn giản: (viết sử dụng MSG api) Cấu hình platform Viết ứng dụng Cấu hình triển khai 2 Công cụ mô phỏng Simgrid c Kiến trúc Simgrid 3 Tính giá thành cho tô- pô mạng liên kết a Sử dụng cáp mạng và công thức tính theo độ dài • Sử. ..2 Công cụ mô phỏng Simgrid a Lý do lựa chọn công cụ Simgrid • Vai trò của mô phỏng để kiểm nghiệm hay đề xuất thuật toán mới trong mạng máy tính • So với các công cụ mô phỏng mạng hiện nay trên thế giới như Ns2, Ns3, Omnet++, SSFNet, J-Sim, Opnet, QualNet… Simgrid có ưu điểm: – Linh hoạt: Simgrid có thể sử dụng cho nhiều cộng đồng tính toán phân tán quy mô lớn (LSDC) như: Grids,... Ứng dụng (Application): Là phần code chương trình chạy sử dụng các chức năng mô phỏng của Simgrid, việc truyền thông và tính toán được quy đổi sang mô phỏng các hành động, được ước tính bởi lõi mô phỏng của Simgrid – Triển khai (Deployment): Các tiến trình chạy được thực hiện trên host giả lập nào được xác định ở đây, căn cứ vào đó lõi mô phỏng của Simgrid có thể biết được các tài nguyên nào được sử dụng. .. P2P… các tính toán song song truyền thông điệp MPI – Đáng tin cậy và tiện lợi: mô hình được kiểm nghiệm qua lý thuyết và thực tiễn; nhanh, tốn ít bộ nhớ; đa nền tảng; cơ chế lưu vết trực quan; – Mã nguồn mở, được sử dụng rộng rãi: sử dụng bởi nhiều bài báo khoa học, bởi CERN để cải thiện thuật toán 2 Công cụ mô phỏng Simgrid b Cấu hình căn bản cho các ứng dụng Simgrid • Trong Simgrid một mô phỏng được... công việc thực hiện trên một nút tính toán • Truyền thông: Hoạt động liên quan đến băng thông mạng, nó đại diện cho luồng dữ liệu (data flow) vận chuyển từ nguồn tới đích 2 Công cụ mô phỏng Simgrid b Cấu hình căn bản cho các ứng dụng Simgrid • Để thực thi trong thực tế với Simgrid chúng ta cần xác định một số đặc tính: – Nền tảng (Platform): Một miêu tả cho các tài nguyên tính toán và tài nguyên mạng. .. Sử dụng cáp đồng & cáp quang kết hợp Chi phí Chi phí trên 1m dây Chi phí đầu kết nối Loại cáp mạng (Cost_per_m) (Connector_Cost) Cáp đồng ( < 5m) 16$ 20$ Cáp quang ( >5m) 5$ 188$ Cable_cost = (Cable_length * Cost_per_m + Connector_Cost) * 1.25 + Installation_Cost 3 Tính giá thành cho tô- pô mạng liên kết b Tính độ dài cáp mạng • Minh họa mô hình phòng mạng • Lưới tọa độ AxB, với m là số tủ mạng • Công. .. 4 Ứng dụng minh họa Topology 3D-torus (2,2,2) 4 Ứng dụng minh họa • Xây dựng ứng dụng giả lập một server room sử dụng cho tính toán song song và tính giá thành để xây dựng topology – Nền tảng: Gồm nhiều máy, bố trí trong các tủ mạng theo một layout xác định – Cấu hình: Sử dụng topology kiểu 3D-torus – Ứng dụng chạy: Bài toán nhân ma trận – Triển khai: Ứng dụng được cấu hình chạy trên một số máy của... điểm nền tảng và ứng dụng dựa trên 2 thực thể trừu tượng: – Tài nguyên: Bao gồm các tham số phần cứng được sử dụng để miêu tả nền tảng như đơn vị xử lý, các kênh truyền, router,… – Hoạt động: Liên quan tới các phần mềm, ứng dụng sử dụng tài nguyên Trong nghiên cứu LSDC, chúng ta quan tâm tới loại hoạt động: • Tính toán: Hoạt động liên quan đến khả năng xử lý, nó đại diện cho một ứng dụng thực tế, một ... dung Tổng quan mạng liên kết Công cụ mô Simgrid Tính giá thành cho tô- pô mạng liên kết Ứng dụng minh họa Tổng quan mạng liên kết a Khái niệm & ứng dụng b Các thành phần  Cấu hình mạng (topology)... CM-5: Fat Tree Công cụ mô Simgrid a Lý lựa chọn công cụ Simgrid b Cấu hình cho ứng dụng Simgrid c Kiến trúc Simgrid Công cụ mô Simgrid a Lý lựa chọn công cụ Simgrid • Vai trò mô để kiểm nghiệm... Simgrid Tính giá thành cho tô- pô mạng liên kết a Sử dụng cáp mạng công thức tính theo độ dài • Sử dụng cáp đồng & cáp quang kết hợp Chi phí Chi phí 1m dây Chi phí đầu kết nối Loại cáp mạng (Cost_per_m)