Đang tải... (xem toàn văn)
BÁO CÁO HỌC PHẦN NGUYÊN LÝ HỆ ĐIỀU HÀNH 1 I. Giới thiệu 4 Tiếp cận với định nghĩa và tổng quan về Tính toán song song. 4 Tầm quan trọng và liên quan đến Tính toán hiện đại. 4 II. Khái niệm và thuật ngữ 4 Công việc, Quy trình, và Luồng. 4 Định nghĩa Đồng thời và Song song. 5 Đồng bộ hóa và Giao tiếp. 5 III. Phân loại cấu trúc của hệ thống song song 5 IV. Khía cạnh phần cứng của Tính toán song song 8 Bộ xử lý đa lõi và bộ xử lý đa bộ xử lý (MultiCore Processors and Multiprocessors) 8 GPU (Graphics Processing Units) và Các Bộ Tăng Tốc khác 9 Hệ thống bộ nhớ và Tính Nhất quán của Bộ đệm (Memory Hierarchy and Cache Coherence) 9 Mạng kết nối. (Interconnection Networks) 9 V. Khía cạnh phần mềm của Tính toán song song 9 Phân tích Mô hình và Học thuyết lập trình (MPI, OpenMP, CUDA). 9 Hỗ trợ của Hệ điều hành cho Tính toán song song. 9 Phần mềm trung gian (Middleware) và Thư viện. 10 VI. Thuật toán song song 10 Các loại Song song hóa: Song song hóa Dữ liệu, Song song hóa Tác vụ 10 Các Thuật toán và Mô hình Song song phổ biến 10 Khả năng Mở rộng và Các chỉ số Hiệu suất 10 VII. Vai trò và Trách nhiệm của Hệ điều hành 11 Quản lý Quá trình và Luồng trong Môi trường Song song 11 Phương pháp lập lịch cho Khối lượng công việc song song. 11 Quản lý Tài nguyên và Phân bổ. 11 Xử lý Đồng bộ hóa và Deadlocks. 11 VIII. Thách thức trong Tính toán song song 11 Luật Amdahl và Lợi ích Giảm Dần (Amdahl’s Law and Diminishing Returns): 12 Tính Chịu Đựng lỗi và Độ Tin Cậy (Fault Tolerance and Reliability): 12 Debugging và Bảo trì trong Môi trường song song. 12 IX. Các nghiên cứu và Ứng dụng thực tế 12 Tính toán hiệu năng cao (HPC) 12 Big Data và Phân tích Dữ liệu 13 Mô phỏng và Mô hình hóa Khoa học. 13 Đồ họa và Trò chơi điện tử. 13 X. Xu hướng và Phát triển trong tương lai 13 Công nghệ Phần cứng Mới. 13 Tiến bộ trong Mô hình Lập trình Song song 13 Vai trò của Tính toán lượng tử. 14 XI. Các công nghệ và thuật toán khác cùng ứng dụng với parallel computing 14 Tính toán tuần tự: 14 Tính toán phân tán: 14 Tính toán đám mây: 14 Tính toán lượng tử: 15 Các phương pháp thay thế dựa trên thuật toán: 15 XII. Kết luận 16 XII. Nguồn tài liệu 16
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ BÁO CÁO HỌC PHẦN NGUYÊN LÝ HỆ ĐIỀU HÀNH PARALLEL COMPUTING Họ tên: Phạm Tuấn Phong - 21020933 Nguyễn Hữu Phước - 21020508 Email: 21020933@vnu.edu.vn Điện thoại: 0976435584 Ngành học: Kỹ thuật Máy tính Hà nội, 2023 Contents BÁO CÁO HỌC PHẦN NGUYÊN LÝ HỆ ĐIỀU HÀNH I Giới thiệu -Tiếp cận với định nghĩa tổng quan Tính tốn song song -Tầm quan trọng liên quan đến Tính tốn đại .4 II Khái niệm thuật ngữ .4 -Cơng việc, Quy trình, Luồng .4 -Định nghĩa Đồng thời Song song - Đồng hóa Giao tiếp III Phân loại cấu trúc hệ thống song song IV Khía cạnh phần cứng Tính tốn song song - Bộ xử lý đa lõi xử lý đa xử lý (Multi-Core Processors and Multiprocessors) -GPU (Graphics Processing Units) Các Bộ Tăng Tốc khác -Hệ thống nhớ Tính Nhất quán Bộ đệm (Memory Hierarchy and Cache Coherence) - Mạng kết nối (Interconnection Networks) V Khía cạnh phần mềm Tính tốn song song -Phân tích Mơ hình Học thuyết lập trình (MPI, OpenMP, CUDA) .9 - Hỗ trợ Hệ điều hành cho Tính tốn song song - Phần mềm trung gian (Middleware) Thư viện 10 VI Thuật toán song song .10 -Các loại Song song hóa: Song song hóa Dữ liệu, Song song hóa Tác vụ .10 -Các Thuật tốn Mơ hình Song song phổ biến 10 -Khả Mở rộng Các số Hiệu suất 10 VII Vai trò Trách nhiệm Hệ điều hành .11 -Quản lý Q trình Luồng Mơi trường Song song .11 -Phương pháp lập lịch cho Khối lượng công việc song song 11 -Quản lý Tài nguyên Phân bổ .11 -Xử lý Đồng hóa Deadlocks 11 VIII Thách thức Tính tốn song song 11 -Luật Amdahl Lợi ích Giảm Dần (Amdahl’s Law and Diminishing Returns): 12 -Tính Chịu Đựng lỗi Độ Tin Cậy (Fault Tolerance and Reliability): 12 - Debugging Bảo trì Mơi trường song song .12 IX Các nghiên cứu Ứng dụng thực tế .12 -Tính tốn hiệu cao (HPC) 12 -Big Data Phân tích Dữ liệu 13 -Mơ Mơ hình hóa Khoa học .13 - Đồ họa Trò chơi điện tử 13 X Xu hướng Phát triển tương lai .13 -Công nghệ Phần cứng Mới .13 -Tiến Mơ hình Lập trình Song song 13 - Vai trị Tính tốn lượng tử 14 XI Các công nghệ thuật toán khác ứng dụng với parallel computing .14 - Tính tốn tuần tự: 14 - Tính tốn phân tán: 14 - Tính toán đám mây: 14 - Tính tốn lượng tử: 15 - Các phương pháp thay dựa thuật toán: .15 XII Kết luận 16 XII Nguồn tài liệu 16 I Giới thiệu -Tiếp cận với định nghĩa tổng quan Tính tốn song song ● Tính tốn song song phương pháp xử lý thông tin thực thuật tốn mà đó, nhiều phép tính thực đồng thời Các hệ thống máy tính song song thường bao gồm nhiều xử lý đơn (CPU) nhiều lõi (cores) CPU hoạt động lúc để tăng cường khả xử lý giảm thời gian thực cơng việc ● Có nhiều cách để thực tính tốn song song, bao gồm chia sẻ nhớ, chia sẻ không gian địa chỉ, thơng qua việc sử dụng mơ hình truyền thông truyền thông qua nhớ truyền thông trực tiếp xử lý -Tầm quan trọng liên quan đến Tính tốn đại ● Tính tốn song song ngày trở nên quan trọng giới đại với phát triển mạnh mẽ cơng nghệ liệu lớn Nó giúp xử lý phân tích liệu lớn cách hiệu hơn, giảm thời gian thực tác vụ cung cấp khả xử lý phức tạp cao ● Trong nhiều lĩnh vực khoa học, kỹ thuật, y học, tính tốn song song trở thành công cụ thiếu để mô phỏng, nghiên cứu phân tích Nó đóng vai trị quan trọng việc phát triển ứng dụng dịch vụ công nghệ thông tin truyền thơng ● Tính tốn song song góp phần nâng cao chất lượng khả đáp ứng hệ thống ứng dụng, đồng thời giúp tối ưu hoá nguồn lực nâng cao hiệu suất II Khái niệm thuật ngữ -Cơng việc, Quy trình, Luồng ● Nhiệm vụ (Tasks): Nhiệm vụ đơn vị cơng việc độc lập, thực mà không cần can thiệp từ nhiệm vụ khác Nhiệm vụ bao gồm cơng việc tính tốn, xử lý liệu, thực số thuật tốn cụ thể ● Quy trình (Processes): Quy trình chương trình thực thi mơi trường chạy độc lập Mỗi quy trình có không gian địa riêng tài nguyên riêng, chúng thực đồng thời khơng chia sẻ trực tiếp tài nguyên với ● Luồng (Threads): Luồng đơn vị nhỏ xử lý thực thi đồng thời quy trình Các luồng quy trình chia sẻ tài nguyên không gian địa biến toàn cục -Định nghĩa Đồng thời Song song ● Đồng thời (Concurrency): Đây khả hệ thống để xử lý nhiều nhiệm vụ khoảng thời gian không thiết phải thời điểm Điều giúp cải thiện hiệu suất thời gian phản hồi hệ thống ● Song song (Parallelism): Đây khả thực nhiều công việc thời điểm, thường sử dụng xử lý đa luồng xử lý đa nhiệm vụ để cải thiện hiệu suất - Đồng hóa Giao tiếp ● Đồng hóa (Synchronization): Đồng hóa q trình đảm bảo luồng quy trình thực theo trình tự định để trì tính qn tránh xung đột ● Giao tiếp (Communication): Giao tiếp trình trao đổi thơng tin luồng quy trình Điều xảy thơng qua phương tiện nhớ chia sẻ, hàng đợi tin nhắn, chế giao tiếp quy trình luồng khác III Phân loại cấu trúc hệ thống song song Cấu trúc song song chia theo hai nguyên lí: Flynn nhớ (Memory): Theo Phân loại Flynn: Hệ thống chia làm bốn phần: ⎯ SISD: Single instruction stream, single data stream ⮚ Hệ thống SISD thường thấy máy tính đời đầu, máy tính có xử lí nguồn data lúc Các tác vụ liệu xử lí hệ thống ⎯ SIMD: Single instruction stream, multiple data stream ⮚ Hệ thống SIMD thực tác vụ hành động nhiều nguồn data khác nhau, giúp cải thiện hiệu suất tăng tốc độ xử lí hệ thống ⮚ Cấu trúc hệ thống phù hợp với toán yêu cầu xử lí liệu lớn lại có instruction, ví dụ phổ biến xử lí ảnh, kiến trúc GPU ⎯ MISD: Multiple instruction stream, single data stream ⮚ MISD hệ thống thực nhiều tác vụ nguồn data ⮚ Dù MISD có khả cải thiện tốc độ xử lí hệ thống, nhiên lại phổ biến tính hạn chế hệ thống – liệu bị thực thi nguồn data gây xung đột lẫn ⎯ MIMD: Multiple instruction stream, multiple data stream ⮚ MIMD hệ thống đem lại khả tăng tốc xử lí thơng tin hiệu mạnh mẽ nhờ khả thực nhiều tác vụ nhiền nguồn liệu khác nhau, giúp tăng tốc hệ thống cách đáng kể ⮚ MIMD cấu trúc hệ thống phổ biến xuất hầu hết thiết bị đại ngày nay, tính đa dạng hiệu hệ thống đem lại 2 Theo phân loại Bộ nhớ: Hệ thống chia làm hai kiểu hệ thống chính: ⎯ Bộ nhớ chia sẻ: o Bộ nhớ thống nhất: ⮚ Các processors có quyền truy cập vào nhớ với tốc độ quyền ưu tiên ⮚ Các processors kết nối đến nhớ chia sẻ chính, nhiên nhân có vùng nhớ riêng (cache) o Bộ nhớ không thống nhất: ⮚ Các nhỡ truy cập vào vùng nhớ chung, nhiên với độ ưu tiên tốc độ khác Tốc độ processors phụ thuộc vào tốc độ truy cập tới bus nhanh hay chậm ⇨ Nhờ sử dụng chung nhớ nên lập trình đa luồng dễ dàng, tính tốn song song để tăng hiệu suất xử lí hệ thống cần thiết ⎯ Distributed memory ⮚ Trong kiến trúc này, processors có vùng nhớ riêng biệt, khơng có vùng nhớ chung processors liên kết với qua internet ⮚ Hệ thống có hệ thống scale vơ hạn IV Khía cạnh phần cứng Tính tốn song song - Bộ xử lý đa lõi xử lý đa xử lý (Multi-Core Processors and Multiprocessors) ● Bộ xử lý đa lõi dạng công nghệ xử lý song song, nơi mà nhiều lõi CPU kết hợp chip đơn Điều cho phép việc xử lý đồng thời nhiều tác vụ, cải thiện hiệu suất hiệu lượng ● Bộ xử lý đa bộ, ngược lại, liên quan đến việc sử dụng nhiều CPU riêng biệt kết nối với nhau, thường qua bus hệ thống mạng nối đặc biệt -GPU (Graphics Processing Units) Các Bộ Tăng Tốc khác ● GPU, hay đơn vị xử lý đồ hoạ, ban đầu thiết kế để xử lý công việc đồ hoạ Tuy nhiên, ngày chúng sử dụng rộng rãi ứng dụng tính tốn song song khả xử lý đồng thời lớn số lượng công việc ● Các tăng tốc khác, FPGA (Field-Programmable Gate Arrays) TPU (Tensor Processing Units), sử dụng để cải thiện hiệu suất ứng dụng đặc biệt cách tối ưu hoá phần cứng cho tác vụ cụ thể -Hệ thống nhớ Tính Nhất quán Bộ đệm (Memory Hierarchy and Cache Coherence) Trong hệ thống tính tốn song song, việc quản lý trì tính quán nhớ đệm nhớ quan trọng Hệ thống nhớ tổ chức theo hình thức phân cấp để cải thiện hiệu suất, nhớ đệm lõi xử lý cần đồng hóa để đảm bảo lõi có liệu cập nhật - Mạng kết nối (Interconnection Networks) Mạng nối đóng vai trò quan trọng việc kết nối thành phần hệ thống tính tốn song song, chẳng hạn lõi xử lý nhớ Các loại mạng nối khác bus, switch mạng crossbar, sử dụng tùy thuộc vào yêu cầu mức độ phức tạp hệ thống Việc chọn lựa thiết kế mạng nối cho phù hợp ảnh hưởng đến hiệu suất tổng thể hệ thống tính tốn song song V Khía cạnh phần mềm Tính tốn song song -Phân tích Mơ hình Học thuyết lập trình (MPI, OpenMP, CUDA) ● MPI (Message Passing Interface) giao thức truyền thông thông điệp tiến trình hệ thống tính tốn song song phân tán MPI hỗ trợ việc chia sẻ liệu công việc xử lý độc lập, cho phép chúng tương tác với qua việc truyền nhận thông điệp ● OpenMP (Open Multi-Processing) mơ hình lập trình dành cho hệ thống có nhớ chung, cho phép mở rộng sở mã nguồn chương trình C, C++ Fortran để chạy đa luồng cách dễ dàng hiệu ● CUDA (Compute Unified Device Architecture) công nghệ tính tốn song song NVIDIA phát triển, cho phép tận dụng sức mạnh GPU để xử lý tác vụ tính tốn phức tạp nặng tính tốn - Hỗ trợ Hệ điều hành cho Tính tốn song song ● Hệ điều hành (OS) có trách nhiệm quản lý phân phối nguồn lực hardware, lập lịch quản lý tiến trình luồng Trong tính tốn song song, OS cần phải thiết kế tối ưu hóa để quản lý số lượng lớn tiến trình luồng chạy đồng thời ● Các hệ điều hành Linux phát triển tối ưu hóa để hỗ trợ tốt cho tính tốn song song, với tính cơng cụ đặc biệt chế lập lịch tiến trình, quản lý nhớ hỗ trợ hardware - Phần mềm trung gian (Middleware) Thư viện ● Middleware phần mềm đặt hệ điều hành ứng dụng, giúp tạo điều kiện thuận lợi cho việc phát triển triển khai ứng dụng tính tốn song song ● Các thư viện phần mềm cung cấp hàm công cụ tái sử dụng để hỗ trợ việc phát triển ứng dụng song song Các thư viện thường chứa hàm thuật toán tối ưu, giúp nhà phát triển tập trung vào việc xây dựng tối ưu hóa ứng dụng mà khơng cần lo lắng vấn đề liên quan đến hệ thống hardware VI Thuật tốn song song -Các loại Song song hóa: Song song hóa Dữ liệu, Song song hóa Tác vụ ● Song song hóa Dữ liệu (Data Parallelism): Trong kiểu song song hóa này, liệu chia thành nhiều phần phần xử lý đồng thời xử lý khác Mỗi xử lý thực loại hành động phần liệu khác Điều phù hợp với vấn đề mà chia thành tác vụ độc lập không cần phải giao tiếp nhiều với ● Song song hóa Tác vụ (Task Parallelism): Trong kiểu song song hóa này, tác vụ khác phân chia thực đồng thời xử lý Mỗi tác vụ phần vấn đề lớn thực cách độc lập Các tác vụ giao tiếp với chia sẻ liệu cần -Các Thuật tốn Mơ hình Song song phổ biến ● Thuật toán Sắp xếp: Các thuật toán Sắp xếp nhanh (QuickSort), Sắp xếp trộn (MergeSort) song song hóa để tăng hiệu suất ● Thuật tốn Tìm kiếm: Tìm kiếm song song cấu trúc liệu cây, danh sách liên kết ● Mô hình MapReduce: Đây mơ hình phổ biến xử lý liệu lớn, cho phép thực tác vụ đồng thời tổng hợp kết -Khả Mở rộng Các số Hiệu suất ● Khả mở rộng (Scalability): Đây khả hệ thống song song việc xử lý hiệu có thêm tài nguyên xử lý nhớ ● Hiệu suất (Performance Metrics): Các số thời gian thực hiện, hiệu suất theo tỷ lệ, thông lượng sử dụng để đánh giá hiệu suất hệ thống song song Thời gian thực đo lường thời gian chạy tổng cộng, thông lượng đo lường số lượng công việc hoàn thành đơn vị thời gian VII Vai trò Trách nhiệm Hệ điều hành -Quản lý Q trình Luồng Mơi trường Song song ● Trong mơi trường tính tốn song song, việc quản lý trình luồng quan trọng Mỗi q trình chứa nhiều luồng, luồng thực tác vụ tính tốn cách độc lập ● Hệ thống cần phải có khả phân chia phân phối luồng trình cách hiệu đến vi xử lý nút tính tốn, để đảm bảo tác vụ xử lý cách nhanh chóng hiệu Việc quản lý bao gồm việc đảm bảo tài nguyên hệ thống, nhớ vi xử lý, sử dụng cách tối ưu -Phương pháp lập lịch cho Khối lượng công việc song song ● Các phương pháp lập lịch cần thiết để đảm bảo công việc phân phối thực cách hợp lý môi trường song song ● Có thể áp dụng nhiều kỹ thuật lập lịch khác nhau, bao gồm lập lịch dựa ưu tiên, lập lịch dựa thời gian, lập lịch dựa tài ngun sẵn có, để đảm bảo cơng việc hoàn thành thời gian đạt hiệu suất tối đa -Quản lý Tài nguyên Phân bổ Trong tính tốn song song, việc quản lý phân phối tài nguyên quan trọng Hệ thống cần có khả xác định, cấp phát theo dõi tài nguyên vi xử lý, nhớ băng thông mạng để đảm bảo chúng sử dụng cách hiệu Việc đòi hỏi hệ thống có khả tự động điều chỉnh cân nhắc yêu cầu tài nguyên cơng việc phân phối -Xử lý Đồng hóa Deadlocks ● Xử lý đồng hóa deadlocks phần khơng thể thiếu tính tốn song song Đồng hóa q trình đảm bảo luồng trình làm việc cách đồng bộ, đảm bảo tính quán độ xác liệu ● Deadlocks tình trạng mà hai nhiều luồng trình đợi lẫn để truy cập tài nguyên, gây tình trạng treo hệ thống Hệ thống cần có phương pháp kỹ thuật để phát giải deadlocks, để đảm bảo hệ thống hoạt động mượt mà không bị gián đoạn VIII Thách thức Tính tốn song song -Luật Amdahl Lợi ích Giảm Dần (Amdahl’s Law and Diminishing Returns): ● Luật Amdahl đặt theo tên Gene Amdahl, người tiên phong lĩnh vực tính tốn song song Luật mơ tả mối quan hệ cải thiện tổng thể hệ thống phần tối ưu hóa thơng qua tính tốn song song ● Theo luật Amdahl, việc tăng số lượng xử lý hệ thống không đồng nghĩa với việc cải thiện hiệu suất theo tỷ lệ Cụ thể, lợi ích từ việc tối ưu hóa giảm dần số lượng xử lý tăng lên công việc phân chia song song hóa ● Trong ứng dụng thực tế, để đạt hiệu suất tối ưu từ tính tốn song song, cần xem xét kỹ lưỡng đánh giá mức độ song song hóa đạt phần chương trình -Tính Chịu Đựng lỗi Độ Tin Cậy (Fault Tolerance and Reliability): ● Tính chịu đựng lỗi (Fault Tolerance) khả hệ thống tiếp tục hoạt động bình thường điều kiện có vài thành phần gặp cố Trong tính tốn song song, điều đặc biệt quan trọng số lượng lớn xử lý thành phần khác, điều làm tăng nguy gặp cố ● Độ tin cậy (Reliability) hệ thống tính tốn song song mức độ mà hệ thống hoạt động mà không gặp phải cố lỗi Điều liên quan chặt chẽ với tính chịu đựng lỗi thường đánh giá thông qua thời gian hoạt động trung bình cố (MTBF - Mean Time Between Failures) - Debugging Bảo trì Môi trường song song ● Gỡ lỗi môi trường tính tốn song song q trình tìm kiếm sửa chữa lỗi mã nguồn để chương trình hoạt động xác hiệu Do độ phức tạp việc phân chia công việc điều phối xử lý, việc gỡ lỗi môi trường trở nên khó khăn ● Bảo dưỡng (Maintenance) đề cập đến việc cập nhật chỉnh sửa chương trình để đảm bảo tiếp tục hoạt động mạnh mẽ không lỗi thời Trong môi trường tính tốn song song, việc bảo dưỡng địi hỏi ý đặc biệt để đảm bảo tất xử lý hoạt động đồng hiệu IX Các nghiên cứu Ứng dụng thực tế -Tính tốn hiệu cao (HPC) Tính toán hiệu cao (HPC) lĩnh vực công nghệ thông tin chuyên việc xây dựng sử dụng hệ thống tính tốn siêu cấp để giải vấn đề tính tốn phức tạp lớn HPC cho phép thực phép tính với tốc độ nhanh hiệu cao cách sử dụng hệ thống máy tính đồng song song HPC rộng rãi sử dụng nhiều lĩnh vực khác bao gồm khoa học, kỹ thuật, phân tích liệu -Big Data Phân tích Dữ liệu Big Data phân tích liệu liên quan đến việc xử lý phân tích lượng lớn liệu khơng cấu trúc phức tạp để trích xuất thơng tin kiến thức có giá trị Tính tốn song song phương pháp hiệu để xử lý Big Data, cho phép xử lý đồng thời nhiều tập liệu nhanh chóng tìm thơng tin hữu ích Qua đó, giúp cải thiện định dự đoán lĩnh vực kinh doanh, y tế khoa học nghiên cứu -Mô Mơ hình hóa Khoa học Trong lĩnh vực khoa học, mơ mơ hình hóa giúp mơ tả dự đoán tượng tự nhiên kỹ thuật cách sử dụng mơ hình tốn học thuật tốn Tính tốn song song đóng vai trị quan trọng việc giảm thiểu thời gian mô cải thiện độ xác mơ hình, cho phép nghiên cứu phát triển lĩnh vực vật lý, hoá học, sinh học - Đồ họa Trị chơi điện tử Tính tốn song song sử dụng rộng rãi lĩnh vực đồ họa trò chơi, cho phép tạo hình ảnh hiệu ứng đồ họa chất lượng cao cách mượt mà thực tế Qua việc phân chia xử lý công việc đồng thời nhiều xử lý, tính tốn song song giúp nâng cao trải nghiệm người dùng động viên sáng tạo ngành cơng nghiệp giải trí thiết kế đồ họa X Xu hướng Phát triển tương lai -Công nghệ Phần cứng Mới Công nghệ phần cứng không ngừng phát triển, mở khả việc xử lý tính tốn song song Các cơng nghệ GPU (Graphics Processing Unit), TPU (Tensor Processing Unit), loại chip đặc biệt khác thiết kế để tối ưu hóa cho việc xử lý đồng thời nhiều luồng liệu tác vụ Điều giúp cho việc tính tốn song song trở nên hiệu áp dụng rộng rãi lĩnh vực trí tuệ nhân tạo, học máy phân tích liệu lớn -Tiến Mơ hình Lập trình Song song Mơ hình lập trình song song thấy nhiều cải tiến đáng kể Các ngơn ngữ lập trình cơng cụ phát triển để hỗ trợ lập trình viên tạo ứng dụng chương trình tận dụng tối đa khả phần cứng tính tốn song song Ví dụ, framework OpenMP MPI giúp lập trình viên dễ dàng việc phân chia công việc quản lý đồng luồng trình khác Điều giúp tăng tốc độ hiệu suất ứng dụng cách phân phối công việc cách hiệu nhiều xử lý máy tính - Vai trị Tính tốn lượng tử Tính tốn lượng tử mở kỷ nguyên việc xử lý thơng tin tính tốn song song Với khả thực phép tính phức tạp cách nhanh chóng hiệu quả, máy tính lượng tử giải vấn đề mà máy tính cổ điển khơng thể Máy tính lượng tử sử dụng qubit để biểu diễn liệu, cho phép thực nhiều tính toán lúc, điều phù hợp cho việc xử lý song song Tuy nhiên, tính tốn lượng tử giai đoạn nghiên cứu phát triển, cần nhiều thời gian để áp dụng rộng rãi thực tiễn XI Các cơng nghệ thuật tốn khác ứng dụng với parallel computing - Tính tốn tuần tự: Mơ tả: Thực lệnh cách tuần tự, sau So sánh với Tính tốn song song: Ưu điểm: Dễ dàng triển khai gỡ lỗi Nhược điểm: Chậm nhiều xử lý vấn đề tính tốn lớn - Tính tốn phân tán: Mơ tả: Các hệ thống vị trí khác giao tiếp phối hợp để đạt mục tiêu chung So sánh với Tính tốn song song: Ưu điểm: Có thể xử lý xử lý lượng liệu lớn cách hiệu Phù hợp với vấn đề kết hợp lỏng lẻo Nhược điểm: Chịu ảnh hưởng từ vấn đề độ trễ băng thông Yêu cầu kết nối mạng mạnh mẽ - Tính tốn đám mây: Mơ tả: Sử dụng mạng lưới máy chủ từ xa lưu trữ Internet để lưu trữ, quản lý xử lý liệu So sánh với Tính tốn song song: Ưu điểm: Có khả mở rộng linh hoạt cao Chỉ phải trả tiền cho bạn sử dụng Nhược điểm: Độ trễ mạng mối quan ngại bảo mật - Tính tốn lượng tử: Mơ tả: Sử dụng qubit để thực phép tính So sánh với Tính tốn song song: Ưu điểm: Có thể giải số vấn đề nhanh hơn, phân tích số lớn Nhược điểm: Vẫn giai đoạn thí nghiệm Yêu cầu điều kiện cực đoan nhiệt độ thấp nhiều - Các phương pháp thay dựa thuật tốn: Thuật tốn Heuristic: Mơ tả: Các thuật toán thiết kế để giải vấn đề cụ thể nhanh phương pháp cổ điển q chậm So sánh với Tính tốn song song: Ưu điểm: Có thể cung cấp giải pháp nhanh chóng cho vấn đề phức tạp người bán hàng du lịch, vấn đề tối ưu hóa Nhược điểm: Các giải pháp không luôn tối ưu xác Thuật tốn xấp xỉ: Mơ tả: Cung cấp giải pháp xấp xỉ cho vấn đề tối ưu hóa thời gian đa thức So sánh với Tính tốn song song: Ưu điểm: Hữu ích việc có giải pháp xác đắt đỏ mặt tính tốn Nhược điểm: Độ xác giải pháp khơng ln đáp ứng u cầu Tóm tắt so sánh: Linh hoạt khả mở rộng: Tính tốn song song tính tốn đám mây cung cấp linh hoạt khả mở rộng lớn Trái lại, tính tốn thiếu khả mở rộng Hiệu suất: Tính tốn song song cung cấp hiệu suất cao so với tính tốn Tính tốn lượng tử vượt trội tính tốn song song ứng dụng cụ thể chưa thực tế Dễ dàng triển khai: Tính tốn thuật toán heuristic dễ dàng triển khai so với tính tốn song song Chi phí: Tính tốn đám mây liên quan đến chi phí định kỳ, tính tốn song song yêu cầu đầu tư ban đầu lớn vào phần cứng XII Kết luận Tính tốn song song phương pháp cho phép thực đồng thời nhiều công việc thời điểm để tối ưu hóa việc xử lý tăng cường hiệu suất hệ thống Qua thời gian, tính tốn song song trở thành công cụ mạnh mẽ việc xử lý tác vụ phức tạp nâng cao khả hệ thống máy tính Các khái niệm tính tốn song song bao gồm phân chia cơng việc thành nhiều tác vụ nhỏ phân phối chúng đến xử lý khác Điều giúp giảm thời gian xử lý cải thiện hiệu suất cách tận dụng tối đa nguồn lực hệ thống Hơn nữa, tính tốn song song cịn giúp việc quản lý tối ưu hóa việc sử dụng nguồn lực, đảm bảo công việc phân phối thực cách hiệu Tính tốn song song có ảnh hưởng sâu rộng đến phát triển tiến hệ điều hành Đầu tiên, góp phần cải thiện khả đa nhiệm hệ điều hành, cho phép chạy đồng thời nhiều chương trình ứng dụng mà khơng làm giảm hiệu suất Thứ hai, tính tốn song song giúp nâng cao hiệu suất độ tin cậy hệ điều hành thông qua việc phân phối công việc tải nhiệm vụ cách cân đối xử lý nguồn lực khác hệ thống Điều giúp hệ điều hành tự động điều chỉnh phân phối cơng việc cách linh hoạt, nhanh chóng đáp ứng yêu cầu thay đổi từ người dùng ứng dụng Cuối cùng, tính tốn song song mở rộng khả tăng cường tính linh hoạt hệ điều hành việc xử lý tác vụ ứng dụng đa dạng, từ đơn giản đến phức tạp, giúp hỗ trợ phát triển mạnh mẽ cơng nghệ ứng dụng mới, trí tuệ nhân tạo, máy học phân tích liệu lớn XII Nguồn tài liệu Elsevier (n.d.) Parallel Computing | Journal | ScienceDirect.com by Elsevier ScienceDirect Retrieved from https://www.sciencedirect.com/journal/parallelcomputing1 IEEE (n.d.) IEEE Transactions on Parallel and Distributed Systems | IEEE Xplore IEEE Xplore Retrieved from https://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=712 Elsevier (n.d.) Journal of Parallel and Distributed Computing - ScienceDirect ScienceDirect Retrieved from https://www.sciencedirect.com/journal/journal-ofparallel-and-distributed-computing3 IEEE (n.d.) Parallel computing and its applications - IEEE Xplore IEEE Xplore Retrieved from https://ieeexplore.ieee.org/document/54127814 5 MDPI (n.d.) Special Issue "Advances in Parallel Computing and Their MDPI MDPI Retrieved from https://www.mdpi.com/journal/mathematics/special_issues/Parallel_Computing5 Simple English Wikipedia (n.d.) Parallel computing - Simple English Wikipedia, the free encyclopedia Simple Wikipedia Retrieved from https://simple.wikipedia.org/wiki/Parallel_computing6 HP® Tech Takes (n.d.) Parallel Computing And Its Modern Uses | HP® Tech Takes HP Retrieved from https://www.hp.com/us-en/shop/tech-takes/parallelcomputing-modern-uses7 GeeksforGeeks (n.d.) Introduction to Parallel Computing - GeeksforGeeks GeeksforGeeks Retrieved from https://www.geeksforgeeks.org/introduction-toparallel-computing8