Đang tải... (xem toàn văn)
Bài viết này đề xuất một mô hình bài toán luồng công việc và một giải thuật heuristic cải tiến dựa trên thuật toán PSO để lập lịch thực thi luồng công việc trên môi trường điện toán đám mây đảm bảo chi phí nhỏ nhất.
JOURNAL OF SCIENCE OF HNUE Natural Sci 2015, Vol 60, No 4, pp 47-55 This paper is available online at http://stdb.hnue.edu.vn DOI: 10.18173/2354-1059.2015-0007 GIẢI THUẬT TỐI THIỂU HĨA CHI PHÍ THỰC THI LUỒNG CƠNG VIỆC TRONG MƠI TRƯỜNG ĐIỆN TỐN ĐÁM MÂY Phan Thanh Toàn 1, Nguyễn Thế Lộc2, Nguyễn Doãn Cường1 Đỗ Như Long1 Khoa Sư phạm Kĩ thuật, Trường Đại học Sư phạm Hà Nội Khoa Công nghệ thông tin, Trường Đại học Sư phạm Hà Nội Tóm tắt Luồng cơng việc dãy có thứ tự tác vụ cần thực thi để đạt mục đích, tốn lập lịch luồng cơng việc tốn xếp tác vụ cho thực thi số máy xác định cho hiệu tốt nhất, tốn thường gặp có tính quan trọng mơi trường điện tốn đám mây Bài tốn lập lịch thực thi luồng cơng việc tốn NPComplete thực nghiệm khơng có lời giải tối ưu tuyệt đối Bài báo đề xuất mơ hình tốn luồng cơng việc giải thuật heuristic cải tiến dựa thuật toán PSO để lập lịch thực thi luồng công việc môi trường điện tốn đám mây đảm bảo chi phí nhỏ Từ khóa: Lập lịch luồng cơng việc, ứng dụng luồng cơng việc, điện tốn đám mây Mở đầu Điện tốn đám mây cơng nghệ phát triển dựa tảng công nghệ trước điện tốn lưới (grid computing), tính tốn phân tán song song Trong mơ hình điện tốn đám mây tác vụ (task) phân phối thực trung tâm điện toán đám mây Lập lịch thực thi luồng công việc vấn đề quan trọng mơi trường điện tốn đám mây có nhiều cơng trình nghiên cứu nhằm tìm giải pháp lập lịch tối ưu Tuy nhiên thực nghiệm toán lập lịch thực thi luồng cơng việc tốn thuộc lớp NP-Complete [1] tốn lập lịch luồng cơng việc thường thực giải thuật heuristic lớp giải thuật tiến hóa hướng tiếp cận sử dụng rộng rãi thời gian gần Nội dung nghiên cứu 2.1 Bài tốn tối thiểu hóa chi phí * Phát biểu toán Xét toán cần xếp lịch biểu cho luồng công việc gồm M tác vụ (task - từ viết tắt task), môi trường điện toán đám mây với yêu cầu sau: + Luồng cơng việc gồm có M tác vụ; + Các tác vụ có quan hệ thứ tự trước - sau; + Mỗi tác vụ cần khối lượng liệu vào xuất lượng liệu xác định; + Luồng cơng việc có Task gốc (task vào) task (output); + Môi trường thực thi luồng công việc môi trường điện tốn đám mây với N máy chủ tính toán K máy chủ lưu trữ; + Mỗi tác vụ (task) thực thi máy chủ thực thi máy chủ nhất; Ngày nhận bài: 23/1/2015 Ngày nhận đăng: 22/4/2015 Tác giả liên lạc: Phan Thanh Toàn, địa e-mail: pttoan@hnue.edu.vn 47 Phan Thanh Toàn, Nguyễn Thế Lộc, Nguyễn Doãn Cường Đỗ Như Long + Mỗi máy chủ thực thi máy chủ lưu trữ liệu có đơn giá xác định nhà cung cấp dịch vụ cung cấp; Mơ hình tốn học tốn tối thiểu chi phí thực thi luồng cơng việc mơi trường điện tốn đám mây 1-Tập máy chủ S = {S1, S2,….,SN} 2-Luồng công việc biểu diễn đồ thị G = (V, E), với V tập đỉnh đồ thị tập task, E tập cạnh đồ thị thể mối quan hệ task 3-Tập task : V = {T1, T2,…,TM} 4-Nếu e = (Ti, Tj) E, có nghĩa Task Ti thực trước chuyển cho Task Tj khối lượng liệu xác định 5-Khối lượng tính tốn Task Ti kí hiệu Wi (Workload) đo flop (floating point operations) 6-Năng lực xử lí máy chủ (Processing capacity) biểu diễn hàm số: P: S R+ Si P(Si) 7-Đơn giá cước tính tốn, nghĩa chi phí thực thi đơn vị flop máy chủ (Excution cost) tính dolar/flop hàm số: E: S R+ Si E(Si) 8-Mỗi cặp máy chủ S i, Sj ( i, j N ) có kênh truyền kết nối chúng, băng thơng kênh truyền kí hiệu B (Bandwidth), hàm số: B: SxS R+ (Si, Sj) B(Si, Sj) Giả sử hàm B thỏa mãn điều kiện: + B(Si, Si) = (băng thông chỗ vô cùng, tức chi phí truyền 0) + B(Si, Sk) + B(Sk, Sj) ≤ B(Si, Sj) (bất đẳng thức tam giác) + B(Si, Sj ) = B(Sj, Si) (tính chất đối xứng) Tập giá trị hàm băng thông B( ) máy chủ cung cấp nhà cung cấp dịch vụ biểu diễn Bảng Bảng Bảng biểu diễn băng thông server N B(1, 2) B(1, N) B(1, 1) = B(2, 1) B(2, 2) = B(N, 1) B(N, 2) B(N, N) = 9-Khối lượng liệu Task T i Task Tk kí hiệu Dik số cho trước biểu diễn Bảng Bảng Bảng biểu diễn lượng liệu tác vụ D11 D12 D21 D22= DN1 DN2 M D1N DNN = 10-Đơn giá cước truyền thông máy chủ (Communication Cost), đơn vị dolar/bit kí hiệu C hàm số: 48 Giải thuật tối thiểu hóa chi phí thực thi luồng cơng việc mơi trường điện toán đám mây C: SxS R+ (Si, Sk) C(Si, Sk) Giả sử chi phí truyền thỏa mãn điều kiện : C(Si, Sk) = C(Sk, Si) 11- Mỗi phương án xếp lịch thực thi luồng công việc ánh xạ f f: T S Ti f(Ti) Với f(Ti) máy chủ chịu trách nhiệm thực thi tác vụ (Task) Ti, hay nói cách khác Task Ti đặt thực thi máy chủ f(Ti) Từ suy ra: - Thời gian tính tốn task T i là: Wi (I = 1,2, M) P f Ti - Chi phí tính tốn task Ti là: Wi E(f(Ti)) Dik B f Ti , f Tk - Chi phí truyền thơng task Ti task Tk là: DikC(f(Ti),f(Tk)) 12- Chi phí thực thi Task Ti máy chủ f(Ti) chi phí tính tốn Task Ti tổng chi phí truyền thơng Task T j với Ti Task Tj Task cha Task T i Và chi phí thực thi luồng cơng việc tổng chi phí để thực tất Task luồng Hàm mục tiêu là: - Thời gian truyền liệu task Ti task Tk là: M M M i 1 i 1 k 1 Wi E f Ti Dik C f Ti , f Tk Min (1) 2.2 Lập lịch thực thi luồng công việc dựa chiến lược tối ưu bày đàn 2.2.1 Chiến lược tối ưu bày đàn PSO (Particle Swarm Optimization) PSO thuật toán tiến hóa thơng minh đề xuất Russell C Eberhart [2] and James Kennedy [3] in 1995, PSO thuật tốn tiến hóa quần thể dựa theo hoạt động tìm kiếm thức ăn loài động vật đàn kiến, đàn chim Khởi đầu thuật toán PSO tạo quần thể cá thể, cá thể thực chất phương án toán, sau cá thể di chuyển khơng gian lời giải để tìm kiếm lời giải tối ưu Mỗi cá thể biểu diễn vector n - chiều (n số chiều khơng gian tìm kiếm) tương ứng với điểm không gian n - chiều, cá thể có vector chuyển động sử dụng để xác định hướng dịch chuyển cá thể khơng gian tìm kiếm, q trình tìm kiếm thể lưu lại vị trí tốt cá thể (được đánh giá theo hàm mục tiêu đặt ra), đồng thời cá thể sử dụng giá trị gbest giá trị tốt (xác định dựa vào hàm mục tiêu đặt ra) cá thể lân cận trình tìm kiếm để xác định hướng chuyển động xi : Vị trí cá thể thứ pi vi : Vector chuyển động cá thể pi pbesti pi : Vector lưu trữ vị trí tốt cá thể pi gbest p g : Vector lưu vị trí tốt quần thể Sau bước lặp cá thể cập nhật lại vector dịch chuyển vị trí cá thể theo công thức sau: vi wv i 1 rand1 ( pi xi ) rand ( p g xi ) (2) 49 Phan Thanh Tồn, Nguyễn Thế Lộc, Nguyễn Dỗn Cường Đỗ Như Long xi xi vi (3) Giả sử hàm mục tiêu f, thuật toán PSO sau: Algorithm 1: Particle Swarm algorithm Procedure PSO_Algorithm Khởi tạo quần thể gồm n cá thể P= {p1, p2,…,pn} với vị trí xi véc tơ chuyển động vi cá thể cách ngẫu nhiên Repeat Tính f(pi) i=1,2, ,n If bước lặp =0 Then Gán vị trí tốt cá thể pi xi pbesti =f(pi) Tính gbest = f(pj), với f(pj)= min{f(pi) ; i=1,2, ,n} g=j End if Foreach pi In P If(f(pi)< pbest) Then 10 pbesti = pi 11 xi = pi //Cập nhật vị trí tốt cá thể pi 12 End If 13 End for 14 Foreach pi In P 15 If (f(Pi) < gbest) Then 16 g = i 17 gbest = f(pi) //Cập nhật vị trí tốt quần thể 18 End if 19 End for 20 Foreach pi In P 21 Cập nhật véc tơ chuyển động cá thể theo cơng thức (2) 22 Cập nhật vị trí cá thể theo công thức (3) 23 End For 24 Until thỏa mãn điều kiện lặp 25 end procedure : 1 , số biểu diễn ảnh hưởng cá thể quần thể tới hướng dịch chuyển cá thể khơng gian tìm kiếm rand1, rand2 số ngẫu nhiên w trọng số quán tính dịch chuyên cá thể 2.2.2 Thuật toán đề xuất Dựa theo phương pháp tối ưu bày đàn PSO mơ hình tốn luồng cơng việc mơi trường điện toán đám mây giới thiệu trên, đề xuất giải thuật, với tên MPSO-WS (Modified PSO for Workflow Scheduling) sau: Mã hóa cá thể: Mỗi phương án lập lịch cách xếp tác vụ vào thực máy cụ thể, theo mơ hình đề xuất máy thực nhiều tác vụ, tác vụ thực máy nhất, ta biểu diễn phương án xếp lịch véc tơ n chiều sau (n số tác vụ): T1 T2 T3 T4 T5 PC1 PC2 PC1 PC3 PC2 Dựa vào cấu trúc bảng băm ngơn ngữ lập trình java, cấu trúc cá thể giải thuật PSO cách xếp lịch cá thể quần thể biểu diễn thành phần véc tơ vị trí 50 Giải thuật tối thiểu hóa chi phí thực thi luồng cơng việc mơi trường điện tốn đám mây (positon) véc tơ chuyển động (velocity) Trong véc tơ vị trí có số chiều số tác vụ (task) luồng công việc mô tả cấu trúc liệu hàm băm Vector chuyển động biểu diễn cấu trúc liệu bảng băm Hashtable position Hashtable velocity Mã hóa tác vụ (task): Mỗi task xác định đại lượng số lệnh cần thực (đơn vị MI : milion instruction), kích thước liệu xuất task danh sách task phụ thuộc Danh sách biểu diễn cấu trúc danh sách ArrayList Biểu diễn liệu: Dữ liệu chi chí thực thi task máy chủ, chi phí truyền thơng máy chủ khối lượng liệu vào/ra task - Chi phí thực thi task máy chủ biểu diễn ma trận sử dụng cấu trúc hàm băm để lưu trữ chi phí thực thi task máy chủ sau: Hashtable TH_matrix; Bảng Chi phí thực thi Ti PCj PC1 PC2 PC3 T1 1.23 1.12 1.15 T2 1.17 1.17 1.28 TP[5x3] T3 1.13 1.11 1.11 T4 1.26 1.12 1.14 T5 1.19 1.14 1.22 - Chi phí truyền thơng PC biểu diễn ma trận lưu trữ cấu trúc hàm băm sau: Hashtable HH_matrix; Bảng Chi phí truyền thơng PCj PC1 PC2 PC3 PC1 0.17 0.21 PP[3x3] PC2 0.17 0.22 PC3 0.21 0.22 đó: PP[i,j] = chi phí truyền thơng hai PCi PCj (giá trị theo đơn vị $/MB/giây) - Dữ liệu vào/ra task luồng công việc biểu diễn ma trận ta sử dụng cấu trúc liệu hàm băm sau để lưu trữ: Hashtable edge_weight Bảng Kích thước input/output task i total data DST2,T3,T4 DST5 [2x2] Input 10 [2x2] Input Output 10 Output total data 30 60 đó: Input = liều vào, output = liệu tác vụ (đơn vị MB) 51 Phan Thanh Toàn, Nguyễn Thế Lộc, Nguyễn Dỗn Cường Đỗ Như Long Thuật tốn đề xuất MPSO-WS BEGIN Khởi tạo quần thể cách ngẫu nhiên Tính giá trị hàm fitness cho cá thể Cập nhật véc tơ dịch chuyển vị trí cho cá thể Sai Kiểm tra điều kiện dừng Đúng END procedure MPSO-WS Tính ma trận chi phí thực thi task host Tính ma trận chi phí truyền thơng host Tính ma trận khối lượng liệu vào/ra task Khởi tạo danh sách task sẵn sàng danh sách tất task Khởi tạo danh sách task chưa lập lich danh sách tất task repeat foreach ti in readyTasks Gán ti cho thực PCj theo thuật tốn PSO dựa vào cơng thức (1) (2) end for 10 Chờ xử lí cơng việc (phụ thuộc liệu đầu vào đầu task cha-con) 11 Cập nhật lại task trạng thái “ready” 12 Cập nhật lại chi phí giao tiếp tài nguyên theo trạng thái mạng 13 Tính tốn PSO({ ti }) 14 Until khơng có task chưa lập lịch end procedure Các chiến lược PSO thường sử dụng hệ số quán tính w số dẫn đến việc cá thể dịch chuyển theo quán tính cố định, hậu q trình tìm kiếm cá thể bị mắc kẹt vị trí cực trị địa phương mà khơng thể dịch chuyển tiếp để tìm tới giá trị cực trị toàn cục Để khắc phục vấn đề chúng tơi đề xuất sử dụng trọng số quán tính thay đổi theo lần lặp sử 52 Giải thuật tối thiểu hóa chi phí thực thi luồng cơng việc mơi trường điện tốn đám mây dụng thêm vị trí tồi quần thể cá thể để cập nhật vector vị trí cá thể Cơng thức cập nhật vector vị trí cho cá thể sau: vi wvi c1 r1 k1 ( pi xi ) c2 r2 k ( p g xi ) c3 r3 k3 ( pwi xi ) c4 r4 k ( pw xi ) xi xi vi w wstart (4) (5) j ( wstart wend ) p (6) đó: xi : Vị trí cá thể thứ i (pi); vi : Vector chuyển động cá thể p i; pbesti pi : Vector lưu trữ vị trí tốt cá thể pi ; gbest p g : Véc tơ lưu vị trí tốt quần thể; pworst i p wi : véc tơ lưu trữ vị trí tồi thể pi ; gworst i p w : lưu trữ vị trí tồi quần thể 2.3 Kết thực nghiệm Để thực mô việc lập lịch workflow môi trường đám mây, cài đặt giải thuật MPSO-WS ngôn ngữ Java với trợ giúp gói thư viện JSwarm [4] cơng cụ mô CloudSim [1, 5, 6] Bảng cho thấy kết thực nghiệm so sánh giải thuật MPSOWS với giải thuật: PSO_Heuristic, Random [7, 8], RoundRobin [9] với liệu tính tốn TP[5x3] PP[3x3] DST2,T3,T4 [2x2] Bảng Ma trận liệu TP, PP, DS cho liệu Test PC1 PC2 T1 0,1*25 0,2*25 T2 0,1*25 0,2*25 T3 0,1*25 0,2*25 T4 0,1*25 0,2*25 T5 0,1*25 0,2*25 PC1 PC2 PC1 0,1 PC2 0,1 PC3 0,1 0,1 Data Size DST5 (MB) Input 10 [2x2]= Input Output 10 Output PC3 0,3*25 0,3*25 0,3*25 0,3*25 0,3*25 0,3*25 0,1 0,1 DataSize (MB) 30 60 đó: số cá thể = 25; số hệ = 30; số lần lặp = 300; trọng số quán tính w theo cơng thức (6) hệ số gia tốc: C1 = 1,5, C2 = 0,5, C3 =1,5, C4 = 0,5, Wstart = 0,9, Wend = 0,4 Nhận xét: giải thuật lập lịch MPSO-WS cho kết khác lần chạy phụ thuộc vào việc thiết lập hệ số quán tính w, hệ số gia tốc C1, C2, báo không sử dụng hệ số 53 Phan Thanh Toàn, Nguyễn Thế Lộc, Nguyễn Dỗn Cường Đỗ Như Long qn tính số mà sử dụng hệ số quán tính thay đổi theo bước lặp xác định công thức (6) để tránh tượng cá thể di chuyển theo hướng cố định bị mắc kẹt điểm cực trị địa phương, hệ số gia tốc C1 = 1,5 C2 = 0,5, C3 = 1,5, C4 = 0,5, kết thử nghiệm với số cá thể 25, số lần lặp 300 lần, bảng kết chi phí luồng cơng việc tính tốn thuật tốn MPSO-WS có khác lần chạy cho kết tốt so với thuật toán Random Round Robin Thuật MPSO-WS thuật toán PSO_ Heuristic cho kết tốt nhiên thuật toán MPSO-WS cho kết tối ưu ổn định lần chạy Đặc biệt số công việc luồng công việc số máy chủ tăng lên; số tác vụ 25, số máy chủ 12 chi phí luồng cơng việc tính giải thuật MPSO-WS cho kết nhỏ tránh tượng tối ưu cục Bảng So sách kết thuật toán MPSO-WS, PSO, Random, Round Robin sau 30 lần chạy 54 Lần lặp MPSO-WS PSO gốc 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 12.500 12.500 12.500 16.000 12.500 12.500 12.500 16.500 12.500 12.500 12.500 16.500 12.500 12.500 12.500 12.500 16.500 12.500 12.500 12.500 12.500 12.500 16.000 12.500 16.000 12.500 12.500 12.500 12.500 12.500 12.500 12.500 25.000 12.500 12.500 12.500 12.500 18.500 12.500 12.500 12.500 12.500 18.500 12.500 12.500 12.500 12.500 18.500 25.000 12.500 12.500 12.500 12.500 12.500 18.500 25.000 12.500 12.500 12.500 18.500 Random 45500 52500 35500 58000 36500 46500 42000 64500 56500 25000 53000 27000 35500 42500 36500 27000 35500 42500 36500 46500 42000 64500 56500 25000 45500 52500 35500 58000 36500 46500 Round Robin 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 Giải thuật tối thiểu hóa chi phí thực thi luồng cơng việc mơi trường điện toán đám mây Kết luận Bài báo xây dựng mơ hình tốn học cho tốn luồng cơng việc mơi trường điện tốn đám mây nhằm cực tiểu hóa chi phí thực thi luồng công việc, yêu cầu cần thiết mơi trường điện tốn đám mây điện tốn đám mây mơi trường dịch vụ tích hợp cung cấp nhà cung cấp dịch vụ người sử dụng phải trả chi phí cho dịch vụ mà họ sử dụng Đồng thời chúng tối đề xuất giải thuật lập lịch heuristic dựa chiến lược tối ưu bày đàn cài đặt thử nghiệm môi trường mô cloudSim, kết việc tính tốn chi phí tốt thuật tốn có Random hay Round Robin Thuật toán cho kết chấp nhận nhiên chất tốn lập lịch luồng cơng việc toán tối ưu tổ hợp với tập phương án toán rời rạc, đồng thời chi phí thực thi luồng cơng việc phụ thuộc nhiều vào tốc độ xử lí băng thơng kết nối server để thuật tốn làm việc tốt chúng tơi cải thiện thuật tốn theo hướng giải thuật PSO rời rạc với trọng số tốc độ xử lí băng thơng server TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] [7] [8] [9] Z Yingfeng, L Yulin, 2003 Grid Computing Resource Management Scheduler Based on Evolution Algorithm Computer Engineering Conference, 29(15):1102175 Suraj Pandey, Linlin Wu, Siddeswara Guru, and Rajkumar Buyya, 2010 A Particle Swarm Optimization (PSO)-based Heuristic for Scheduling Workflow Applications in Cloud Computing Environments AINA 2010, Australia Suraj Pandey, Rajkumar Buyya, 2009 Scheduling and Management Techniques for DataIntensive Application Workflows IGI Global, USA Silberschatz Abraham, Galvin Peter B., Gagne Greg, 2010 Process Scheduling Operating System Concepts (8th ed.) John_Wiley_&_Sons (Asia) pp 194 ISBN 978-0-470-23399-3 Rodrigo N Calheiros, Rajiv Ranjan, Anton Beloglazov, Cesar A F De Rose, and Rajkumar Buyya, 2011 CloudSim: A Toolkit for Modeling and Simulation of Cloud Computing Environments and Evaluation of Resource Provisioning Algorithms, Volume 41, Number 1, Pages: 23-50, Wiley Press, USA Thư viện JSwarm http://jswarm-pso.sourceforge.net Rajkumar Buyya, Rajiv Ranjan and Rodrigo N Calheiros, 2009 Modeling and Simulation of Scalable Cloud Computing Environments and the CloudSim Toolkit: Challenges and Opportunities HPCS IEEE Press, New York, USA Michael Mitzenmacher, Eli Upfal, 2005 Probability and Computing:Randomized Algorithms and Probabilistic Analysis Cambridge University Press Don Fallis 2000 The Reliability of Randomized Algorithms British Journal for the Philosophy of Science 51:255-271 ABSTRACT A particle swarm optimization-based workflow scheduling algorithm in the cloud computing enveronment Workflow scheduling, the most important thing that cloud controllers have to deal with, determines the perfomance of the cloud's services The general scheduling problem was proven to be NP-complete a long time ago In this paper we build a framework for workflow scheduling in a cloud-computing environment Based on this framework, we propose a new heuristic PSO algorithm for the mentioned problem so that the total cost is minimized Keywords: Workflow scheduling, workflow applications, cloud computing 55 ... 40000 40000 Giải thuật tối thi? ??u hóa chi phí thực thi luồng cơng việc mơi trường điện tốn đám mây Kết luận Bài báo xây dựng mơ hình tốn học cho tốn luồng cơng việc mơi trường điện tốn đám mây nhằm... trúc cá thể giải thuật PSO cách xếp lịch cá thể quần thể biểu diễn thành phần véc tơ vị trí 50 Giải thuật tối thi? ??u hóa chi phí thực thi luồng cơng việc mơi trường điện toán đám mây (positon)... tiểu hóa chi phí thực thi luồng cơng việc, yêu cầu cần thi? ??t môi trường điện tốn đám mây điện tốn đám mây mơi trường dịch vụ tích hợp cung cấp nhà cung cấp dịch vụ người sử dụng phải trả chi phí
![phỏng CloudSim [1, 5, 6]. Bảng 7 cho thấy kết quả thực nghiệm được so sánh giữa giải thuật MPSO- PSO-WS với 3 giải thuật: PSO_Heuristic, Random [7, 8], RoundRobin [9] với dữ liệu tính toán dưới đây. - Giải thuật tối thiểu hóa chi phí thực thi luồng công việc trong môi trường điện toán đám mây](https://media.store123doc.com/figures/000/246/cloudsim-bang-nghiem-thuat-thuat-heuristic-random-roundrobin-246168.png)
