Đang tải... (xem toàn văn)
Theo lý thuyết xác suất, mô hình Markov là mô hình ngẫu nhiên được sử dụng để mô hình các hệ thống thay đổi ngẫu nhiên. Giả định rằng các trạng thái trong tương lai chỉ phụ thuộc vào các trạng thái hiện tại, không thuộc vào các sự kiện xảy ra trước đó (nghĩa là, nó giả định thuộc tính Markov). Nói chung, giả định này cho phép suy luận và tính toán với mô hình mà nếu không thì sẽ khó hiểu. Vì lí do này, trong các lĩnh vực mô hình dự báo và dự báo xác suất, mong muốn một mô hình nhất định sẽ trưng bày tài sản Markov.
ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA CƠ KHÍ BÀI TẬP LỚN ĐẠI SỐ TUYẾN TÍNH GVHD: Thầy Nguyễn Hữu Hiệp ĐỀ TÀI 8: GIỚI THIỆU MƠ HÌNH MARKOV Nhóm Hồ Chí Minh, tháng năm 2020 Vũ Hà My Phạm Hiền Linh Dương Gia Minh Đào Minh Ký Trần Thị Kiều Linh Nguyễn Quốc Minh Nguyễn Trần Thảo Ly Võ Nguyễn Khánh Linh Nguyễn Nhật Lệ Phạm Huỳnh Bích Loan Nguyễn Nhựt Hạ My 1914203 1913956 1914136 1913894 1913965 1914169 1914096 1913969 1913928 1913980 1914197 Mục lục I Giới thiệu mơ hình Markov 1.1 Giới thiệu mơ hình Markov: .2 1.2 Mơ hình Markov: .3 1.3 Mơ hình Markov ẩn: II Ứng dụng mơ hình Markov để giải toán cụ thể: III Một số ứng dụng mơ hình Markov: 10 Tìm cân thị phần: 10 Chính sách thay vật tư thiết bị: 11 Phân tích Markov dự báo thất thu cho hợp đồng thực trước: 12 Tìm phân phối giới hạn cho hệ thống kĩ thuật: .13 Một ứng dụng trình sinh−tử cho hệ thống hàng chờ: .15 I Giới thiệu mơ hình Markov 1.1 Giới thiệu mơ hình Markov: Theo lý thuyết xác suất, mơ hình Markov mơ hình ngẫu nhiên sử dụng để mơ hình hệ thống thay đổi ngẫu nhiên Giả định trạng thái tương lai phụ thuộc vào trạng thái tại, không thuộc vào kiện xảy trước (nghĩa là, giả định thuộc tính Markov) Nói chung, giả định cho phép suy luận tính tốn với mơ hình mà khơng khó hiểu Vì lí này, lĩnh vực mơ hình dự báo dự báo xác suất, mong muốn mơ hình định trưng bày tài sản Markov Có mơ hình Markov phổ biến sử dụng tình khác nhau, tùy thuộc vào việc trạng thái quan sát hay khơng liệu hệ thống có điều chỉnh dựa quan sát thực hay không: Hệ thống tự chủ Hệ thống điều khiển - Trạng thái hệ thống hoàn tồn Trạng thái hệ thống có thể quan sát quan sát phần Chuỗi Markov Mô hình Markov ẩn Quy trình định Quá trình định Markov Markov quan sát phần Chuỗi Markov: Mơ hình Markov đơn giản chuỗi Markov Nó mơ hình trạng thái hệ thống với biến ngẫu nhiên thay đổi theo thời gian Trong bối cảnh này, thuộc tính Markov cho thấy phân phối cho biến phụ thuộc vào phân phối trạng thái trước Một ví dụ sử dụng chuỗi Markov chuỗi Markov Monte Carlo , sử dụng thuộc tính Markov để chứng minh phương pháp cụ thể để thực bước ngẫu nhiên lấy mẫu từ phân phối chung - Mơ hình Markov ẩn: Một mơ hình Markov ẩn chuỗi Markov mà trạng thái quan sát phần Nói cách khác, quan sát có liên quan đến trạng thái hệ thống, chúng thường không đủ để xác định xác trạng thái Một số thuật tốn tiếng cho mơ hình Markov ẩn tồn Ví dụ, đưa chuỗi quan sát, thuật toán Viterbi tính tốn chuỗi trạng thái tương ứng có thể, thuật tốn chuyển tiếp tính xác suất chuỗi quan sát thuật toán Baum tựa Welch ước tính xác suất bắt đầu, q trình chuyển đổi chức chức quan sát mơ hình Markov ẩn Một cách sử dụng phổ biến nhận dạng giọng nói , liệu quan sát dạng sóng âm giọng nói trạng thái ẩn văn nói Trong ví dụ này, thuật tốn Viterbi tìm chuỗi từ nói có khả cho âm lời nói - Quy trình định Markov: Q trình định Markov chuỗi Markov chuyển đổi trạng thái phụ thuộc vào trạng thái vectơ hành động áp dụng cho hệ thống Thơng thường, quy trình định Markov sử dụng để tính tốn sách hành động tối đa hóa số tiện ích liên quan đến phần thưởng dự kiến Nó liên quan chặt chẽ đến việc học tăng cường , giải phép lặp giá trị phương pháp liên quan - Quy trình định Markov quan sát phần: Một quy trình định Markov quan sát phần (POMDP) quy trình định Markov trạng thái hệ thống quan sát phần Các POMDP biết NP hoàn chỉnh , kỹ thuật gần gần làm cho chúng hữu ích cho nhiều ứng dụng, chẳng hạn điều khiển tác nhân đơn giản robot 1.2 Mơ hình Markov: - Một dãy trạng thái ngẫu nhiên gọi có thuộc tính Markov xác suấtchuyển sang trạng thái phụ thuộc vào trạng thái khứ.Dãy chuyển trạng quan sát được gọi chuỗi Markov hay Xích Markov Dãy chuyển trạng khơng quan sát gọi mơ hình Markov ẩn Có N trạng thái s1 , s , … , s n Các bước thời gian rời rạc tương ứng: t=0 , t =1 , … Tại bước thời gian thứ t, hệ thống trạng thái trên, gọi q t Với q t ∈{s , s2 , … , s n} Giữa bước thời gian, trạng thái chọn cách ngẫu nhiên Trạng thái định xác suất phân bố trạng thái (thường kí hiệu vịng cung kết nối trạng thái) Trạng thái q t +1 độc lập có điều kiện với {qt −1 , qt −2 , , q1 ,1 } đưa q t P(A|B) xác suất sau hay xác suất có điều kiện, xác suất xuất A B(hay xác xuất chuyển tiếp từ B đến A) Một chuỗi q gọi chuỗi Markov, để thỏa thuộc tính Markov, trạng thái phụ thuộc vào trạng thái không phụ thuộc vào trạng thái khứ Đây gọi mơ hình Markov bậc Mơ hình Markov bậc hai: mơ hình tạo sở trạng thái q t phụ thuộc vào hai trạng thái liền kề trước 1.3 Mơ hình Markov ẩn: - Giới thiệu: + Học thuyết chuỗi Markov phát triển vào năm 1900 Mơ hình Markov ẩn phát triển vào cuối năm 60 sử dụng rộng rãi lĩnh vực nhận dạng giọng nói vào năm 1960 – 1970 đưa vào khoa học máy tính năm 1989 + Nhiều toán thực tế biểu diễn mối quan hệ nhân quả, quan sát phần quả, cịn phần nhân ẩn HMM thuật toán cho phép gairi toán xác lập mối quan hệ nhân cục nói + Mơ hình Markov ẩn (tiếng Anh Hidden Markov Model - HMM) mơ hình thống kê hệ thống mơ hình hóa cho q trình Markov với tham số khơng biết trước nhiệm vụ xác định tham số ẩn từ tham số quan sát được, dựa thừa nhận Các tham số mơ hình rút sau sử dụng để thực phân tích kế tiếp, ví dụ cho ứng dụng nhận dạng mẫu Trong mơ hình Markov điển hình, trạng thái quan sát trực tiếp người quan sát, xác suất chuyển tiếp trạng thái tham số Mô hình Markov ẩn thêm vào đầu ra: trạng thái có xác suất phân bổ biểu đầu Vì vậy, nhìn vào dãy biểu sinh HMM không trực tiếp dãy trạng thái Đây mơ hình tốn thống kê có ứng dụng rộng rãi Tin sinh học - Các thành phần HMM: - Các chuyển tiếp trạng thái mô hình Markov ẩn: Sơ đồ trình bày thành phần mơ hình Markov ẩn, đầu mơ hình chuỗi trạng thái quan sát (Y), ta giả định chúng kết q trình Markov mang tính ngẫu nhiên (stochastic process) gồm tham số trạng thái chưa xác định (trạng thái ẩn, X) với xác suất ban đầu (initial probability) Có chuyển tiếp tham số trạng thái ẩn, xác suất đầu cho phép liên kết trạng thái ẩn với kết quan sát Ví dụ tốn dự báo thời tiết: có loại thời tiết, nắng, mưa có mây Ta gọi qn thời tiết ngày hôm ngày trước qn-1, qn-2, q1 để tìm xác suất n Cơng thức có nghĩa biết qn-1, qn-2, q1 ( thời tiết ngày trước ) tính xác suất ngày hôm qn = {“ nắng”, “ mưa”, “ có mây”} Giả sử cho n=3 q3= “nắng” để tính xác suất P (q3|q2,q1) biết q1, q2 thuộc {“nắng”, “mưa”, “có mây”} phải tính tất 33-1 =32 =9 trường hợp Vậy phải biết trường hợp khứ tính xác suất Nếu n=6 phải có 36−1 = 243 trường hợp tính dước xác suất tại, giá trị lớn cần phải đơn giản, lý thuyết makov đời cho chuỗi (qn, qn-1, qn2, q1) ta có: P ( qn-1, qn-2, q1 ) = P(qn | qn-1 ) (2) Theo công thức xác suất trạng thái phụ thuộc vào trạng thái trước đó,với cơng thức (2) gọi lý thuyết markov Cơng thức tính chuỗi quan sát sau: {q1,q2, qn} n P(q1, ,qn)= ∏ P (q1|qi-1) i=1 Thời tiết hôm Nắng Mưa Có Mây Nắng 0.8 0.2 0.2 Thời tiết ngày mai Mưa 0.05 0.6 0.3 Có mây 0.15 0.2 0.5 *Giải thích hình vẽ : có loại thời tiết nắng, mưa có mây, hơm trời nắng xác suất ngày mai trời tiếp tục nắng 0.8, xác suất ngày mai trời mưa 0,05, xác suất ngày mai trời có mây 0,15 Ta thấy xác suất hợp lí, hơm nắng khả mai tiếp tục nắng cao mưa có mây Và cho xác suất hôm thời tiết mưa có mây Với kiện hình thành ma trận chuyển tiếp thường ký hiệu A Aji : i thời tiết hôm nay, j thời tiết ngày mai II Ứng dụng mơ hình Markov để giải tốn cụ thể: Dân thành phố A đọc ba tờ báo Tuổi trẻ, Thanh niên Người lao động Qua khảo sát người ta nhận thấy: sau tháng có 10% bạn đọc Tuổi trẻ chuyển sang đọc Thanh niên, 10%chuyển sang đọc Người lao động; có 10% bạn đọc Thanh niên chuyển sang đọc Tuổi Trẻ 20% chuyển sang đọc Người Lao Động; có 10% bạn đọc Người lao động chuyển sang đọc Tuổi trẻ 30% chuyển sang đọc Thanh niên Giả sử năm 2020 số dân đọc báo Tuổi trẻ, Thanh niên Người lao động tương ứng 800000, 300000 500000 Ước lượng số dân đọc báo Tuổitrẻ, Thanh niên Người lao động sau năm function TinhSoDanDocBao fprintf('Ta co \n'); fprintf('Ma tran dau vao \n M = \n'); M=[0.8 0.1 0.1; 0.1 0.7 0.3; 0.1 0.2 0.6]; disp(M); fprintf('Ta co so dan ban dau \n D = \n'); D = [800000;300000;500000]; disp(D); fprintf('Goi so dan doc loai bao sau nam la X\n'); X = M^12 * D; fprintf('So dan doc loai bao sau nam la \n X = \n'); fprintf('%.0f\n', X); fprintf('So dan doc bao Tuoi tre la %.0f\n', X(1)); fprintf('So dan doc bao Thanh nien la %.0f\n', X(2)); fprintf('So dan doc bao Nguoi lao dong la %.0f\n', X(3)); end III Một số ứng dụng mơ hình Markov: 10 Các mơ hình Markov ứng dụng nhiều lĩnh vực Vận trù học, Kinh tế, Kĩ thuật, Dân số học, Di truyền học, Trong mục này, xem xét ứng dụng tìm cân thị phần, xác định sách thay vật tư thiết bị, dự báo thất thu cho hợp đồng thực trước, tìm phân phối giới hạn hệ thống kĩ thuật ứng dụng trình sinh − tử cho hệ thống hàng chờ Tìm cân thị phần: Bài tốn: Trong khu phố 1000 dân (khách hàng) có siêu thị A, B, C Giả sử, tháng đầu, số khách vào siêu thị 200, 500 300 Những tháng sau đó, ta giả sử xác suất để khách hàng (đã vào siêu thị A lúc trước) vào lại A 0,8; chuyển sang B 0,1 chuyển sang C 0,1 Các xác suất chuyển khác khách hàng ("trụ lại" B, chuyển sang A, chuyển sang C ) cho thông qua ma trận chuyển P Lúc đó, theo kết biết, tỉ lệ phần trăm cân dừng (khi thời gian đủ dài) số khách hàng vào siêu thị A, B, C 27,3%, 45,4% 27,3% tìm từ hệ Π ×(I – P) = Chính sách thay vật tư thiết bị: Trong hệ thống điện kĩ thuật, thiết bị loại phân tình trạng sau đây: vừa thay, cịn tốt, dùng bị hỏng Theo số liệu thống kê được, ta có ma trận xác suất chuyển trạng thái sau: đó, sau tuần (xem hàng đầu ma trận P) có 0%, 80%, 20% 0% số thiết bị thay chuyển sang tình trạng thay, cịn tốt, dùng bị hỏng Các hàng khác ma trận P giải thích cách tương tự Ta tìm phân phối dừng Π phương pháp biết 11 Khi viết lại dạng hệ phương trình (4 ẩn, phương trình) ta phải loại bớt phương trình đi, thêm vào hệ thức π1+ π2+ π3 + π4 = ràng buộc πk ≥ (k = 1, 2, 3, 4) Kí hiệu x1 = π 1, x2 = π2, x3 = π3 x4 = π4 ta có hệ: Vậy phân phối dừng Π = [1/6 1/3 1/3 1/6] Ta xét phương án thứ hai cho việc thay vật tư thiết bị với ma trận xác suất chuyển trạng thái sau Ma trận tương ứng với sách thay vật tư thiết bị là: thay thiết bị kiểm tra phát thiết bị tình trạng dùng Điều dẫn tới việc giảm thiểu thất thu thiết bị hỏng gây nên Thật vậy, ứng với ma trận P đây, phân phối dừng Π = [1/4 1/2 1/4] Lúc này, tuần hệ thống trung bình thiết bị số tiền là: (1/4) × 25 + (0) ×18,5 = 6,25 nghìn/thiết bị/tuần Như hệ thống tiết kiệm nghìn / thiết bị / tuần Nếu hệ thống có 2000 thiết bị, nhờ sách thay vật tư mới, tuần hệ thống tiết kiệm triệu (đồng) Phân tích Markov dự báo thất thu cho hợp đồng thực trước: Một công ti kinh doanh ngành điện chuyên sửa chữa thay phụ tùng đề sách tín dụng: đáp ứng yêu cầu khách hàng trước, toán sau Phần nhiều hợp đồng toán thời hạn, tỉ lệ định công ti cho tốn chậm, cịn số khơng toán Theo kinh nghiệm, sau hai hay ba hợp đồng toán chậm khách hàng hợp đồng khơng tốn sau thời gian dài, công ti coi hợp đồng “xấu” cắt bỏ sách tín dụng với khách hàng Như thời điểm hợp đồng rơi vào tình trạng (trạng thái) sau: 12 Các phần tử ma trận có ý nghĩa đặc biệt Trong số hợp đồng trạng thái S2 (phải tốn kì hạn) cuối sau thời gian định có 89,83% rơi vào trạng thái S (được toán) 10,17% rơi vào trạng thái S1 (khơng tốn) Cịn số hợp đồng trạng thái S (thanh toán chậm) cuối sau thời gian định có 64,41% rơi vào trạng thái S0 (được tốn) 35,59% rơi vào trạng thái S 1(khơng tốn) Thực phép tính Ta thấy 500 triệu phải tốn kì hạn 100 triệu tốn chậm cuối có 459,32 triệu tốn 140,68 triệu nợ “xấu” khơng địi Để cải thiện tình trạng này, cơng ti cần nghiên cứu tìm sách tín dụng hợp lí Tìm phân phối giới hạn cho hệ thống kĩ thuật: 13 Một hệ thống kĩ thuật có hai chi tiết bị hỏng thời điểm Tại thời điểm hệ thống rơi vào trạng thái sau (xem hình IV.1): Chú ý lúc ta có xích Markov (thời gian) liên tục với khơng gian trạng thái S ={S0, S1, S2, S3} Sau đây, tìm cách xác định phân phối giới hạn (long run distribution) {X(t)}t≥0 Trước hết ta nhắc lại phân phối Pốt−xơng phân phối mũ Giả sử dịng tín hiệu đến (hay xảy ra) tn theo phân phối Pốt−xơng P (λ) với λ số tín hiệu đến trung bình khoảng thời gian định (coi đơn vị thời gian), λ gọi cường độ dịng tín hiệu đến Lúc đó, khoảng thời gian số tín hiệu xảy nhận giá trị k với xác suất Ta gọi phần tử xác suất P xác suất xuất (ít nhất) tín hiệu khoảng thời gian ∆ t Thế thì, “tính đơn nhất” q trình Pốt−xơng, P xác suất xuất tín hiệu khoảng thời gian ∆ t Theo cơng thức biết P = λ∆t (chính xác tới vơ bé o( ∆ t)) Xét biến ngẫu nhiên T (chẳng hạn thời gian phục vụ tín hiệu hệ dịch vụ), có phân phối mũ ε(µ) với hàm mật độ f(τ) = µe µ µ gọi cường độ phục vụ hay cường độ “dòng phục vụ” Hàm phân phối xác suất T là: τ τ F (τ) = P (T ≤ τ) = ∫ f (t)dt = ∫ µ e 0 −µt dt = − e µτ Cịn kì vọng tốn độ lệch chuẩn biến ngẫu nhiên T 14 +∞ +∞ mT = ∫ tf (t )dt = ∫ µ te − µt dt = 1 ; δT = µ µ Ta nhận thấy rằng: P(0 ≤ T ≤ ∆t) = F(∆t) – F(0) = − e-µΔt – [1 − e0] = - e µΔt = µΔt ( xác tới vơ bé o(Δt)) Coi dịng tín hiệu chi tiết hỏng dịng Pốt−xơng với tham số λ1 λ2 Gọi T1 T2 thời gian sửa chữa chi tiết 2, có phân phối mũ với kì vọng tsc1 tsc2 thời gian sửa chữa (trung bình) chi tiết chi tiết Vậy T T2 có phân phối mũ ε(µ1) ε(µ2), với µ1 = 1/tsc1 µ2 = 1/tsc2 Tại thời điểm t ta có biến ngẫu nhiên X(t) = Xt với phân phối xác suất sau đây: Xt S0 S1 S2 S3 π0(t) π1(t) π2(t) π3(t) P Ta tính π0(t + ∆t ) thời điểm (t + ∆t ) hai trường hợp sau đây: + Trường hợp 1: Tại thời điểm t, hệ thống trạng thái S thời điểm t + ∆t , hệ thống trạng thái S0 (không hỏng) + Trường hợp 2: Tại thời điểm t, hệ thống trạng thái S S2, thời điểm t + ∆t hệ thống trạng thái S0 Do đó, π0(t + ∆t) = π0(t) [1 − (λ1 + λ2)∆t] + π1(t) µ1 ∆t + π2(t) µ2 ∆t (*) Thật vậy, xác suất trường hợp gây nên π1(t)µ1 ∆t + π2(t)µ2 ∆t, với µ1∆t = P(0 ≤ T1 ≤ ∆t) xác suất sửa chữa xong chi tiết khoảng thời gian ∆t µ2 ∆t = P(0 ≤ T2 ≤ ∆t) xác suất sửa chữa xong chi tiết khoảng thời gian ∆t Trong đó, xác suất trường hợp gây nên π0(t)[1 − (λ1 + λ2)∆t], với λ1∆t: xác suất hỏng chi tiết khoảng ∆t, λ2∆t: xác suất hỏng chi tiết khoảng ∆t Nói cách khác, thực công thức xác suất đầy đủ π0(t + ∆t) = π0(t)p00 + π1(t)p10 + π2(t)p20, đó: pi0 xác suất hệ trạng thái Si thời điểm t chuyển sang trạng thái S0 thời điểm (t+ ∆t) Từ (*) ta có: π ( t + Δt )−π (t) = π1(t)µ1 + π2(t)µ2 – π0(t)λ1 – π0(t)λ2 Δt Cho ∆t → (vế phải khơng liên quan với ∆t) d π (t ) = π1(t)µ1 + π2(t)µ2 – π0(t)λ1− π0(t)λ2 dt 15 Khi t lớn (hệ thống hoạt động khoảng thời gian đủ dài) hệ thống dần ổn định với phân phối giới hạn tìm được, tức là: [π0(t), π1(t), π2(t), π3(t)] → [π0, π1, π2, π 3] Vậy ta có: π1µ1 + π1µ2 − π0λ1 − π0λ2 = (vì d π (t ) = t đủ lớn) dt Một ứng dụng trình sinh−tử cho hệ thống hàng chờ: Quá trình sinh − tử trường hợp riêng xích Markov thời gian liên tục, với không gian trạng thái S không đếm S = {S 0, S1, S 2, , Sn, …} ma trận cường độ Q = [q ij] có tính chất qij = với i − j ≥ Điều có nghĩa việc chuyển trạng thái q trình sinh−tử tới “1 đơn vị lên xuống” (xem hình IV.3) Hình IV.3: sơ đồ chuyển trạng thái trình sinh tử Từ trạng thái Sn thời điểm t hệ X(t) chuyển tới trạng thái Sn+1, Sn S n-1 Vì có cường độ chuyển: µ0 = λ-1 = = q00, qn, n+1 = λn, qn, n-1 = µn qn, n = − (λn +µn) ∀n Trong trường hợp λn, µn > 0, ∀n > 0, theo định lí chứng minh, phân phối giới hạn tìm cách giải hệ: [π0 π1 π2 π3 …]Q = 0, với ma trận cường độ Q biết Ma trận chuyển vị Q có dạng: [ q00 q 10 q01 q11 T Q = … … q0 n q1 n … … … qn q n+1,0 … q n1 q n+1,1 … … … … q nm q n+1 , n … … … … … … … … Ta có [π0 π1 π2 π3 …]Q = ⇔ QT[π0 π1 π2 π3 …]T = ⇔ 16 ] [ q00 q10 q20 q 01 q11 q21 q 02 q12 q22 … … … ][ ][ ] … π0 … π1 × = … π2 … … … { q00 π 0+ q10 π 1+ q20 π +…=0 hay: q 01 π +q 11 π +q 21 π +…=0 q 02 π +q12 π + q22 π +…=0 Do tính chất đặc biệt, phân tích trên, ma trận cường độ Q trình sinh−tử, hệ viết cách tường minh sau: 17 … Từ đễ dàng tìm πn+1 = (λn/µn+1)πn, ∀n = 1, 2, 3, … để tới cơng thức tính πi,∀i ∞ Với điều kiện ∑ π i =1 , cuối ta có: i=0 Đặc biệt µn = 0, ∀n, q trình sinh−tử trở thành trình sinh khiết (pure birth process) Quá trình sinh khiết với λn = λ q trình Pốt−xơng với tham số λ