Chương Quá trình Markov Đặng Hùng Thắng Quá trình ngẫu nhiên tính tốn ngẫu nhiên NXB Đại học quốc gia Hà Nội 2007, Tr - 63 Từ khố: Q trình ngẫu nhiên, Q trình Markov, Xích Markov, Trạng thái hữu han, Trạng thái vô hạn đếm Tài liệu Thư viện điện tử ĐH Khoa học Tự nhiên sử dụng cho mục đích học tập nghiên cứu cá nhân Nghiêm cấm hình thức chép, in ấn phục vụ mục đích khác không chấp thuận nhà xuất tác giả Chương Quá trình Markov 1.1 Xích Markov 1.2 Phân loại trạng thái xích Markov 20 1.3 Quá trình Markov 34 1.4 1.1 1.3.1 Trường hợp không gian trạng thái hữu hạn 36 1.3.2 Trường hợp không gian trạng thái vô hạn đếm 42 1.3.3 Trường hợp tổng quát 54 Bài tập 58 Xích Markov Xét hệ quan sát thời điểm rời rạc 0, 1, 2, Giả sử quan sát X0 , X1 , , Xn, Khi ta có dãy đại lượng ngẫu nhiên (ĐLNN) (Xn ) Xn lg thái hệ thời điểm n Giả thiết Xn , n = 0, 1, ĐLNN rời rạc Ký hiệu E tập giá trị (Xn ) Khi E tập hữu hạn hay đếm được, phần tử ký hiệu i, j, k Ta gọi E không gian trạng thái dãy 6 Chương Quá trình Markov Định nghĩa 1.1 Ta nói dãy ĐLNN (Xn ) xích Markov với n1 < < nk < nk+1 với i1 , i2, ik+1 ∈ E P {Xnk+1 = ik+1 |Xn1 = i1 Xn2 = i2 , Xnk = ik } = P {Xnk+1 = ik+1 |Xnk = ik } Ta coi thời điểm nk+1 tương lai, nk n1, ,nk−1 khứ Như vậy, xác suất có điều kiện kiện B tương lai biết khứ hệ giống xác suất có điều kiện B biết trạng thái hệ Đó tính Markov hệ Đơi tính Markov hệ phát biểu dạng: Nếu biết trạng thái hệ khứ tương lai độc lập với Giả sử P {Xm+n = j|Xm = i} xác suất để xích thời điểm m trạng thái i sau n bước, thời điểm m + n chuyển sang trạng thái j Đây số nói chung phụ thuộc vào i, j, m, n Nếu đại lượng không phụ thuộc m ta nói xích Trong giáo trình ta xét xích Markov Ký hiệu Pij = P {Xn+1 = j|Xn = i} Pij (n) = P {Xm+n = j|Xm = i} Ta gọi (Pij , i, j ∈ E) xác suất chuyển sau bước hay xác suất chuyển (Pij (n), i, j ∈ E) xác suất chuyển sau n bước Chú ý X Pij = j∈E X Pij (n) = j∈E Phân bố X0 gọi phân bố ban đầu Ta ký hiệu ui = P (X0 = i) Định lý 1.1 Phân bố đồng thời (X0 , X1 , , Xn ) hoàn toàn xác định từ phân bố ban đầu xác suất chuyển Cụ thể ta có P (X0 = i0 , X1 = i1 , , Xn = in ) = ui0 Pi0 i1 Pin−1in 1.1 Xích Markov Thật theo công thức nhân xác suất ta có P (X0 = i0 , X1 = i1 , , Xn = in ) = = P (X0 = i0)P (X1 = i1 |X0 = i0 ) × × P (Xk = ik |X0 = i0 , , Xk−1 = ik−1 ) × × P (Xn = in |X0 = i0, , Xn−1 = in−1 ) Sử dụng tính Markov ta có P (Xk = ik |X0 = i0 , , Xk−1 = ik−1 ) = P (Xk = ik |Xk−1 = ik−1 ) = Pik−1 ik Thành thử P (X0 = i0 , X1 = i1 , , Xn = in ) = ui0 Pi0 i1 Pin−1in Định lý 1.2 (Phương trình C - K (Chapman-Kolmogorov)) X Pik (n)Pkj (m) Pij (n + m) = k∈E Chứng minh Theo công thức xác suất đầy đủ tính Markov ta có Pij (n + m) = P (Xn+m = j|X0 = i) X = P (Xn = k|X0 = i)P (Xn+m = j|Xn = k, X0 = i) k∈E = X Pik (n)Pkj (m) k∈E Trong trường hợp E có d phần tử, ta ký hiệu P = (Pij ), P (n) = (Pij (n)) ma trận vng cấp d × d P gọi ma trận xác suất chuyển, P (n) gọi ma trận xác suất chuyển sau n bước Khi từ phương trình Chapman-Kolmogorov tương đương với P (n + m) = P (n)P (m) 8 Chương Quá trình Markov Vì P = P (1) nên quy nạp ta dễ thấy P (n) = P n Gọi ui(n) = P (Xn = i) Ký hiệu vecto U (n) = (u1(n), , ud(n)) vector hàng d - chiều mô tả phân bố Xn , U = U (0) = (u1, u2 , , ud) vector hàng d - chiều mô tả phân bố ban đầu (phân bố X0 ) Định lý 1.3 Ta có U (m + n) = U (m)P n Nói riêng U (n) = U P n Chứng minh Thật vậy, theo công thức xác suất đầy đủ ta có uj (m + n) = P (Xn+m = j) = d X P (Xm = i)P (Xn+m = j|Xm = i) i=1 = d X ui(m)Pij (n) i=1 Ví dụ 1.1 Cho (ξn ), n = 0, 1, 2, dãy ĐLNN độc lập, phân bố n P ξi Khi (Xn ) xích Giả sử P (ξn = i) = , i ∈ Z Đặt Xn = i=1 Markov với không gian trạng thái Z P {Xn+1 = in+1 |X0 = i0 X1 = i1 , Xn = in } = P {Xn + ξn+1 = in+1 |ξ0 = i0, ξ1 = i1 − i0, , ξn = in − in−1 } = P {ξn+1 = in+1 − in } = P {Xn+1 = in+1 |Xn = in } Vậy (Xn ) xích Markov với khơng gian trạng thái Z Xác suất chuyển Pij = ai−j 1.1 Xích Markov Ví dụ 1.2 (Mơ hình Ehrenfest) Ta có hai bình A, B có d cầu đánh số 1, 2, d Tại thời điểm ban đầu có a cầu A d−a cầu B Tại thời điểm n ta chọn ngẫu nhiên số tập {1, 2, d} Khi cầu mang số chọn chuyển từ bình chứa sang bình Ký hiệu Xn số cầu bình A thời điểm n Hiển nhiên (Xn ) xích Markov Ta tính xác suất chuyển P (Xn+1 = j|Xn = i) Vì A chứa i cầu nên với xác suất i/d ta chọn cầu từ A Khi cầu chuyển sang B Vậy P (Xn+1 = i − 1|Xn = i) = i/d Tương tự với xác suất − i/d chọn cầu B cầu chuyển vào A Vậy P (Xn+1 = i + 1|Xn = i) = − i/d Thành thử i  j = i −   d (1.1) Pij = d − i j = i +  d    j 6= i + 1, j 6= i − Mơ hình nhà vật lý tiếng Ehrenfest đưa năm 1907 nhằm mô tả truyền nhiệt hai vật thể Ví dụ 1.3 Ta nghiên cứu vấn đề xã hội chẳng hạn vấn đề nghiện hút Ta ký hiệu trạng thái không nghiện trạng thái nghiện Đơn vị thời gian quý (3 tháng) Thống kê nhiều năm cho thấy xác suất để người không nghiện sau quý không nghiện 0,99 xác suất để người nghiện sau quý tiếp tục nghiện 0,88 Như trạng thái người (nghiện hay không nghiện) mô tả xích Markov với hai trạng thái E = {0, 1} với ma trận xác suất chuyển sau ! 0, 99 0, 01 P = 0, 12 0, 88 Giả sử lúc đầu có 17% số người nghiện Như phân bố ban đầu U (0) = (0, 83, 0, 17) Sang quý hai, theo định lý 1.3 phân bố số người nghiện không nghiện ! 0, 99 0, 01 U (1) = U (0)P = (0.83, 0.17) = (0, 845, 0, 155) 0, 12 0, 88 10 Chương Quá trình Markov Sang quý ba phân bố số người không nghiện nghiện 0, 99 0, 01 U (2) = U (1)P = (0.845, 0.155) 0, 12 0, 88 ! = (0, 855, 0, 145) tức lúc có 14,5% số người nghiện Ví dụ 1.4 Giả sử ta có d cửa hàng ký hiệu 1, 2, d bán sản phẩm Khách hàng chọn mua sản phẩm d cửa hàng tuỳ theo sở thích họ tháng họ không thay đổi chỗ mua hàng Gọi Xn cửa hàng mà khách hàng chọn mua sản phẩm tháng thứ n Đây xích Markov có d trạng thái, xác suất chuyển Pij có nghĩa xác suất để khách hàng, mua hàng cửa hàng i sang tháng sau chuyển sang mua cửa hàng j Xét d = ma trận xác suất chuyển   0, 800 0, 100 0, 100   P = 0, 070 0, 900 0, 030 0, 083 0, 067 0, 850 Giả sử tháng giêng cửa hàng chiếm 20% khách hàng, cửa hàng chiếm 50% khách hàng cửa hàng chiếm 30% khách hàng Như phân bố ban đầu U (0) = (0, 2, 0, 5, 0, 3) Sang tháng phân bố khách hàng cửa hàng U (1) = U (0)P = (0, 22, 0, 49, 0, 29) Sang tháng phân bố khách hàng cửa hàng U (2) = U (1)P = (0, 234, 0, 483, 0, 283) Tiếp tục q trình ta tính tháng 12 phân bố khách hàng cửa hàng U (11) = (0, 270, 0, 459, 0, 271) tức tháng 12 cửa hàng chiếm 27% khách hàng, cửa hàng chiếm 45,9% khách hàng cửa hàng chiếm 27,1% khách hàng Ví dụ 1.5 Cho (Xn ) xích Markov có trạng thái E = {0, 1} với ma trận xác suất chuyển ! 1−a a P = b 1−b 1.1 Xích Markov 11 a, b > 0, < a + b < Ta tìm biểu thức ma trận xác suất chuyển sau n bước P (n) Ta có P00(n + 1) = P (Xn+1 = 0|X0 = 0) = P (Xn = 0|X0 = 0)P (Xn+1 = 0|Xn = 0)+ + P (Xn = 1|X0 = 0)P (Xn+1 = 0|Xn = 1) = P00 (n)(1 − a) + (1 − P00 (n))b (1.2) Nếu ký hiệu un = P00 (n), q = − a − b từ (1.2) ta có cơng thức truy hồi sau un+1 = un (1 − a) + (1 − un )b = (1 − a − b)un + b = qun + b Chú ý u0 = 1, từ công thức truy hồi dễ thấy un = q n + b(1 − q n ) b = (1 − a − b)n + (1 − (1 − a − b)n ) 1−q a+b hay P00 (n) = b a + (1 − a − b)n a+b a+b Suy P01 (n) = − P00 (n) = a a − (1 − a − b)n a+b a+b Tương tự ta có P10(n + 1) = P (Xn+1 = 0|X0 = 1) = P (Xn = 0|X0 = 1)P (Xn+1 = 0|Xn = 0)+ + P (Xn = 1|X0 = 1)P (Xn+1 = 0|Xn = 1) = P10 (n)(1 − a) + (1 − P10 (n))b (1.3) Nếu ký hiệu = P00(n), q = − a − b từ (1.3) ta có cơng thức truy hồi sau vn+1 = (1 − a) + (1 − )b = (1 − a − b)vn + b = qvn + b Chú ý v0 = 0, từ công thức ta thu b b(1 − q n) = (1 − (1 − a − b)n ) = (1 − q) a+b 12 Chương Quá trình Markov Suy b b − (1 − a − b)n a+b a+b a b + (1 − a − b)n P11(n) = − P10 (n) = a+b a+b P10 (n) = Viết dạng ma trận ta có P (n) = a+b ! b a (1 − a − b)n + a+b b a ! a −a −b b Định nghĩa 1.2 Phân bố ban đầu U = (ui), i ∈ E gọi phân bố dừng ta có U (n) = U với n tức ui (n) = ui ∀i ∈ E, ∀n Khi dãy (Xn ) có phân bố Từ định lý ta suy U = (ui ) phân bố dừng P ui = 1 ui ≥ i∈E uj = P ui Pij ∀j ∈ E i∈E Ví dụ 1.6 Cho (Xn ) xích Markov có trạng thái E = {1, 2, 3} với ma trận xác suất chuyển   1/3 1/3 1/3   P = 1/4 1/2 1/4 1/6 1/3 1/2 Hãy tìm tất phân bố dừng Đặt U = (x, y, z) Khi U phân bố dừng x, y, z nghiệm không âm hệ sau    x/3 + y/4 + z/6 = x   x/3 + y/2 + z/3 = y  x/3 + y/4 + z/2 = z     x + y + z = 1.1 Xích Markov 13 Từ phương trình thứ thứ hai hệ khử z ta rút y = 5x/3 Từ z = 3x/2 Thế vào phương trình (4) ta thu x = 6/25, y = 10/25, z = 9/25 Ví dụ 1.7 Cho (Xn ) xích Markov có trạng thái E = {0, 1} với ma trận xác suất chuyển ! 1−a a P = b 1−b a, b > 0, < a + b < (xem ví dụ 1.5) Ta tìm phân bố dừng Đặt U = (x, y) Khi U phân bố dừng x, y nghiệm không âm hệ sau  (1 − a)x + by = x    ax + (1 − b)y = y    x + y = Phương trình (1) (2) hệ tương đương với ax = by hay x = vào phương trình (3) hệ ta thu x= by a Thế a b ,y = a+b a+b Như sau ta thấy phân bố dừng tồn Câu hỏi đặt là: Với điều kiện tồn phân bố dừng? Phân bố dừng tồn có không? Định lý 1.4 Giả sử (Xn ) xích Markov với khơng gian trạng thái E = {1, 2, } với ma trận xác suất chuyển P = (Pij ) ma trận xác suất chuyển sau n bước P (n) = (Pij (n)) Giả sử với i, j ∈ E tồn giới hạn lim Pij (n) = πj n→∞ giới hạn khơng phụ thuộc i Khi 14 Chương Quá trình Markov P πj ≤ πj = j∈E P πi Pij i∈E Hoặc πj = với j ∈ E, P πj = j∈E Nếu P πj = U = (π1 , π2, ) phân bố dừng phân bố dừng j∈E Nếu πj = với j ∈ E phân bố dừng không tồn Chứng minh Theo bổ đề Fatou ta có X X X πj = lim Pij (n) ≤ lim inf Pij (n) = j∈E j∈E n→∞ n→∞ j∈E Sử dụng bổ đề Fatou phương trình C-K ta có X X πi Pij = lim Pki (n)Pij i∈E i∈E n ≤ lim inf n→∞ X Pki (n)Pij = lim inf Pkj (n + 1) = πj n→∞ i∈E P Đặt sj = πj − i∈E πi Pij ≥ ∀j ∈ E Ta có X XX X sj = πj − πi Pij j∈E j∈E = X = X j∈E i∈E πj − XX πj − X j∈E πi Pij = i∈E j∈E j∈E X πj − X j∈E πi i∈E πi = i∈E Vậy sj = ∀j ∈ E hay πj = P πi Pij ∀j ∈ E i∈E Ta có πj = X = X πi Pij = i∈E k∈E πk ( X i∈E XX ( πk Pki )Pij i∈E k∈E Pki Pij ) = X k∈E πk Pkj (2) X j∈E Pij 1.1 Xích Markov 15 Bằng quy nạp dễ thấy với n X πj = πk Pkj (n) k∈E Vì chuỗi hội tụ n nên X X X πj = lim πk Pkj (n) = πk lim Pkj (n) = πj πk n→∞ k∈E Suy πj n→∞ k∈E 1− X πk ! k∈E = ∀j ∈ E k∈E P Vậy k∈E πk < πj = ∀j ∈ E P Nếu πk = từ khẳng định ta suy π = (π1, π2 , ) phân k∈E bố dừng Ta chứng minh phân bố dừng Thật giả sử U = (ui ) phân bố dừng Lập luận tương tự ta có X uk Pkj (n) uj = k∈E Vì chuỗi hội tụ n nên X X uj = uk lim Pkj (n) = uk πj = πj k∈E Do P n→∞ k∈E πj < phân bố dừng khơng tồn Nếu j∈E P πj = j∈E π = (π1, π2, ) phân bố dừng Định nghĩa 1.3 Giả sử (Xn ) xích Markov với khơng gian trạng thái E = {1, 2, } với ma trận xác suất chuyển P = (Pij ) ma trận xác suất chuyển sau n bước P (n) = Pij (n) Ta nói xích có phân bố giới hạn với i, j ∈ E tồn giới hạn lim Pij (n) = πj n→∞ Giới hạn không phụ thuộc i ∈ E P πj = Nói cách khác, vecto giới j∈E hạn π = (π1 , π2, ) lập thành phân bố xác suất E 16 Chương Quá trình Markov Ý nghĩa phân bố giới hạn sau: Gọi ui (n) = P (Xn = i) Ký hiệu vecto U (n) = (u1 (n), u2(n), ) vector hàng d-chiều mô tả phân bố Xn Ta có X P (Xn = j) = P (X0 = i)Pij (n) ß∈E Do lim P {Xn = j} = X = X n→∞ P {X0 = i} lim Pij (n) n→∞ ß∈E P {X0 = i}πj = πj ß∈E Vậy phân bố U (n) Xn hội tụ tới phân bố giới hạn π Khi n lớn ta có P (Xn = j) ≈ πj Theo định lý 1.4 phân bố giới hạn tồn phân bố dừng tồn Hơn hai phân bố trùng Tuy nhiên điều ngược lại khơng tức có xích Markov có tồn phân bố dừng không tồn phân bố giới hạn Ví dụ 1.8 Cho xích Markov (Xn ) có hai trạng thái với ma trận xác suất chuyển ! P = Ta có P (2n) = P (2n + 1) = 1 ! ! Do khơng tồn lim P (n) Tuy nhiên dễ dàng kiểm tra π = n→∞ (1/2, 1/2) phân bố dừng 1.1 Xích Markov 17 Một toán quan trọng nghiên cứu xích Markov tìm điều kiện để đảm bảo tồn phân bố giới hạn tồn phân bố dừng Dưới định lý Định lý 1.5 Cho (Xn ) xích Markov với khơng gian trạng thái hữu hạn E = {1, 2, , d} với ma trận xác suất chuyển sau n bước P (n) = (Pij (n)) Khi có tồn phân bố giới hạn π = (π1 , , πd) với πj > ∀j ∈ E xích quy theo nghĩa: Tồn n0 cho Pij (n0 ) > 0, ∀i, j ∈ E Chứng minh Giả thiết xích quy Ta cố định j đặt mj (n) = Pij (n) i∈E Mj (n) = max Pij (n) i∈E Ta có Pij (n + 1) = X Pik Pkj (n) ≥ k X Pik mj (n) = mj (n) k Suy mj (n + 1) ≥ mj (n) Vậy dãy (mj (n)), n = 1, 2, dãy tăng bị chặn 1, tồn giới hạn lim mj (n) = aj n Lập luận tương tự dãy (Mj (n)), n = 1, 2, ) dãy giảm bị chặn 0, tồn giới hạn lim Mj (n) = Aj n Ta có mj (n) ≤ Pij (n) ≤ Mj (n) định lý chứng minh ta aj = Aj Ký hiệu r = mini,j Pij (n0 ) > Ta có Pik (n0 ) ≥ r.1 ≥ Pjk (n) nên Pik (n0 ) ≥ rPjk (n) ∀i, X Pik (n0)Pkj (n) Pij (n0 + n) = k = X (Pik (n0) − rPjk (n)) Pkj (n) + r k ≥ mj (n) X X Pjk (n)Pkj (n) k (Pik (n0) − rPjk (n)) + rPjj (2n) k = mj (n)(1 − r) + rPjj (2n) 18 Chương Quá trình Markov Vì bất đẳng thức với i nên ta có mj (n0 + n) ≥ mj (n)(1 − r) + rPjj (2n) Tương tự ta có Mj (n0 + n) ≤ Mj (n)(1 − r) + rPjj (2n) Suy Mj (n0 + n) − mj (n0 + n) ≤ (1 − r) (Mj (n) − mj (n)) (1.4) Ta chứng minh quy nạp với k Mj (kn0 + 1) − mj (kn0 + 1) ≤ (1 − r)k (Mj (1) − mj (1)) (1.5) Thật với k = (Cho n = (1.4)) Giả sử với k Ta có Mj ((k + 1)n0 + 1) − mj ((k + 1)n0 + 1) = Mj (kn0 + + n0) − mj (kn0 + + n0) ≤ (1 − r) ((Mj (kn0 + 1) − mj (kn0 + 1)) ≤ (1 − r)k+1 (Mj (1) − mj (1)) Cho k → ∞ (1.5) ta nhận Aj − aj ≤ Vì Aj − aj ≥ nên ta kết luận Aj = aj Đảo lại giả sử với i, j ∈ E tồn limn Pij (n) = πj > Khi tồn n0(i, j) cho Pij (n) > ∀n > n0 (i, j) Đặt n0 = maxi,j n0 (i, j) ta có Pij (n) > ∀i, j ∈ E∀n > n0 Ví dụ 1.9 Mỗi người dân vùng ba tầng lớp: giàu, trung lưu nghèo Con họ trong ba tầng lớp nói với xác suất khác tuỳ thuộc vào việc họ tầng lớp Giả sử thống kê ngưòi ta xác định được: Nếu người giàu với xác suất 0,448 họ giàu, với xác suất 0,484 họ trung lưu với xác suất 0,068 họ nghèo Tương tự, với người trung lưu xác suất để họ giàu, trung lưu hay nghèo tương ứng 0,054 0,699 0,247 Với 1.1 Xích Markov 19 người nghèo xác suất để họ giàu, trung lưu hay nghèo tương ứng 0,011, 0,503 0,486 Như thay đổi trạng thái gia đình xã hội từ hệ qua hệ khác mơ tả xích Markov ba trạng thái : 1(giàu), 2(trung lưu), 3(nghèo) với xác suất chuyển sau   0, 448 0, 484 0, 068   P = 0, 054 0, 699 0, 247  0, 011 0, 503 0, 486 Xích Markov quy Thành thử tồn phân bố giới hạn π = (π1, π2, π3) Phân bố phân bố dừng tìm cách giải hệ phương trình sau (π1, π2, π3)P = (π1 , π2, π3) Giải ta tìm π1 = 0, 067; π2 = 0, 624; π3 = 0, 369 Như qua nhiều hệ vùng dân cư nói có 6,7% người giàu, 62,4% trung lưu 36.9% người nghèo Ví dụ 1.10 Xét xích Markov có d trạng thái E = {1, 2, , d} ma trận xác suất chuyển quy đồng thời ma trận kép nghĩa X X Pij = Pij = j∈E i∈E Theo định lý trên, phân phối giới hạn tồn Ta tìm phân bố giới hạn đó.Ta nhận xét phân bố π= (1/d, 1/d, , 1/d) phân bố dừng Thật đặt pij = 1/d ta có X X pik Pkj = 1/d Pkj = 1/d = πj k∈E k∈E Vì phân bố dừng phân bố giới hạn phân bố dừng nên ta kết luận phân bố giới hạn phân bố π = (1/d, 1/d, , 1/d) Chẳng hạn ta tung xúc sắc liên tiếp cách độc lập Ký hiệu ξn P số chấm xuất lần gieo thứ n, Sn = nk=1 ξk Sn xích Markov 20 Chương Q trình Markov với khơng gian trạng thái E = {1, 2, } Gọi Xn số dư chia Sn cho Khi Xn một xích Markov với khơng gian trạng thái E = {0, 1, 2, , 6} Ma trận xác suất chuyển Xn   1/6  1/6   P = 1/6  1/6  1/6  1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6 1/6  1/6  1/6  1/6   1/6  1/6  1/6  Xích Markov quy ma trận xác suất chuyển sau bước  1/6  5/36  5/36   P (2) = P = 5/36  5/36  5/36  5/36 5/36 1/6 5/36 5/36 5/36 5/36 5/36 5/36 5/36 1/6 5/36 5/36 5/36 5/36 5/36 5/36 5/36 1/6 5/36 5/36 5/36 5/36 5/36 5/36 5/36 1/6 5/36 5/36 5/36 5/36 5/36 5/36 5/36 1/6 5/6  5/36  5/36   5/36    5/36   5/36   5/36   1/6 có tất phần tử số dương Vậy phân bố giới hạn π = (1/7, 1/7, 1/7, 1/7, 1/7, 1/7, 1/7, 1/7) 1.2 Phân loại trạng thái xích Markov Để giải đầy đủ toán tồn phân bố dừng toán tồn phân bố giới hạn dẫn ta đến việc phân loại trạng thái xích Markov sau: 1.2 Phân loại trạng thái xích Markov 21 Định nghĩa 1.4 Ta nói trạng thái i đến trạng thái j ký hiệu i → j tồn n ≥ o cho Pij (n) > ( Ta quy ước Pii (0) = 1, Pij (0) = i 6= j) Hai trạng thái i j gọi liên lạc i → j j → i Trong trường hợp ta viết i ↔ j Bổ đề 1.1 (Tính chất bắc cầu) Nếu i → j, j → k i → k Thật theo giả thiết tồn n, m cho Pij (n) > 0, Pjk (m) > Theo phương trình Chapman - Kolmogorov ta có X Pik (n + m) = Pij (n)Pjk (m) ≥ Pij (n)Pjk (m) > j∈E Từ bổ đề, dễ kiểm tra quan hệ "liên lạc được" quan hệ tương đương không gian trạng thái E Theo quan hệ không gian E phân hoạch thành lớp rời Hai trạng thái thuộc lớp liên lạc với nhau, hai trạng thái khác lớp liên lạc với Định nghĩa 1.5 Xích Markov gọi tối giản hai trạng thái liên lạc Có nghĩa theo cách phân lớp E khơng thể phân hoạch thành lớp nhỏ Nếu xích khơng tối giản E phân hoạch thành lớp rời E = E1 ∪ E2 ∪ ∪ Ek Có thể xem Ek khơng gian trạng thái xích Markov tối giản Như việc nghiên cứu xích Markov quy việc nghiên cứu xích tối giản Ví dụ 1.11 Cho xích Markov với trạng thái E = {1, 2, 3, 4, 5} với ma trận xác suất chuyển ! P1 P = P2 22 Chương Q trình Markov P1 = 1/3 2/3 1/4 3/4 !     P2 = 1/2 1/2 Khi P (n) = P n = P1n 0 P2n ! Do E = E1 ∪ E2 với E1 = {1, 2}, E2 = {3, 4, 5} Ví dụ 1.12 Cho xích Markov với trạng thái E = {1, 2, 3, 4} với ma trận xác suất chuyển   0 1/2 1/2  0 1/2 1/2   P2 =   1/2 1/2 0  1/2 1/2 0 Xích tối giản Thật rõ ràng ↔ 3, ↔ 4, ↔ 3, ↔ Ta có → 3, → suy → Lại có → 3, → suy → Vậy ↔ Tương tự ta có ↔ Vậy hai trạng thái liên lạc xích tối giản Định nghĩa 1.6 Chu kỳ trạng thái i ký hiệu d(i) ước chung lớn tất số nguyên dương n ≥ mà Pii (n) > Nếu Pii (n) = với n ≥ ta quy ước đặt d(i) = Định lý 1.6 Nếu i ↔ j d(i) = d(j) Vậy trạng thái lớp có chu kỳ d ta gọi số d chung chu kỳ lớp Chứng minh Do i ↔ j nên tồn k, l cho Pij (k) > 0, Pji (l) > Theo P phương trình C-K ta có Pii (k + l) = h∈E Pih (k)Phi (l) ≥ Pij (k)Pji (l) > Vậy d(i)|k + l Giả sử n ≥ cho Pjj (n) > Sử dụng phương trình C-K 1.2 Phân loại trạng thái xích Markov 23 ta có Pii (k + l + n) ≥ Pij (k)Pjj (n)Pji (l) > Vậy d(i)|k + l + n → d(i)|n Vậy d(i)|d(j) Tương tự d(j)|d(i) Thành thử d(i) = d(j) Giả sử d chu kỳ xích tối giản với không gian trạng thái E Nếu d = ta nói xích khơng có chu kỳ Nếu d > chứng minh E phân hoạch thành d tập conE = C0 ∪ C1 ∪ ∪ Cd−1 cho sau bước hệ chuyển từ trạng thái thuộc Ck sang trạng thái thuộc Ck+1 (quy ước Cd = C0) Vì tập lấy làm khơng gian trạng thái xích Markov Xích tối giản khơng có chu kỳ Tóm lại quy việc nghiên cúu xích Markov tổng qt việc nghiên cứu xích tối giản, khơng có chu kỳ Định nghĩa 1.7 Ký hiệu fii (n) xác suất để hệ xuất phát từ i lần quay lại i thời diểm n Nghĩa fii (n) = P (Xn = i, Xn−1 6= i, , X1 6= i|X0 = i) ký hiệu fii∗ = ∞ X fii (n) n=1 xác suất để hệ xuất phát từ i quay trở lại i sau số hữu hạn bước Nếu fii∗ = ta nói i trạng thái hồi quy (quay lại) Nếu trái lại fii∗ < ta nói i trạng thái không hồi quy Định lý sau cho ta tiêu chuẩn để xác định tính hồi quy trạng thái Định lý 1.7 Trạng thái i hồi quy ∞ X Pii (n) = ∞ n=1 Chứng minh Chứng minh sử dụng hai bổ đề sau (1.6) ... ? ?1/ 6  ? ?1/ 6   P = ? ?1/ 6  ? ?1/ 6  ? ?1/ 6  1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6  1/ 6  1/ 6  1/ 6   1/ 6... P10(n + 1) = P (Xn +1 = 0|X0 = 1) = P (Xn = 0|X0 = 1) P (Xn +1 = 0|Xn = 0)+ + P (Xn = 1| X0 = 1) P (Xn +1 = 0|Xn = 1) = P10 (n) (1 − a) + (1 − P10 (n))b (1. 3) Nếu ký hiệu = P00(n), q = − a − b từ (1. 3)... E = E1 ∪ E2 với E1 = {1, 2}, E2 = {3, 4, 5} Ví dụ 1. 12 Cho xích Markov với trạng thái E = {1, 2, 3, 4} với ma trận xác suất chuyển   0 1/ 2 1/ 2  0 1/ 2 1/ 2   P2 =   ? ?1/ 2 1/ 2 0  1/ 2 1/ 2