Đang tải... (xem toàn văn)
BÀI TẬP LỚN MÔN XỬ LÝ TÍN HIỆU NÂNG CAO Tìm hiểu mô hình Markov ẩn Mô hình Markov ẩn (Hidden Markov Model HMM) là mô hình thống kê trong đó hệ thống được mô hình hóa được như là một quá trình Markov với các tham số không biết trước và nhiệm vụ là xác định các tham số ẩn từ các tham số quan sát được, dựa trên sự thừa nhận này. Các tham số của mô hình được rút ra sau đó có thể sử dụng để thực hiện các phân tích kế tiếp, ví dụ cho các ứng dụng nhận dạng mẫu.
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG BÀI TẬP LỚN MÔN XỬ LÝ TÍN HIỆU NÂNG CAO Đề tài: Tìm hiểu mô hình Markov ẩn Người hướng dẫn: TS. NGUYỄN NGỌC MINH Nhóm học viên : Nguyễn Hữu Hưng Đinh Trọng Toàn Nguyễn Nam Long Lê Công Hòa Lớp : M12CQDT02-B HÀ NỘI, 4/2013 Mô hình Markov ẩn Xử lý tín hiệu số nâng cao MỤC LỤC MỤC LỤC 2 DANH MỤC HÌNH 2 LỜI MỞ ĐẦU 3 I. Tổng quan về mô hình Markov ẩn 4 II. Các thuật toán sử dụng trong mô hình Markov ẩn 6 KẾT LUẬN 18 DANH MỤC HÌNH Hình II-1 Sơ đồ khối hệ thống nhận dạng 7 Hình II-2 Minh họa ví dụ 1- a 7 Hình II-3 Minh họa ví dụ 1 - b 8 Hình II-4 Mô hình 2 –state và 3-state 9 Hình II-5 Mô hình Left – Righ 9 Hình II-6 Mô hình Bakis 10 Hình II-7 Mô hình tuyến tính 10 Hình II-8 Sự tiến hóa của mô hình Markov 10 Hình II-9 Biểu diễn trạng thái bằng sơ đồ mắt lưới 11 Hình II-10 Thuật toán tiến 12 Hình II-11Thuật toán lùi 13 Hình II-12 Ước lượng lại Baum - Welch 16 2 Mô hình Markov ẩn Xử lý tín hiệu số nâng cao LỜI MỞ ĐẦU Mô hình Markov ẩn (Hidden Markov Model - HMM) là mô hình thống kê trong đó hệ thống được mô hình hóa được như là một quá trình Markov với các tham số không biết trước và nhiệm vụ là xác định các tham số ẩn từ các tham số quan sát được, dựa trên sự thừa nhận này. Các tham số của mô hình được rút ra sau đó có thể sử dụng để thực hiện các phân tích kế tiếp, ví dụ cho các ứng dụng nhận dạng mẫu. Trong một mô hình Markov điển hình, trạng thái được quan sát trực tiếp bởi người quan sát, và vì vậy các xác suất chuyển tiếp trạng thái là các tham số duy nhất. Mô hình Markov ẩn thêm vào các đầu ra: mỗi trạng thái có xác suất phân bổ trên các biểu hiện đầu ra có thể. Vì vậy, nhìn vào dãy của các biểu hiện được sinh ra bởi HMM không trực tiếp chỉ ra dãy các trạng thái. Đây là một mô hình toán thống kê có ứng dụng rộng rãi trong lĩnh vực nhận dạng giọng nói, lĩnh vực sinh học như nhận dạng gene hoặc phân loại protein; xử lý tín hiệu, xử lý hình ảnh và các ứng dụng khác liên quan đến chuỗi chuyển tiếp hoặc kết hợp các thành phần, dữ kiện. Trong lĩnh vực điện, mô hình Markov được sử dụng như là 1 công cụ dự báo giá điện năng với các dữ liệu liên quan. Chính vì được áp dụng trong nhiều lĩnh vực đặc biệt là trong xử lý tín hiệu số nên chúng em chọn đề tài về “mô hình Markov ẩn” làm hướng nghiên cứu. Mô hình Markov ẩn Xử lý tín hiệu số nâng cao I. Tổng quan về mô hình Markov ẩn 1.1 Khái niệm về mô hình Markov ẩn Mô hình Markov ẩn là mô hình thống kê trong đó hệ thống được mô hình hóa được cho là một quá trình Markov với các tham số không biết trước và nhiệm vụ là xác định các tham số ẩn từ các tham số quan sát được. Các tham số của mô hình được rút ra sau đó có thể được sử dụng để thực hiện các phân tích kế tiếp, ví dụ ứng dụng cho nhận dạng mẫu. Trong một mô hình Markov điển hình, trạng thái được quan sát được từ người quan sát, vì vậy các xác suất chuyển tiếp trạng thái là các tham số duy nhất. Mô hình Markov ẩn thêm vào các đầu ra: mỗi trạng thái có xác suất phân bổ trên các biểu hiện có thể. Vì vậy, nhìn vào dãy các biểu hiện được sinh ra bởi HMM không trực tiếp chỉ ra dãy các trạng thái. Nhắc lại Quá trình Markov: Trong lí thuyết xác suất, quá trình Markov là một quá trình mang tính ngẫu nhiên (stochastic process) với đặc tính như sau: trạng thái c k tại thời điểm k là một giá trị trong tập hữu hạn {1,…,M}. Với giả thiết rằng quá trình chỉ diễn ra từ thời điểm 0 đến thời điểm N và rằng trạng thái đầu tiên và trạng thái cuối cùng đã biết, chuỗi trạng thái sẽ được biểu diễn bởi 1 vecto hữu hạn C={c 0 ,…,c N }. Nếu P(c k | c 0 ,c 1 , ,c (k − 1) ) biểu diễn xác suất (khả năng xảy ra) của trạng thái c k tại thời điểm k khi đã qua mọi trạng thái cho đến (k-1). Giả sử trong thời điểm đó c k chỉ phụ thuộc vào trạng thái trước đó c k-1 và độc lập với các trạng thái trước khác. Quá trình đó gọi là quá trình Markov bậc một(first order Markov process). Có nghĩa là xác suất để xảy ra trạng thái c k tại thời điểm k, khi biết trước mọi trạng thái cho đến thời điểm k-1 chỉ phụ thuộc vào trạng thái trước, ví dụ trạng thái ck-1 tại thời điểm k-1. Khi đó ta có công thức: P(c k | c 0 ,c 1 , ,c (k − 1) )= P(c k | c (k − 1) ) Nói tóm lại một hệ có thuộc tính Markov được gọi là quá trình Markov (bậc1). Như vậy, với quá trình Markov bậc n: P(c k | c 0 ,c 1 , ,c (k − 1) )= P(c k | c k-n ,c k-n-1 ,…,c (k − 1) ) 4 Mô hình Markov ẩn Xử lý tín hiệu số nâng cao Nói chung với giả thuật Viterbi quá trình xảy ra bên dưới được xem là một quá trình Markov: Trạng thái hữu hạn nghĩa là số m là hữu hạn. Thời gian rời rạc, nghĩa là việc chuyển từ trạng thái này sang trạng thái khác cùng mất một đơn vị thời gian. Quan sát không tốn bộ nhớ, nghĩa là chuỗi các quan sát có xác suất chỉ phụ thuộc vào trạng thái ngay trước đó (nên không cần lưu bộ nhớ nhiều). Mô hình Markov ẩn được ứng dụng trong nhiều lĩnh vực như: • Nhận dạng tiếng nói. • Nhận dạng chữ viết tay. • Xử lý ngôn ngữ thống kê. • Dịch máy. • Tin sinh học: - Khớp xấp xỉ nhiều chuỗi. - Tìm Motif. - Tìm kiếm tương tự. 1.2Minh họa một quá trình Markov ẩn đơn giản Mô hình Markov thong thường được tính toán trực tiếp trên các trạng thái, tuy nhiên mô hình Markov ẩn không tính toán kết quả trực tiếp trên các trạng thái đó mà phải thông qua một sự kiện trạng thái khác gọi là các sự kiện trạng thái quan sát. Một ví dụ đơn giản về quá trình Markov ẩn là về bài toán dự báo thời tiết, làm sao dự báo được thời tiết mà không trực tiếp quan sát về thời tiết đó mà chỉ biết qua một sự kiện khác. Ví dụ tôi ở trong phòng kín nghiên cứu khoa học, không tiếp xúc với bên ngoài đã nhiều ngày, bây giờ muốn biết thời tiết bên ngoài nắng, mưa hay mây mù thì phải làm sao? khi mà chỉ biết dữ kiện duy nhất là người phục vụ đem cơm cho tôi có mang theo dù hay là không mang theo dù? nếu người đó mang theo dù khi đem cơm cho tôi thì tôi đoán bên ngoài chắc có mưa, đó chỉ là dự đoán, thực tế trời nắng họ cũng mang theo dù vậy nhưng xác suất thấp hơn. Ở đây tôi muốn minh họa rằng: thời tiết bên ngoài là ẩn với tôi, tôi không biết gì thời tiết bên ngoài, tôi chỉ biết được người mang cơm cho tôi có mang dù hay không mang dù? Quan sát người phục vụ có mang theo dù hay không chính là dữ kiện mà tôi quan sát được. Còn dữ kiện thời tiết là Ẩn, dựa vào dữ kiện quan sát mang dù hay không mang 5 Mô hình Markov ẩn Xử lý tín hiệu số nâng cao dù để đoán xem thời tiết ẩn bên ngoài như thế nào? Đây chính là ý cơ bản nhất tại sao gọi là Markov ẩn. Ma trận quan sát việc mang dù hay không mang dù được biểu diễn như sau: Bảng I-1 Ma trận quan sát – ví dụ về thời tiết Thời tiết Có mang dù Không mang dù Nắng 0.1 0.9 Mưa 0.8 0.2 Mây mù 0.3 0.7 Ma trận trên gọi là ma trận quan sát, thường được ký hiệu là B, biểu diễn xác suất quan sát trực tiếp được trong một quá trình Markov ẩn. 1.3 Các thông số của mô hình Markov ẩn Một mô hình Markov ẩn bao gồm các thông số như: • Số trạng thái ‘state’ N có trong mô hình và các trạng thái này là ẩn. Các trạng thái này sẽ được biểu thị tương ứng với giá trị S=(S1, …., SN) gọi là tập tất cả các trạng thái ẩn. • M, Số symbol trên mỗi dãy quan sát trong một ‘State’. Các symbol này sẽ được biểu thị tương ứng bởi các giá trị V=(V¬1, …, VM) gọi là tập tất cả các ký hiệu quan sát được. • A= [aij] xác suất chuyển trạng. Trong trường hợp đặc biệt, khi các trạng thái là như nhau trong một bước đơn, ta có aij > 0 đối với tất cả các giá trị i và j. Trong một vài loại hình khác của HMM, ta chi aij = 0 cho một vài căp (i,j). • B=[bij] xác suất nhả ký hiệu. • p= [pi] xác suất khởi trạng • qt - Trạng thái ở thời điểm t. • Ot= (ký hiệu) Quan sát tại thời điểm t. II. Các thuật toán sử dụng trong mô hình Markov ẩn 2.1 Mô hình Markov ẩn trong lý thuyết thông tin nhận dạng Sơ đồ khối của hệ thống nhận dạng như hình 2-1. 6 Mô hình Markov ẩn Xử lý tín hiệu số nâng cao Hình II-1 Sơ đồ khối hệ thống nhận dạng Nhận dạng là tìm cách xác định được khả năng xảy ra lớn nhất của chuỗi ngôn ngữ,W, khi cho trước căn cứ âm A, Công thức: )/(max)/( AWPAWP W = ∧ • Theo luật Bayes: )( )()/( )/( AP WPWAP AWP = • Mô hình HMM quan tâm đến P(W|A) • Kí hiệu: A O W λ P(A/W) P(O/ λ ) Ví dụ1: Hình II-2 Minh họa ví dụ 1- a 7 Mô hình Markov ẩn Xử lý tín hiệu số nâng cao • Xét 3 chén, mỗi chén trộn giữa các các “đá trạng thái” 1 và 2. • Phân nhỏ chén thứ i thành 2 phần tỉ lệ a i1 , a i2 , khi đó a i1 + a i2 =1. • Xét 2 bình, mỗi bình chứa các quả bóng đen, bóng trắng. • Chia bình thứ i thành 2 phần tỉ lệ b iB , b iW , với • b iB + b iW =1 • Vecto tham số cho mô hình này là: λ = {a 01 ,a 02 ,a 11 ,a 12 ,a 21 ,a 22 ,b 1 (B),b 1 (W ),b 2 (B),b 2 (W )} Hình II-3 Minh họa ví dụ 1 - b Chuỗi quan sát : O={B,W,B,W,W,B} Chuỗi trạng thái: Q={1,1,2,1,2,1} Mục đích: cho mô hình λ và chuỗi quan sát O, có thể làm thể nào để chuỗi trạng thái Q được xác định. Các yếu tố của mô hình Markov ẩn rời rạc • N : số trạng thái trong mô hình Các trạng thái, s= {s 1 ,s 2 ,…,s N } Trạng thái ở thời điểm t, q t ∈ s • M: số kí hiệu quan sát (quan sát rời rạc) Tập các kí hiệu quan sát v={v 1 ,v 2 ,…,v M } Kí hiệu quan sát ở thời điểm t, o t ∈ v • A= {a ij }: tập phân phối xác suất chuyển trạng thái a ij = P(q t+1 = s j |q t = s i ), 1 ≤ i,j ≤ N • B = {b j (k)}: phân bổ xác suất kí hiệu quan sát ở trạng thái j: b j (k)= P(v k a t t|q t = s j ), 1 ≤ j ≤ N, 1 ≤ k ≤ M • π = {π i }: phân bổ xác suất trạng thái khởi đầu 8 Mô hình Markov ẩn Xử lý tín hiệu số nâng cao π i = P(q 1 = s i ), 1 ≤ i ≤ N Một mô hình HMM được viết dưới dạng đặc trưng λ = {A, B,π} Ví dụ 2: π={a 01 ,a 02 } A= 2221 1211 aa aa và B= )()( )()( 22 11 WbBb WbBb Một số mô hình thông dụng: Hình II-5 Mô hình Left – Righ Hình 2-5: Mô hình Left – Righ 9 Hình II-4 Mô hình 2 –state và 3-state Mô hình Markov ẩn Xử lý tín hiệu số nâng cao Hình II-6 Mô hình Bakis Hình II-7 Mô hình tuyến tính Tạo chuỗi quan sát trong HMM: Lựa chọn một trạng thái khởi đầu, q 1 =s i , dựa trên phân bổ trạng thái khởi đầu, π. Cho t chạy từ 1 T: • Chọn o t =v k theo sự phân bổ xác suất kí hiệu trong trạng thái s i , b i (k). • Chuyển tiếp đến trạng thái mới q t+1 =s j theo sự phân bổ xác suất sự chuyển tiếp trạng thái cho trạng thái s i , a ij . Tăng t lên 1, quay lại bước 2 nếu t≤T; ngược lại thì kết thúc. Hình II-8 Sự tiến hóa của mô hình Markov Biểu diễn sơ đồ trạng thái bằng sơ đồ mắt lưới(trellis) 10 [...]... o Mô hình λ thích hợp hơn λ trong điều kiện P (O | λ ) > P (O | λ ) Chúng ta có thể tăng xác suất chuỗi quan sát O mà đã quan sát được từ mô hình nếu sử dụng lặp lại λ trong không gian λ và lặp lại việc ước lượng lại cho đến khi một số điểm tới hạn đạt được Mô hình kết quả thu được gọi là mô hình Markov ẩn có khả năng xảy ra lớn nhất 17 Mô hình Markov ẩn cao Xử lý tín hiệu số nâng KẾT LUẬN Mô hình Markov. .. Markov ẩn được ứng dụng nhiều trong lĩnh vực nhận dạng giọng nói, trong nhiều lĩnh vực như sinh học, điện, điện tử, xử lý tín hệu số, vv vv Đặc biệt trong khuôn khổ phạm vi lĩnh vực xử lý tín hiệu số, mô hình Markov ẩn được ứng dụng nhiều trong việc xây dựng các hệ thống xử lý hình ảnh, âm thanh, trí tuệ nhân tạo Vì thế, việc tìm hiểu và nghiên cứu mô hình Markov ẩn có vai trò trong việc nắm bắt được lý. .. lại Baum-Welch Hình II- 12 Ước lượng lại Baum - Welch Các biểu thức ước lượng lại với thuật toán Baum-Welch • π = γ 1 (i ) T −1 • a ij = ∑ ξ (i, j ) t =1 T −1 t ∑ γ (i) t t =1 T • b ij = ∑ γ ( j) t =1,ot =vk T t ∑ γ ( j) t =1 t Nếu λ ( A, B, π ) là mô hình gốc và λ ( A, B, π ) là mô hình ước lượng lại, khi đó ta có thể chứng minh: 16 Mô hình Markov ẩn cao Xử lý tín hiệu số nâng o Mô hình gốc λ xác.. .Mô hình Markov ẩn cao Xử lý tín hiệu số nâng Hình II-9 Biểu diễn trạng thái bằng sơ đồ mắt lưới Vấn đề cơ bản của HMM: Tính điểm (Scoring) : cho một chuỗi quan sát O = {o 1,o2, ,oT } và một mô hình λ = {A, B,π}, làm thế nào chúng ta có thể tính toán xác suất có điều kiện P(O | λ) (khả năng xảy ra của chuỗi quan sát)? ... thống ở trạng thái i tại thời điểm t và trạng thái j tại thời điểm t+1 với điều kiện có chuỗi quan sát O và mô hình Markov ẩn λ ξ t (i, j ) = P(qt = si , qt +1 = s j | O, λ ) Khi đó α (i )aij b j (ot +1 ) β t +1 (i ) ξ t (i , j ) = t P (O | λ ) 15 Mô hình Markov ẩn cao Xử lý tín hiệu số nâng N γ t (i ) = ∑ ξ t (i, j ) j =1 Kết hợp γ t (i) và ξ t (i, j ) chúng ta được: T −1 ∑ γ (i) = số chuyển... nào chúng ta có thể điều chỉnh các tham số của mô hình λ = {A,B,π} để đạt được P(O | λ) lớn nhất? Thủ tục Baum-Wetch Tính toán P(O|λ) P(O|λ)= ∑ P(O, Q | λ ) allQ P(O, Q |λ)= P(O|Q ,λ)P(Q |λ) Xét chuỗi trạng thái cố định Q = q1q2 qT P(O|Q ,λ)= bq1(o1)bq2(o2) bqT (oT ) P(Q |λ)= πq1 aq1q2 aq2q3 aqT −1 qT Vì vậy: 11 Mô hình Markov ẩn cao Xử lý tín hiệu số nâng ∑ qT P(O|λ)= q1,q2 , ,Π q1 b q1 (o1 )a q1... dễ dàng nhận ra rằng βT(i)=1, 1 ≤ i ≤ N N và P(O|λ)= ∑ Π i b i (o1 )ß1 (i) i =1 12 Mô hình Markov ẩn cao Xử lý tín hiệu số nâng o Theo phương pháp quy nạp N βt(i)= ∑ a ij b j (o t +1 )ß t +1 (j) j=1 (t=T−1,T−2, ,1; 1 ≤ i≤N) Diễn tả thủ tục lùi: Hình II-11Thuật toán lùi Tìm chuỗi trạng thái tối ưu: + Một tiêu chuẩn để lựa chọn trạng thái tối ưu q t là cực đại hóa số trạng thái đúng + Toán tử γ t... thể tìm thấy bằng thuật toán Viterbi + Với δ t (i ) là xác suất xảy ra cao nhất trên một đường dẫn tính với t lần quan sát đầu tiên: δ t (i ) = max P(q1 , q 2 , , qt −1 , qt = s1 , o1o2 ot | λ ) q1 , q2 , , q t −1 + Theo phương pháp quy nạp: δ t +1 (i ) = [max δ t (i )aij ]bi (ot +1 ) i 13 Mô hình Markov ẩn cao Xử lý tín hiệu số nâng + Để thu được chuỗi trạng thái, ta cần theo dõi chuỗi trạng thái mà... 1≤i ≤ N + Kết thúc: P * = max[δ T (i )] 1≤i ≤ N * q T = arg max[δ T (i )] 1≤i ≤ N + Quay lui tìm đường dẫn( chuỗi trạng thái) tối ưu * q T * = ψ t +1 (q ), t = T − 1, t − 2, ,1 t +1 2 + Số phép tính ≈ N T + Ví dụ thuật toán VIterbi: Ví dụ thuật toán Viterbi(tt) 14 Mô hình Markov ẩn cao Xử lý tín hiệu số nâng Ví dụ so khớp sử dụng thuật toán tiến-lùi: Ước lượng lại với thuật toán Baum-Welch... (ot+1), 1≤ t≤ T-1, 1 ≤ j ≤ N i =1 2 Số phép tính: N T Ví dụ: N=5,T=100, 52.100 phép tính,( thay vì 1072) Diễn tả thuật toán tiến: Hình II- 10 Thuật toán tiến Thuật toán lùi: o Tương tự để xác định toán tử lùi, β t(i), khi khả năng xảy ra của chuỗi quan sát cục bộ từ thời điểm t+1 đến kết thúc, biết trước trạng thái si ở thời điểm t và với điều kiện mô hình đã cho βt(i)= P(ot+1ot+2 oT |qt = si,λ) . tài về mô hình Markov ẩn làm hướng nghiên cứu. Mô hình Markov ẩn Xử lý tín hiệu số nâng cao I. Tổng quan về mô hình Markov ẩn 1.1 Khái niệm về mô hình Markov ẩn Mô hình Markov ẩn là mô hình. II-5 Mô hình Left – Righ Hình 2-5: Mô hình Left – Righ 9 Hình II-4 Mô hình 2 –state và 3-state Mô hình Markov ẩn Xử lý tín hiệu số nâng cao Hình II-6 Mô hình Bakis Hình II-7 Mô hình tuyến tính Tạo. dụng trong mô hình Markov ẩn 2.1 Mô hình Markov ẩn trong lý thuyết thông tin nhận dạng Sơ đồ khối của hệ thống nhận dạng như hình 2-1. 6 Mô hình Markov ẩn Xử lý tín hiệu số nâng cao Hình II-1