LÝ THUYẾT THÔNG TIN Bùi Văn Thành thanhbv@uit.edu.vn Tháng 7 năm 2013 1 Trường Đại Học Công Nghệ Thông Tin KHOA MẠNG & TRUYỀN THÔNG Chương 3 L ng tin, ượ Entropi ngu n r i r cồ ờ ạ 2 3.1 Mối liên hệ của lượng tin và lý thuyết xác suất  Sự tiếp xúc của con người với ngoại vật, nhận thức được ngoại vật là thông qua thông tin tiếp thu được. • Một tin đối với người nhận có 2 phần, hay 2 nội dung: 1. Độ bất ngờ của tin: rất liên quan đến các vấn đề cơ bản của hệ thống truyền tin. Ví dụ: một tin càng bất ngờ, sự xuất hiện của nó càng hiếm, thì rõ ràng thời gian nó chiếm trong một hệ thống truyền tin càng ít. Như vậy, muốn cho việc truyền tin có hiệu suất cao thì không thể coi các tin như nhau nếu chúng xuất hiện ít nhiều khác nhau. 2. Ý nghĩa (hàm ý) của tin: không ảnh hưởng đến các vấn đề cơ bản của hệ thống truyền tin như tốc độ hay độ chính xác. Nó chính là ý nghĩa của những tin mà con người muốn trao đổi với nhau thông qua việc truyền tin. 3 3.1 Mối liên hệ của lượng tin và lý thuyết xác suất Về mặt truyền tin ta chỉ quan tâm đến độ bất ngờ của tin hay xác suất xuất hiện các ký hiệu. Xét mối liên hệ giữa khái niệm tin tức với lý thuyết xác suất: o Một nguồn tin rời rạc x (k) = (x 1 ,…, x n ) là một ký hiệu a i bất kỳ thuộc nguồn A được gửi đi ở thời điểm t k . Tin x (k) có dạng: x (k) với xác suất xuất hiện p(x (k) ). o Thực hiện phép biến đổi tổng quát trong một hệ thống truyền tin là phép biến đổi có cấu trúc thống kê của nguồn, ie, biến đổi cấu trúc thống kê của tập tin ở đầu vào khâu hệ thống trở thành một tập tin mới với một cấu trúc thống kê mong muốn ở đầu ra. {A,p(a)} {B,p(b)} , ε quy luật biến đổi o {A,p(a)}: nguồn vào với bộ chữ A, có phân bố xác suất p(a) o {B,p(b)}: nguồn ra với bộ chữ B, có phân bố xác suất p(b) 4 ε 3.2 LƯỢNG TIN RIÊNG, LƯỢNG TIN TƯƠNG HỖ, LƯỢNG TIN CÓ ĐiỀU KiỆN  Lượng tin riêng:  Ở đầu vào của kênh là các tin , các tin trong quá trình truyền lan trong kênh bị nhiễu phá hoại, làm cho sự chuyển đổi từ nguồn X sang nguồn Y không phải là 1-1 . Một tin có thể chuyển thành một tin ở đầu ra của kênh với những xác suất chuyển đổi khác nhau tùy thuộc theo tính chất nhiễu trong kênh.  Bài toán truyền tin trong trường hợp này đặt ra là: Cho biết cấu trúc thống kê của nguồn X, tính chất tạp nhiễu của kênh biểu thị dưới dạng các xác suất chuyển đổi của tin, khi nhận được một tin , hãy xác định tin tương ứng của nguồn X.  Lời giải tìm được sẽ có dạng: Với tin nhận được, tin nào của nguồn X có nhiều khả năng đã được phát đi nhất. 5 )( 1 log)( i i xp xI = Xx i ∈ Xx i ∈ Yy j ∈ Yy j ∈ Yy j ∈ Để giải quyết vấn đề, phải qua hai bước: 1. Tính các lượng tin về một tin bất kỳ chứa trong tin nhận được, lượng tin đó gọi là lượng tin tương hỗ giữa x i và y i . . Muốn xác định lượng tin tương hỗ ta phải tìm lượng tin ban đầu có trong x i , sau khi thực hiện quá trình truyền tin ta tìm lượng tin còn lại trong x i , hiệu hai lượng tin này cho ta thấy lượng tin đã truyền từ x i sang y i . . Lượng tin có điều kiện, trong quá trình truyền tin, là lượng tin đã bị tạp nhiễu phá hủy không đến đầu thu được: . Lượng tin tương hỗ: = 2. Đem so sánh các lượng tin tương hỗ với nhau, và lượng tin nào cực đại sẽ cho biết tin x i có khả năng nhiều nhất chuyển thành y i trong quá trình truyền tin. 6 Xx i ∈ Yy j ∈ )|( 1 log)|( ji ji yxp yxI = )( )|( log)|()(),( i ji jiiji xp yxp yxIxIyxI =−=       ∑ j jijji yxpypyxp )|()(/)|(log TÍNH CHẤT CỦA LƯỢNG TIN 7  Tính chất 1: I(x i ) ≥ 0  Tính chất 2: I(x i ) ≥ I(x i ,y j )  Tính chất 3: I(x i y j ) = I(x i ) + I(y j ) - I(x i ,y j )  Khi cặp x i , y j độc lập thống kê với nhau thì I(x i ; y i ) = 0 Lượng tin trung bình 8  Lượng tin trung bình: là lượng tin tức trung bình chứa trong một ký hiệu bất kỳ của nguồn đã cho:  Lượng tin tương hỗ trung bình:  Lượng tin riêng trung bình có điều kiện:  Quan hệ giữa các lượng tin trung bình: )( )/( log),(),( ; xp yxp yxpYXI YyXx ∑ ∈∈ = ∑ − −== XY yxpyxpXIYXH )/(log),()()/( )(log)()()()( i Aa i Aa ii apapaIapAI ii ∑∑ ∈∈ −== )|()(),( YXIXIYXI −= 0),(),( ≥= XYIYXI Ví dụ Bài toán: Cho một nguồn tin U bao gồm 8 tin U = {u 0 , u 1 , u 2 , u 3 , u 4 , u 5 , u 6 , u 7 }, với các xác suất xuất hiện như sau: Hãy cho biết lượng tin riêng của mỗi tin và lượng tin trung bình của nguồn này trong đơn vị bits. Giải: Lượng tin riêng của mỗi tin là p(u 0 ) p(u 1 ) p(u 2 ) p(u 3 ) p(u 4 ) p(u 5 ) p(u 6 ) p(u 7 ) 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16 I(u 0 ) I(u 1 ) I(u 2 ) I(u 3 ) I(u 4 ) I(u 5 ) I(u 6 ) I(u 7 ) 2 2 3 3 4 4 4 4 Ví dụ (tt)  Lượng tin trung bình của nguồn là I(U) = (1/4) × 2 + (1/4) × 2 + (1/8) × 3 + (1/8) × 3 + (1/16) × 4 + (1/16) × 4 + (1/16) × 4 + (1/16) × 4 = 2,75 bits.  Điều này nói lên một ý nghĩa quan trọng rằng, chúng ta có thể biểu diễn mỗi tin trong nguồn U bằng một chuỗi có chiều dài trung bình là 2,75 bits. Nó sẽ tốt hơn so với trong trường hợp chúng ta không chú ý đến cấu trúc thống kê của nguồn. Lúc đó chúng ta sẽ biểu diễn mỗi tin trong 8 tin của nguồn bằng các chuỗi có chiều dài là 3 bits. [...]...Tc lp tin Tc thit lp tin ca ngun: Lng thụng tin ngun lp c trong mt n v thi gian: R= n0.H(X) (bps) + H(X): entropi ca ngun + n0 : s ký hiu c lp trong mt n v thi gian Vớ d: Cho ngun tin vi xỏc sut tng ng l: X = { x1 , x 2 , x3 , x 4 } p ( x1 ) = 1 / 2; p( x 2 ) = 1 / 4; p( x3 ) = 1 / 8; p ( x 4 ) = 1 / 8 Nu cú mt tin gm cỏc ký hiu: H (X ) = 7 /8 cú H(x) cc i... 1/8 x1 x1 x 4 x 2 x1 x 2 x1 x3 11 x1 = y 0 Vớ d (tt): x 2 = y1 y 0 Mun vy ta mó hoỏ ngun X trờn thnh ngun Ynh sau: x3 = y1 y1 y 0 x 4 = y1 y1 y1 y 0 y 0 y1 y1 y1 y1 y 0 y 0 y1 y 0 y 0 y1 y1 y 0 Ta c dóy cỏc ký hiu ca tin : Ngun ny cú : H (Y ) = 1 z1 = y 0 y 0 z 2 = y 0 y1 Mó hoỏ ngun ny thnh ngun Z vi cỏc ký hiu sau: Ta c dóy cỏc ký hiu ca tin : z1 z 4 z 4 z1 z 3 z 2 z 3 z 3 = y1 y 0 z 4 = y1 y1 Xỏc... 2 m vn m bo lng tin trong cỏc bn tin c bo ton v cú cựng giỏ tr l 14 (bit) 12 Thụng lng kờnh truyn Thụng lng ca kờnh C l lng thụng tin ti a kờnh cho qua i trong mt n v thi gian m khụng gõy sai nhm (C(bps)) Thụng thng R < C, R tin ti gn C ta dựng phộp mó hoỏ thng kờ ti u (sao cho R=C) tng Entrụpi Thụng lng kờnh ri rc khụng nhiu: C = Rmax = n0 H(X)max (bps) Rmax tc lp tin u vo, lng tin ny nhn c nguyờn... mó hiu chng n nhiu 13 Thụng lng kờnh truyn (tt) Thụng lng kờnh ri rc cú nhiu: R = noI(X;Y) = n0[H(X)-H(X/Y)] (bps) Tc lp tin cc i trong kờnh cú nhiu: C = Rmax = n0[H(X)-H(X/Y)]max (bps) d tng i cũn cú th c xỏc nh theo cụng thc: R rc = 1 C Hiu qu s dng kờnh: c = 1 rc 14 3. 4 Entropi ca ngun ri rc Khỏi nim: Khi ta nhn c mt tin ta s nhn c mt lng tin trung bỡnh, ng thi bt ng v tin ú cng ó c gii... cũn li bng khụng Ngha l ngun cú mt tin luụn c xỏc nh, nh vy giỏ tr thụng tin ca ngun bng khụng 3 Entropi cc i khi xỏc sut xut hin ca cỏc ký hiu bng nhau Chng minh: Cỏc giỏ tr lm cc i hm Vi iu kin - Cỏc giỏ tr cng chớnh l cỏc giỏ tr lm cc i hm H ( X ) = p ( xly n v l x )v ) log p ( bớt nu bng nhau vi tt c cỏc tin ca ngun, v khi ú giỏ tr cc i ca H(x) s l ngun cú m tin x X p( x) = 1 p( x) xX - Nu ngun... lp thng kờ : V ta cng chng minh c: I ( X ,Y ) = 0 H (X ) H (X | Y ) H (Y ) H (Y | X ) 18 Vớ d: Cho s truyn tin: Bit : 1 3 p ( x0 ) = ; p ( x1 ) = 4 4 x0 p( y 0 | x0 ) p( y1 | x0 ) x1 y0 p ( y 0 | x1 ) p ( y1 | x1 ) y1 p ( y0 | x0 ) = p( y1 | x1 ) = 2 / 3; p( y1 | x0 ) = p( y0 | x1 ) = 1 / 3 + Tớnh Entropi u vo ca kờnh: H ( X ) = ( p( x0 ) log p( x0 ) + p ( x1 ) log p ( x1 )) = 0,81 + Tớnh Entropi... Entropi ca ngun ri rc Khỏi nim: Khi ta nhn c mt tin ta s nhn c mt lng tin trung bỡnh, ng thi bt ng v tin ú cng ó c gii thoỏt, cho nờn bt ng v lng tin v ý ngha vt lý trỏi ngc nhau, nhng v s o thỡ ging nhau v c xỏc nh theo cụng thc sau: 1 bt ng trung bỡnh ca mt tin thuc ngun (entropi ca ngun) c xỏc nh theo cụng thc H ( x) = log sau: p ( x) H ( X ) = p ( x) log p( x) x X 15 Entropi coự ủieu kieọn Khi... 0,5 83 H (Y ) = ( p ( y 0 ) log p ( y 0 ) + p ( y1 ) log p ( y1 )) = 0,98 19 Tớnh H(X,Y): H ( X ,Y ) = p dng cụng thc: p( xy) log p( xy ) x X ; yY p ( x0 y 0 ) = p ( x 0 ) p ( y 0 | x0 ) = 0,17 p ( x0 y1 ) = p( x0 ) p ( y1 | x0 ) = 0,08 p( x1 y0 ) = p ( x1 ) p ( y0 | x1 ) = 0,25 p ( x1 y1 ) = p ( x1 ) p ( y1 | x1 ) = 0,5 H ( X , Y ) = 1, 73 + Tớnh: H (X | Y) H ( X | Y ) = H ( X , Y ) H (Y ) = 1, 73 ... tin ca ngun, v khi ú giỏ tr cc i ca H(x) s l ngun cú m tin x X p( x) = 1 p( x) xX - Nu ngun cú m kýp (x)ng xỏc sut thỡ xỏc sut xut hin mt ký hiu l 1/m khi ú: hiu log 2 m H ( X ) = log m 17 3. 5 Mi quan h gia lng tin tng h trung bỡnh v Entropi I ( X ,Y ) = xX ; yY = p( x | y ) p ( x, y ) log = p( x) p( x, y)(log p( x | y) log p( x)) x X ; yY p( x, y) log p( x | y) p( x, y) log p( x) xX , yY xX . LÝ THUYẾT THÔNG TIN Bùi Văn Thành thanhbv@uit.edu.vn Tháng 7 năm 20 13 1 Trường Đại Học Công Nghệ Thông Tin KHOA MẠNG & TRUYỀN THÔNG Chương 3 L ng tin, ượ Entropi ngu n r i r cồ ờ ạ 2 3. 1. truyền tin ta tìm lượng tin còn lại trong x i , hiệu hai lượng tin này cho ta thấy lượng tin đã truyền từ x i sang y i . . Lượng tin có điều kiện, trong quá trình truyền tin, là lượng tin đã. bước: 1. Tính các lượng tin về một tin bất kỳ chứa trong tin nhận được, lượng tin đó gọi là lượng tin tương hỗ giữa x i và y i . . Muốn xác định lượng tin tương hỗ ta phải tìm lượng tin ban đầu