slide bài giảng lý thuyết thông tin chương 4 bùi văn thành mã hóa nguồn tin

33 2K 1
slide bài giảng lý thuyết thông tin chương 4 bùi văn thành mã hóa nguồn tin

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

LÝ THUYẾT THÔNG TIN Bùi Văn Thành thanhbv@uit.edu.vn Tháng 7 năm 2013 1 Trường Đại Học Công Nghệ Thông Tin KHOA MẠNG & TRUYỀN THÔNG Chương 4 LÝ THUYẾT MÃ MÃ HÓA NGUỒN 2 Mã hóa nguồn tin Trương Hải Bằng-Lý Thuyết Thông tin-bangth@uit.edu.vn 3 1. Khái niệm mã và điệu kiện thiết lập mã. 2. Điều kiện để mã phân tách được. 3. Mã thống kê tối ưu. Giới thiệu Trương Hải Bằng-Lý Thuyết Thông tin-bangth@uit.edu.vn 4  Trong các hệ thống truyền tin, nguồn nhận thường tập hợp các tin mà bên phát dùng để lập nên các bản tin. • Các tin thường sẽ được ánh xạ (mã hóa) thành một dạng biểu diễn khác thuận tiện hơn để phát đi. • Ví dụ: Xét một nguồn tin A={a,b,c,d} chúng ta có thể thiết lặp các cặp ánh xạ như sau từ A vào tập các chuỗi {0,1} a → 00 c → 10 b → 01 d → 11 Vậy để phát đi bản tin cbab, ta phải phát đi tập tin 10010001. Khi nguồn nhận nhận được chuỗi này, thì sẽ xác định được bản tin là cbab. Mã hiệu và những thông số cơ bản  Mã hiệu (code): Mã hiệu là tập hợp hữu hạn các ký hiệu và phép ánh xạ các tin/bản tin của nguồn tin thành các dãy ký hiệu tương ứng. Tập các ký hiệu và phép ánh xạ này thường sẽ đáp ứng các yêu cầu mà hệ thống truyền tin đặt ra. • Cơ số mã: Tập các ký hiệu mã dùng để biểu diễn gọi là bảng ký hiệu mã, còn số các ký hiệu thì gọi là cơ số mã (m). Mã nhị phân m=2, mã tam phân m=3…  Mã hóa (Encoding): Mã hóa là quá trình dùng các ký hiệu mã để biểu diễn các tin của nguồn. • Biến đổi nguồi tin thành mã hiệu, biến đổi tập tin này thành tập tin khác có đặc tính thống kê theo yêu cầu. • Quá trình ngược lại của mã hóa được gọi là giải mã (Decoding). 5 Mã hiệu và những thông số cơ bản Trương Hải Bằng-Lý Thuyết Thông tin-bangth@uit.edu.vn  Từ mã (code wod), bộ mã: Từ mã là chuỗi kí hiệu mã biểu diễn cho tin của nguồn. Tập tất cả các từ mã tương ứng với các tin của nguồn được gọi là bộ mã. • Vì vậy có thể nói mã hóa là một phép biến đổi một – một giữa một tin của nguồn và một từ mã của bộ mã. • Trong một số trường hợp người ta không mã hóa mỗi tin của nguồn mà mã hóa một bản tin hay khối tin. Lúc này chúng ta có khái niệm mã khối. • Các từ mã thường được ký hiệu: u,v,w.  Chiều dài từ mã là số ký hiệu trong một từ mã (l). 6 Mã hiệu và những thông số cơ bản Trương Hải Bằng-Lý Thuyết Thông tin-bangth@uit.edu.vn • Chiều dài trung bình của bộ mã ( ): p(xi): xác suất xuất hiện tin xi của nguồn U được mã hóa. n : số từ mã tương ứng số tin của nguồn li : chiều dài từ mã tương ứng với tin xi của nguồn.  Phân loại mã: • Một bộ mã được gọi là mã đều nếu các từ mã của bộ mã có chiều dài bằng nhau. • Một bộ mã đều có cơ số mã m , chiều dài từ mã l và số lượng từ mã n bằng với ml thì được gọi là mã đầy, ngược lại thì gọi là mã vơi. • Ví dụ: Cho bảng ký hiệu mã A={0,1}, thì bộ mã X1 ={0,10,11} là mã không đều, bộ mã X2 ={00,10,11} là mã đều nhưng vơi, còn bộ mã X3 ={00,01,10,11} là mã đều và đầy. 7 l i n i i lxpl ∑ = = 1 )( Điều kiện phân tách mã 8 Ví dụ: • Xét bộ mã X1= {0,10,11} mã hóa cho nguồn A = {a,b,c}. • Giả sử bên phát phát đi bản tin x = abaac, lúc đó chuỗi từ mã tương ứng được phát đi là y = 0100011. • Vấn đề: bên nhận nhận được y, làm sao tìm x? • Để làm được quá trình này, bên nhận phải thực hiện một quá trình gọi là tách mã. Với chuỗi ký hiệu y trên, bên nhận chỉ có 1 khả năng tách mã: 0 | 10 | 0 | 0 | 11. Điều kiện phân tách mã (tt) 9 • Xét bộ mã X2= {0,10,01} mã hóa cho nguồn A trên. • Giả sử bên nhận nhận được chuỗi y = 01010. • Với chuỗi ký hiệu y trên, bên nhận có thể có 3 khả năng tách mã: 0 | 10 | 10; 01 | 0 | 10; 01 | 01 | 0. Vì vậy, bên nhận không biết chính xác bên phát đã phát mẫu tin abb, hay cab, hay cca. • Một mã như vậy không phù hợp cho việc tách mã và được gọi là mã không tách được (uniquely undecodable code). • Vì vậy, điều kiện để một mã được gọi là mã phân tách được (uniquely decodable code) là không tồn tại dãy từ mã này trùng với dãy từ mã khác của cùng bộ mã. Điều kiện phân tách mã (tt) 10 • Xét bộ mã X3= {010,0101,10100} mã hóa cho nguồn A trên. • Giả sử bên nhận nhận được chuỗi y = 01010100101. • Với chuỗi ký hiệu y trên, bên nhận chỉ có 1 khả năng tách mã: 0101 | 010 | 0101. Nhưng việc giải khó khăn hơn so với bộ mã X1. • Để nhận biết một bộ mã có phân tích được không, người thường dùng một công cụ được gọi là bảng thử mã. [...]... Shannon Cho  nguồn tin X  =  {a1,…,ak}  với  các  xác  suất  tương  ứng  p1,…,pk    Một  bộ  mã phân  tách  được  bất  kỳ  cho  nguồn này  với  cơ  số  mã m,  chiều dài trung bình từ mã sẽ thỏa: H (X ) l ≥ log m (trong đó H(X) là entropy của nguồn) Trương Hải Bằng -Lý Thuyết 17 Định lý mã hóa nguồn H(X ) H(X ) ≤l ≤ + 1 log m log m Đối với mã nhị phân: H ( X ) ≤ l ≤ H ( X ) +1 Bảng mã được gọi là tối ưu tuyệt đối khi:... đầu của từ mã khác) • Phương  pháp  Shanno  có  thể  mở  rộng  cho  trường hợp m>2 Trương Hải Bằng -Lý Thuyết 23 Mã hóa Shanno Ví dụ • Hãy mã hóa nguồn S = {a1,a2,a3,a4,a5,a6,a7} với các xác suất tương ứng 0. 34 ; 0.23 ; 0.19 ; 0.10 ; 0.07 ; 0.06 ; 0.01 i −1 Tin ai Xác  suất pi qi = ∑ p j Biểu diễn nhị  phân li = − log 2 pi Từ mã wi a1 0. 34 0 0,00 2 00 a2 0.23 0. 34 0,010… 3 010 a3 0.19 0.57 0,100… 3 100 a4... 0 1110 a6 0.05 1 1 1 1 1111 3 4 Từ mã 110 l • H (S) = 2.36; = 2.38; h = 2.36 / 2.38 = 99.17% Trương Hải Bằng -Lý Thuyết 26 Mã hóa Fano Ví dụ • Hãy mã hóa nguồn S = {a1,a2,a3,a4,a5,a6,a7,a8} với các xác suất tương ứng 0.23 ; 0.2 ; 0. 14 ; 0.12 ; 0.1 ; 0.09 ; 0.06 ; 0.06 wi ai pi 1 0 00 a1 0.23 0 0 0 1 01 a2 0.2 0 1 0 010 0. 14 1 0 0 100 a3 0. 14 0 1 1 011 a4 0.12 1 0 1 101 a4 0.12 1 0 0 100 a5 0.1 1 1 0... {w’1,…,w’k-1 } làm một mã tối ưu cho S’ thì mã nhận được theo qui tắc sau là mã tối ưu cho S wi = w’i 1 ≤ i ≤ k-2 wk-1 = w’(k-1) +”0” wk = w’(k-1)1+”1” 29 Phương pháp mã hóa tối ưu Huffman • Bộmãthỏamãn:  Đầuvào: tậpnguồnđãđượcthốngkê  Đầura:  Cáctừmãtươngứngcóchiềudàitốiưu,  cóđộlệchchuẩn(σ) cựctiểu l σ2  = 2 Trương Hải Bằng -Lý Thuyết Thông tin- bangth@uit.edu.vn 30 Giải thuật mã hóa tối ưu Huffman •... 0.10 0.76 0,1100… 4 1100 a5 0.07 0.86 0,1101… 4 1101 a6 0.06 0.93 0,11101… 5 11101 a7 0.01 0.99 0,1111110… 7 1111110 • H (S) = 2.37; j =1 l = 2.99; h = 2.37 / 2.99 = 81% Trương Hải Bằng -Lý Thuyết 24 M Mã hóa Fano hóa Fano • Cho nguồn tin X = {a1,…,ak} với các xác suất tương ứng p1, …,pk • Thuật toán mã hóa theo Fano như sau: • Sắp xếp các xác suất theo thứ tự giảm dần • Chia các tin làm hai nhóm có... còn lại một tin thì kết thúc • Từ mã ứng với mỗi tin là chuỗi bao gồm các kí hiệu theo thứ tự lần lượt được gán cho các nhóm có chứa xác suất Trương Hải Bằng -Lý Thuyết tương ứng của tin 25 Mã hóa Fano Ví dụ • Hãy mã hóa nguồn S = {a1,a2,a3,a4,a5,a6} với các xác suất tương ứng 0.3 ; 0.25 ; 0.2 ; 0.12 ; 0.08 ; 0.05 Phân nhóm lần Tin Xác  suất  1 2 a1 0.3 0 0 00 a2 0.25 0 1 01 a3 0.2 1 0 10 a4 0.12 1 1... Kết hợp pk và pk-1 để tạo thành một tập xác suất mới p1,…, pk-2, pk-1 + pk • B4: Lặp lại các bước trên cho tập tin mới này Trương Hải Bằng -Lý Thuyết 31 Ví dụ • Hãy mã hóa nguồn S = {a1,a2,a3,a4,a5,a6} với các xác suất tương ứng  0.3 ; 0.25 ; 0.2 ; 0.12 ; 0.08 ; 0.05 ai pi Lần 1 Lần 2 Lần 3 Lần 4 a1 0.3 0.3 0.3 0 .45 0.55 0 00 a2 0.25 0.25 0.25 0.3 0 .45 1 01 a3 0.2 0.2 0.25 a4 0.12 0.13 0 a5 0.08 0.12... 3 4 2 l2 Trương Hải Bằng -Lý Thuyết 3 4 wi 00 Nhận xét • Chú ý: Trong nhiều trường hợp có nhiều hơn một cách chia thành các nhóm có tổng xác suất gần bằng nhau, ứng với mỗi cách chia có thể sẽ cho ra các bộ mã có chiều dài trung bình khác nhau • Nhận xét: Phương pháp Fano thường cho kết quả tốt hơn phương pháp Shanno Trương Hải Bằng -Lý Thuyết 28 Phương pháp mã hóa tối ưu Huffman • Bổ đề: Cho nguồn tin. ..Bảng thử mã • Bản chất của bảng thử mã là phân tích những từ mã dài thành những từ mã ngắn đi đầu • Từ mã dài u1 có thể phân tích thành v11v12…v1kw11 trong đó v11, … v1k là các từ mã ngắn, còn w11 là phần còn lại của u1 • Nếu w11 cũng là một từ mã thì bộ mã này là không phân tách được vì chuỗi v11v12…v1kw11 có ít nhất hai cách phân tách thành các từ mã, đó là đó là u1 và v11,v12,…,v1k,w11...     = H(X) nên bảng mã W được gọi là mã thống kê tối ưu 19 Hiệu suất lập mã • Hiệu suất lập mã h được định nghĩa bằng tỉ số  của entropy của nguồn với chiều dài trung bình  của bộ mã được lập H(X ) h= l • h càng tiến tới 1, tính kinh tế của mã càng cao 20 Mã hóa Shanno Mã hóa Shanno • Cho nguồn tin X = {a1,…,ak} với các xác suất tương  ứng  p1, …,pk  • Thuật toán mã hóa theo Shanno như sau: • • Sắp xếp các xác suất theo thứi −tự . LÝ THUYẾT THÔNG TIN Bùi Văn Thành thanhbv@uit.edu.vn Tháng 7 năm 2013 1 Trường Đại Học Công Nghệ Thông Tin KHOA MẠNG & TRUYỀN THÔNG Chương 4 LÝ THUYẾT MÃ MÃ HÓA NGUỒN 2 Mã hóa nguồn tin Trương. bản Trương Hải Bằng -Lý Thuyết Thông tin- bangth@uit.edu.vn  Từ mã (code wod), bộ mã: Từ mã là chuỗi kí hiệu mã biểu diễn cho tin của nguồn. Tập tất cả các từ mã tương ứng với các tin của nguồn được. là bộ mã. • Vì vậy có thể nói mã hóa là một phép biến đổi một – một giữa một tin của nguồn và một từ mã của bộ mã. • Trong một số trường hợp người ta không mã hóa mỗi tin của nguồn mà mã hóa

Ngày đăng: 23/10/2014, 08:21

Từ khóa liên quan

Mục lục

  • Slide 1

  • Chương 4

  • Mã hóa nguồn tin

  • Giới thiệu

  • Mã hiệu và những thông số cơ bản

  • Mã hiệu và những thông số cơ bản

  • Mã hiệu và những thông số cơ bản

  • Điều kiện phân tách mã

  • Điều kiện phân tách mã (tt)

  • Điều kiện phân tách mã (tt)

  • Bảng thử mã

  • Bảng thử mã (tt)

  • Cách xây dựng bảng thử mã

  • Bảng thử mã (ví dụ)

  • Bảng thử mã (ví dụ)

  • Bảng thử mã (ví dụ)

  • Định lý Shannon

  • Định lý mã hóa nguồn

  • Ví dụ

  • Hiệu suất lập mã

Tài liệu cùng người dùng

  • Đang cập nhật ...

Tài liệu liên quan