Đang tải... (xem toàn văn)
Chương 2 cung cấp cho người học những kiến thức về bài toán mã trường hợp kênh không bị nhiễu. Trong chương này, chúng ta sẽ tập trung tìm hiểu về định lý cho bài toán mã trong trường hợp kênh không bị nhiễu. Mời các bạn cùng tham khảo để nắm bắt các nội dung chi tiết.
Chương 2: Bài tốn mã trường hợp kênh khơng bị nhiễu 2.3 Định lý cho toán mã trường hợp kênh không bị nhiễu Huỳnh Văn Kha 9/30/2010 Mở đầu • Biến ngẫu nhiên X có trạng thái x1, x2, …, xM với xác xuất tương ứng p1, p2, …, pM • Các từ mã cho x1, x2, …, xM W1, W2, …, WM có độ dài n1, n2, …, nM • Tập ký tự mã {a1, a2, …, aD} • Ta xây dựng mã để cực tiểu hóa chiều dài từ mã trung bình • Đầu tiên tìm chặn lớn nhất, sau tìm cách tiến gần tới chặn Và cuối xây dựng thuật tốn để tìm mã tối ưu Huỳnh Văn Kha 9/30/2010 ðịnh lý 2.4 (ðịnh lý cho tốn mã trường hợp kênh khơng bị nhiễu) Gọi chiều dài từ mã trung bình mã giải cho biến ngẫu nhiên X Khi đó: Dấu xảy khi: Huỳnh Văn Kha 9/30/2010 Chứng minh ñịnh lý 2.4 • Đặt: Thì qi có tổng Áp dụng mệnh đề 1.1 Huỳnh Văn Kha 9/30/2010 Chứng minh định lý 2.4 • Dấu bất đẳng thức (*) xảy khi: • Do mã giải nên Và ta • Tiếp theo, , Huỳnh Văn Kha 9/30/2010 Chứng minh định lý 2.4 • Ngược lại, từ (*) ta Nhưng Vậy , từ (**), ta Huỳnh Văn Kha 9/30/2010 Bộ mã tối ưu tuyệt đối • Bộ mã làm cho dấu định lý 2.4 xảy gọi mã tối ưu tuyệt đối • Ví dụ X x1 x2 Xác suất Từ mã 1/2 1/4 10 x3 x4 1/8 1/8 110 111 Huỳnh Văn Kha 9/30/2010 Bộ mã tối ưu tuyệt đối • Bộ mã tối ưu tuyệt đối phải thỏa mãn • Trong trường hợp tổng quát chưa xây dựng mã tối ưu tuyệt đối, ni chưa số ngun • Tuy nhiên, ta hồn tồn xây dựng mã tiền tố có chiều dài từ mã trung bình gần chận H(X)/log D khẳng định định lý sau Huỳnh Văn Kha 9/30/2010 ðịnh lý 2.5 Cho trước biến ngẫu nhiên X, với độ không chắn H(X) Khi tồn mã tiền tố cho X, cho chiều dài từ mã trung bình thỏa mãn 10 Huỳnh Văn Kha 9/30/2010 Chứng minh ñịnh lý 2.5 • Chọn ni số nguyên thỏa mãn • Khi log pi ≥ -ni log D, suy • Vậy theo định lý 2.2 tồn mã tiền tố ứng với ni chọn 11 Huỳnh Văn Kha 9/30/2010 Chứng minh định lý 2.5 • Tiếp theo, ta ước lượng chiều dài từ mã trung bình Nhân hai vế cho pi lấy tổng theo i ta • Và ta có kết luận định lý 12 Huỳnh Văn Kha 9/30/2010 Mã hóa theo block • Theo định lý 2.5, ta ln xây dựng mã tiền tố có chiều dài trung bình nhỏ chận H(X)/log D cộng thêm ký tự mã • Tuy nhiên ta làm tốt dùng phương pháp mã hóa theo block • Nghĩa ta khơng mã hóa trạng thái xi X, mà mã hóa nhóm s trạng thái • Nói cách khác, ta xây dựng mã cho vector ngẫu nhiên Y = (X1, X2, …, Xs) Trong Xi độc lập có phân phối xác suất X 13 Huỳnh Văn Kha 9/30/2010 Mã hóa theo block X p Từ mã x1 3/4 x2 1/4 Y=(X1, X2) x1x1 x1x2 x2x1 x2x2 p 9/16 3/16 3/16 1/16 Từ mã 10 110 111 14 Huỳnh Văn Kha 9/30/2010 Mã hóa theo block • Ta kiểm chứng việc mã hóa theo block làm giảm chiều dài từ mã trung bình cho trạng thái X • Theo định lý 2.5, ta xây dựng mã tiền tố cho Y với chiều dài từ mã trung bình thỏa • Nhưng Xi độc lập phân phối xác suất với X nên ta có: H(Y) = H(X1) + H(X2) + … + H(Xs) = sH(X) 15 Huỳnh Văn Kha 9/30/2010 Mã hóa theo block • Như • số ký tự mã trung bình để mã hóa trạng thái X • Từ ta thấy gần H(X)/log D tùy ý • Vậy H(X)/log D số ký tự mã trung bình (lấy D ký tự mã) cực tiểu dùng để mã hóa trạng thái X 16 Huỳnh Văn Kha 9/30/2010 Một ý nghĩa H(X) • Trong trường hợp D=2 , ta thấy H(X) số ký tự mã trung bình cực tiểu dùng để mã hóa trạng thái X • Một mã nhị phân tiền tố tương ứng với dãy câu hỏi “yes no” dùng để xác định trạng thái X • Trong số câu hỏi để xác định xi chiều dài ni từ mã tương ứng • Vậy H(X) xem số câu hỏi trung bình cực tiểu dùng để xác định trạng thái X 17 Huỳnh Văn Kha Ví dụ yes x1 no x2 x1? yes X x1 x2 x3 x4 x5 9/30/2010 Từ mã 00 01 11 100 101 yes x1 or x2? x4 x4? no yes no x4 or x5? no x5 x3 ... tối ưu Huỳnh Văn Kha 9/30/2010 ðịnh lý 2.4 (ðịnh lý cho toán mã trường hợp kênh không bị nhiễu) Gọi chiều dài từ mã trung bình mã giải cho biến ngẫu nhiên X Khi đó: Dấu xảy khi: Huỳnh Văn Kha 9/30/2010... minh định lý 2.4 • Đặt: Thì qi có tổng Áp dụng mệnh đề 1.1 Huỳnh Văn Kha 9/30/2010 Chứng minh ñịnh lý 2.4 • Dấu bất đẳng thức (*) xảy khi: • Do mã giải nên Và ta • Tiếp theo, , Huỳnh Văn Kha 9/30/2010... định định lý sau Huỳnh Văn Kha 9/30/2010 ðịnh lý 2.5 Cho trước biến ngẫu nhiên X, với độ khơng chắn H(X) Khi tồn mã tiền tố cho X, cho chiều dài từ mã trung bình thỏa mãn 10 Huỳnh Văn Kha 9/30/2010