Đang tải... (xem toàn văn)
Chương 4 của bài giảng Lý thuyết thông tin trình bày những kiến thức về mã sửa sai. Trong chương này chúng ta sẽ tìm hiểu về khoảng cách Hamming, chận Hamming và kênh nhị phân đối xứng. Mời các bạn cùng tham khảo để nắm bắt các nội dung chi tiết.
Chương 4: Mã sửa sai 4.1 Khoảng cách Hamming chận Hamming Huỳnh Văn Kha 9/30/2010 Giới thiệu • Ở chương ta xét kênh nhị phân đối xứng • Các input kênh chọn từ tập từ mã nhị phân chiều dài n, nghĩa tập dãy n ký tự • Giả sử từ mã xuất với xác suất • Do lỗi xảy vị trí chuỗi input nên output tập 2n dãy nhị phân độ dài n • Bài tốn tìm phương án giải mã tối ưu cho mã nói Huỳnh Văn Kha 9/30/2010 Giới thiệu • Ký hiệu từ mã chuỗi output w1, w2, …., ws v1, v2, … • Phương án giải mã tối ưu phương án làm cực tiểu xác suất sai • Khi nhận v, ta biết, phương án giải mã tối ưu chọn w cho p(w|v) cực đại • Nhưng từ mã có xác suất nên cực đại p(w|v) tương đương với việc cực đại p(v|w) Huỳnh Văn Kha 9/30/2010 Khoảng cách Hamming • Ta định nghĩa khoảng cách d(v1, v2) hai dãy nhị phân n ký tự v1, v2 số vị trí mà ký tự mã v1, v2 khác • Ví dụ: v1 = 011011, v2 = 110001 Thì d(v1, v2) = • Nếu input w output v kênh truyền sai d(w, v) ký tự Do xác suất truyền sai kênh β, Huỳnh Văn Kha 9/30/2010 Cực ñại p(v|w) • Ta so sánh p(v|w1) p(v|w2) • Đặt d1 = d(w1,v), d2 = d(w2,v), ta có • Chú ý, kênh nhị phân đối xứng ta ln giả sử 0< β < ½, (1 - β)/β >1 Vậy p(v|w1) > p(v|w2) d1 < d2 • Vậy p(v|w) cực đại d(v,w) cực tiểu Huỳnh Văn Kha 9/30/2010 ðịnh lý 4.1 Giả sử mã cho kênh nhị phân đối xứng gồm s từ mã độ dài n có xác suất Phương án giải mã tối ưu phương án làm cực tiểu khoảng cách Nghĩa với dãy v nhận được, giải mã chọn từ mã w cho khoảng cách d(w,v) nhỏ Nếu có nhiều cực tiểu chọn từ mã số khơng ảnh hưởng đến xác suất sai Huỳnh Văn Kha 9/30/2010 Ví dụ • Cho mã w1 = 00000 w2 = 10011 w3 = 11100 w4 = 01111 • Tìm phương án giải mã tối ưu nhận v = 01011, v’ = 00110? Huỳnh Văn Kha 9/30/2010 Tính chất khoảng cách Ta kiểm chứng khoảng cách Hamming metric, nghĩa thỏa tính chất sau a d(v1, v2) ≥ 0, d(v1, v2) = v1 = v2 b d(v1, v2) = d(v2, v1) c d(v1, v3) ≤ d(v1, v2) + d(v2, v3) Bất đẳng thức cuối bất đẳng thức tam giác • Do ta giải mã dãy v thành từ mã gần với v nên xuất khái niệm mã “tốt” mã có từ mã “ở xa” Huỳnh Văn Kha 9/30/2010 Bổ ñề 4.2 Gọi w1, w2, …, ws từ mã nhị phân chiều dài n, e số nguyên dương Giả sử d(wi, wj) ≥ 2e + 1, với i ≠ j Thì đó, truyền sai khơng q e bit sửa Nếu d(wi, wj) ≥ 2e, với i ≠ j, truyền sai khơng q e-1 bit sửa truyền sai e bit phát được, chưa sửa 10 Huỳnh Văn Kha 9/30/2010 Bổ ñề 4.2 Ngược lại, mã có tính chất truyền sai khơng q e bit sửa phải thỏa mãn d(wi, wj) ≥ 2e + 1, với i ≠ j Một mã có tính chất truyền sai không e-1 bit sửa được, truyền sai không e bit phát phải thỏa mãn d(wi, wj) ≥ 2e , với i ≠ j 11 Huỳnh Văn Kha 9/30/2010 Chứng minh bổ ñề 4.2 wi d(wi, wj) = 2e+1 wj wi wj d(wi, wj) = 2e • Giả sử w truyền chuỗi nhận v Xét w’ từ mã khác w • Đầu tiên giả sử khoảng cách cực tiểu hai từ mã 2e+1, ta có d(w,v) + d(w’,v) ≥ d(w,w’) ≥ 2e+1 12 Huỳnh Văn Kha 9/30/2010 Chứng minh bổ ñề 4.2 • Để giãi mã v thành w’ d(w,v) ≥ e + Nghĩa để giải mã sai phải truyền sai e + ký tự • Nếu khoảng cách hai từ mã 2e d(w,v) + d(w’,v) ≥ d(w,w’) ≥ 2e • Nếu sai e ký tự d(w’,v) = e giải mã thành w hay w’ được, nghĩa sai • Nếu sai e ký tự d(w,v) nhỏ giải mã • Chiều ngược lại tương tự 13 Huỳnh Văn Kha 9/30/2010 Chận Hamming Khi e lớn khoảng cách từ mã lớn dẫn tới số từ mã Câu hỏi đặt có nhiều từ mã mã sửa truyền sai không e ký tự Định lý 4.3: Nếu mã chứa s dãy nhị phân chiều dài n sửa sai truyền sai khơng q e ký tự, thì: 14 Huỳnh Văn Kha 9/30/2010 Chứng minh định lý 4.3 • Gọi từ mã w1, w2, …, ws Vẽ “mặt cầu” “tâm” wi “bán kính” e Mỗi “mặt cầu” chứa tất dãy nhị phân v thỏa d(wi,v) ≤ e • Do mã sửa truyền sai e ký tự nên “mặt cầu” rời • Số dãy nhị phân mặt cầu • Do 15 Huỳnh Văn Kha 9/30/2010 Chú ý • Cố định e, n gọi s số nguyên lớn thỏa điều kiện định lý 4.3 chưa tồn mã sửa sai e ký tự chứa s từ mã chiều dài n • Ví dụ, e = 1, n = ta có 2n/(1+n) = 16/5 số nguyên lớn thỏa s = • Tuy nhiên khơng có mã sửa sai ký tự mà có số từ mã nhiều (kiểm tra) • Vậy chận Hamming điều kiện cần chưa đủ cho tồn của mã sửa sai e ký tự ... hưởng đến xác suất sai Huỳnh Văn Kha 9/30/2010 Ví dụ • Cho mã w1 = 00000 w2 = 10011 w3 = 11100 w4 = 01111 • Tìm phương án giải mã tối ưu nhận v = 01011, v’ = 00110? Huỳnh Văn Kha 9/30/2010 Tính chất... (1 - β)/β >1 Vậy p(v|w1) > p(v|w2) d1 < d2 • Vậy p(v|w) cực đại d(v,w) cực tiểu Huỳnh Văn Kha 9/30/2010 ðịnh lý 4.1 Giả sử mã cho kênh nhị phân đối xứng gồm s từ mã độ dài n có xác suất Phương... truyền sai kênh β, Huỳnh Văn Kha 9/30/2010 Cực đại p(v|w) • Ta so sánh p(v|w1) p(v|w2) • Đặt d1 = d(w1,v), d2 = d(w2,v), ta có • Chú ý, kênh nhị phân đối xứng ta giả sử 0< β < ½, (1 - β)/β >1 Vậy