Chương 5: Mã hóa nguồn Cơ sở Lý thuyết Truyền tin-2004 Hà Quốc Trung1 Khoa Công nghệ thông tin Đại học Bách khoa Hà nội 1/ 64 Chương 5: Mã hóa nguồn Mã hóa nguồn rời rạc khơng nhớ Mã hóa cho nguồn dừng rời rạc Cơ sở lý thuyết mã hóa nguồn liên tục Các kỹ thuật mã hóa nguồn liên tục Chương 5: Mã hóa nguồn 2/ 64 Khái niệm chung Là phép biến đổi cho nguồn tin nguyên thủy Đầu vào phép biến đổi là: nguồn tin rời rạc nguồn tin liên tục Trong hai trường hợp mục đích phép mã hóa nguồn biểu diễn thơng tin với tài nguyên tối thiểu Các vấn đề cần nghiên cứu Mã hóa nguồn rời rạc Mã hóa nguồn liên tục Nén liệu Chương 5: Mã hóa nguồn Một số khái niệm chung 3/ 64 1.2.Mã hóa nguồn Nguồn thơng tin tạo đầu cách ngẫu nhiên Nguồn rời rạc: tạo chuỗi ký hiệu ngẫu nhiên Nguồn không nhớ: ký hiệu xuất cách độc lập với Nguồn có nhớ: ký xuất phụ thuộc vào ký hiệu xuất trước đo Nguồn dừng mối liên hệ thống kê thời điểm không phụ thuộc vào thời gian Với nguồn rời rạc, vấn đề thay đổi bảng chữ phân bố xác suất để giảm bớt số lượng ký hiệu cần dùng Nguồn liên tục tạo tín hiệu, thể trình ngẫu nhiên Nguồn liên tục biến thành chuỗi biến ngẫu nhiên (liên tục) phép lấy mẫu Lượng tử hóa cho phép biến đổi biến ngẫu nhiên thành biến ngẫu nhiên rời rạc, với sai số định Các kỹ thuật mã hóa nguồn tương tự Chương 5: Mã hóa nguồn Một số khái niệm chung 4/ 64 Mã hóa nguồn rời rạc khơng nhớ Mã hóa nguồn rời rạc khơng nhớ Mơ hình tốn học nguồn thơng tin Mã hóa với từ mã có độ dài cố định Mã hóa với từ mã có độ dài thay đổi Mã hóa cho nguồn dừng rời rạc Cơ sở lý thuyết mã hóa nguồn liên tục Các kỹ thuật mã hóa nguồn liên tục Chương 5: Mã hóa nguồn Mã hóa nguồn rời rạc khơng nhớ 5/ 64 Mơ hình toán học nguồn rời rạc Với nguồn rời rạc cần quan tâm Entropy nguồn tin nguyên thủy Entropy nguồn sau mã hóa Hiệu phép mã hóa Giới hạn hiệu mã hóa Xét nguồn rời rạc không nhớ, sau thời gian ts tạo ký hiệu xi L ký hiệu với xác suất xuất P(i) Để cho đơn giản, xét trường hợp mã hiệu nhị phân Khi đó: lượng tin=lượng bít= số ký hiệu nhị phân Với mã hiệu có số lớn 2, mở rộng kết thu Chương 5: Mã hóa nguồn Mã hóa nguồn rời rạc khơng nhớ 6/ 64 2.2.Mã hóa với từ mã có độ dài cố định Nguyên tắc: Mã hóa ký hiệu nguồn thành chuỗi ký hiệu mã có độ dài xác định R Để đảm bảo phép mã hóa 1-1, ký hiệu nguồn tương ứng với chuỗi ký hiệu nhị phân Số lượng chuỗi nhị phân phải lớn số ký hiệu nguồn 2R ≥ L hay R ≥ log2 L Nếu L lũy thừa giá trị nhỏ R log2 L Nếu L không lũy thừa 2, giá trị log2 L + Như R ≥ H(X ) Hiệu suất phép mã hóa H(X ) R ≤1 Tốc độ lập tin đầu lớn tốc độ lập tin đầu vào Chương 5: Mã hóa nguồn Mã hóa nguồn rời rạc khơng nhớ 7/ 64 Tăng hiệu mã hóa Hiệu mã hóa đạt giá trị cực đại L lũy thừa Nguồn tin ban đầu đẳng xác suất Nếu nguồn tin ban đầu đẳng xác suất, L không lũy thừa 2, số lượng ký hiệu nhỏ H(X ) + Hiệu nguồn H(X ) H(X ) ≥ H(X ) + H(X ) + Để tăng hiệu quả, cần tăng lượng tin cho lần mã hóa: mã hóa lúc J ký hiệu Hiệu mã hóa JH(X ) JH(X ) ≥ JH(X ) + JH(X ) + Biểu thức tiến tới J tiến tới vô Kết cho nguồn đẳng xác suất Phép mã hóa khơng có sai số, chuỗi ký hiệu nguồn ln tương ứng với từ mã Chương 5: Mã hóa nguồn Mã hóa nguồn rời rạc khơng nhớ 8/ 64 Tăng hiệu mã hóa có sai số Trong trường hợp nguồn khơng đẳng xác suất, để tiệm cận với hiệu tối đa (1), cần chấp nhận sai số Xét LJ chuỗi ký hiệu nguồn có độ dài J, mã hóa chuỗi ký hiệu nhị phân có độ dài R, 2R < LJ Như LJ − 2R tổ hợp ký hiệu nguồn khơng có từ mã tương ứng Sử dụng 2R − từ mã mã hóa − chuỗi ký hiệu nguồn Các chuỗi ký hiệu nguồn cịn lại (chọn chuỗi có xác suất nhỏ nhất), mã hóa từ mã chung Nếu nguồn phát chuỗi ký hiệu trùng với chuỗi ký hiệu có xác suất thấp, có sai số Gọi xác suất sai số Pe Liên quan Pe , R, J? Chương 5: Mã hóa nguồn Mã hóa nguồn rời rạc khơng nhớ 9/ 64 Định lý mã hóa nguồn 01 Theorem Cho U nguồn tin có Entropy hữu hạn Mã hóa khối J ký hiệu nguồn thành từ mã N ký hiệu nhị phân số dương Xác suất sai số nhỏ tùy ý R= N ≥ H(U) + J R= N ≤ H(U) − J Ngược lại, sai số tiến tới J tiến tới vô hạn Tốc độ lập tin đầu ln lớn đầu vào Chương 5: Mã hóa nguồn Mã hóa nguồn rời rạc khơng nhớ 10/ 64 4.3.Lượng tử hóa vơ hướng (Tiếp) Để tối ưu hóa, sau nguồn cần mã hóa mã hóa thống kê (Fano-Shannon-Huffman) Có thể chọn mức cho ký hiệu đầu đẳng xác suất: phân miền giá trị đầu vào đẳng xác suất Chương 5: Mã hóa nguồn Cơ sở lý thuyết mã hóa nguồn liên tục 50/ 64 Ví dụ: nguồn có phân bố Biên độ đầu vào dao động khoảng −A, A, sai số f = |x − x| Cần giải hệ f (x k − xk ) = f (x k+1 − xk ) xk f (x k − x) p(x).dx = xk−1 Vậy cần chia đầu vào thành L khoảng nhau, khoảng lấy giá trị điểm làm mức tín hiệu Chương 5: Mã hóa nguồn Cơ sở lý thuyết mã hóa nguồn liên tục 51/ 64 Ví dụ: nguồn có phân bố (Tiếp) Sai số tối ưu L xk f (x k − x) p(x).dx = D= k=1xk−1 A L Để mã hóa tối ưu cần chọn L lũy thừa A Nếu cho trước D tốc độ mã hóa tối thiểu log2 D A lữy thừa hoặc1 + log2 D khơng Chương 5: Mã hóa nguồn Cơ sở lý thuyết mã hóa nguồn liên tục A D 52/ 64 4.4.Lượng tử hóa vector Trong lượng tử hóa vơ hướng miền giá trị biến ngẫu nhiên đầu vào chia thành nhiều miền Tập giá trị miền tương ứng với mức tín hiệu đầu ra, đảm bảo khoảng cách ngắn tới biên (trung tâm„ trọng tâm) Chỉ dùng cho biến ngẫu nhiên liên tục-> nguồn dừng, khơng nhớ Có thể tổng quát hóa khái niệm miền giá trị cho không gian n chiều Xét lúc nhiều biến ngẫu nhiên, biến ngẫu nhiên tương ứng với chiều Miền trở thành ô không gian n-chiều Mức tín hiệu đầu tín hiệu rời rạc ngẫu nhiên nhiều chiều, biểu diễn trung tâm Chương 5: Mã hóa nguồn Cơ sở lý thuyết mã hóa nguồn liên tục 53/ 64 4.4.Lượng tử hóa vector Xét n biến ngẫu nhiên nhiều chiều đặc trưng cho mẫu nguồn liên tục Biểu diễn biến ngẫu nhiên không gian n chiều Chia không gian n chiều thành L ô Ck Các tín hiệu đầu vào lượng tử hóa theo phép mã hóa X = Q(X ) Xk giá trị đầu tương ứng với tín hiệu đầu vào Ck Chương 5: Mã hóa nguồn Cơ sở lý thuyết mã hóa nguồn liên tục Ví dụ: Lượn tử hóa vector chiều Khơng gian hai chiều chia thành có dạng hình lục giác 54/ 64 Sai số phép lượng tử hóa vector L P(X ∈ Ck )E d(X , X k ) |X ∈ Ck = D= k=1 L P(X ∈ Ck ) k=1 d(X , X k )p(X )dX X ∈Ck Để tối thiểu D Dạng ô phụ thuộc vào hàm phân bố xác suất đồng thời Dạng ô phụ thuộc vào hàm khoảng cách Q(X ) = Xk ⇔ D(X , X k ) ≤ D(X , X j ), k = j, ≤ j ≤ n Các mức tín hiệu đầu tương ứng trung tâm ô Dk = E d(X , X k ) |X ∈ Ck = Chương 5: Mã hóa nguồn Cơ sở lý thuyết mã hóa nguồn liên tục d(X , X k )p(X )dX X ∈Ck 55/ 64 Sai số-tốc độ lập tin Hàm sai số d(X , X ) = n n (xk − x k )2 k=1 Tốc độ lập tin R= H(X ) n L H(X ) = − p(X i ) log p(X i ) i=1 Sai số-tốc độ lập tin Dn (R) = E d(X , X ) Q(X ) Hàm sai số-tốc độ lập tin D(R) = lim Dn (R) Chương 5: Mã hóa nguồn Cơ sở lý thuyết mã hóa nguồn liên tục n→∞ 56/ 64 Các kỹ thuật mã hóa nguồn liên tục Mã hóa nguồn rời rạc khơng nhớ Mã hóa cho nguồn dừng rời rạc Cơ sở lý thuyết mã hóa nguồn liên tục Các kỹ thuật mã hóa nguồn liên tục Mã hóa tín hiệu miền thời gian Mã hóa tín hiệu miền tần số Mã hóa mơ hình nguồn Chương 5: Mã hóa nguồn Các kỹ thuật mã hóa nguồn liên tục 57/ 64 5.1.Mã hóa tín hiệu miền thời gian Biểu diễn tín hiệu theo miền thời gian Lấy mẫu tín hiệu theo tốc độ Nyquist, tần số fs Các mẫu lượng tử hóa Chương 5: Mã hóa nguồn Các kỹ thuật mã hóa nguồn liên tục 58/ 64 Điều chế mã xung (Pulse Code Modulation ) Mỗi mẫu tín hiệu mã hóa 2R mức tín hiệu Tốc độ thơng tin nguồn sau mã hóa Rfs bps Giá trị tín hiệu đầu xn = xn + qn qn nhiễu lượng tử (nhiễu cộng) Trong trường hợp mức đều, mật độ phân bố xác suất đều, sai số lượng tử tối thiểu (xem ví dụ trên) : Bộ lượng tử hóa đồng Trong trường hợp mật độ phân bố xác suất không đều, cần chọn mức tương ứng : Bộ lượng tử hóa khơng đồng Trong thực tế, với tín hiệu tiếng nói, thường sử dụng mức lượng tử theo loga Chương 5: Mã hóa nguồn Các kỹ thuật mã hóa nguồn liên tục 59/ 64 Mã hóa mã xung vi sai Nếu tốc độ lấy mẫu cao, mẫu có liên hệ với Dự đốn giá trị mẫu? Liên hệ thơng thường: hàm số liên tục, đạo hàm hữu hạn Giá trị mẫu sau sai khác với giá trị mẫu trước khoảng xác định Khơng mã hóa giá trị tín hiệu, mã hóa sai khác so với giá trị mẫu trước Xa nữa, mã hóa mẫu dựa vào p mẫu trước Chương 5: Mã hóa nguồn Các kỹ thuật mã hóa nguồn liên tục 60/ 64 Ví dụ DPCM Chương 5: Mã hóa nguồn Các kỹ thuật mã hóa nguồn liên tục 61/ 64 PCM DPCM thích nghi PCM DPCM thích hợp với nguồn dừng (phân bố thống kê biến ngẫu nhiên không thay đổi theo thời gian) Trong thực tế nguồn tin dừng tuyệt đối Phân bố thống kê nguồn tin thực tế thay đổi chậm (nguồn gần dừng) Có thể thiện PCM DPCM cho phù hợp với nguồn tin đó: thay đổi thông số PCM DPCM PCM: thay đổi biên độ (thay đổi khoảng cách mức) DPCM: Thay đổi thơng số dự đốn Chương 5: Mã hóa nguồn Các kỹ thuật mã hóa nguồn liên tục 62/ 64 5.2.Mã hóa tín hiệu miền tần số Mã hóa băng Mã hóa hình ảnh tiếng nói Phân tích thơng tin đầu vào theo tần số Chia thành nhiều dải Mã hóa độc lập dải Ví dụ: mã hóa tiếng nói Phần tần số thấp chiếm nhiều lượng phần tần số cao Phần tần số thấp mã hóa số bit Mã hóa biến đổi thích nghi Các mẫu chia thành nhiều khung Các khung biến đổi sang miền tần số truyền (giống phương pháp trên) Khi nhận khung này, biến đổi ngược lại Tùy theo thông số phổ, phổ quan trọng mã hóa nhiều bít Phép biến đổi thường phép biến đổi Fourier Chương 5: Mã hóa nguồn Các kỹ thuật mã hóa nguồn liên tục 63/ 64 5.3.Mã hóa mơ hình nguồn Mơ hình hóa nguồn tin: sử dụng số tham số (là phản ứng nguồn tin với tín hiệu đầu vào định) Mã hóa tham số Giải mã để thu tham số Phục hồi tín hiệu ban đầu Mơ hình hay dùng mơ hình tuyến tính Chương 5: Mã hóa nguồn Các kỹ thuật mã hóa nguồn liên tục 64/ 64 ... thuật mã hóa nguồn liên tục Chương 5: Mã hóa nguồn Cơ sở lý thuyết mã hóa nguồn liên tục 38/ 64 4.1.Khái niệm Chương 5: Mã hóa nguồn Cơ sở lý thuyết mã hóa nguồn liên tục 39/ 64 4.1.Khái niệm Nguồn. . .Chương 5: Mã hóa nguồn Mã hóa nguồn rời rạc khơng nhớ Mã hóa cho nguồn dừng rời rạc Cơ sở lý thuyết mã hóa nguồn liên tục Các kỹ thuật mã hóa nguồn liên tục Chương 5: Mã hóa nguồn 2/... dài cố định Mã hóa với từ mã có độ dài thay đổi Mã hóa cho nguồn dừng rời rạc Cơ sở lý thuyết mã hóa nguồn liên tục Các kỹ thuật mã hóa nguồn liên tục Chương 5: Mã hóa nguồn Mã hóa nguồn rời rạc