Dung năng kênh và định lý mã kênh Thông tin tương hỗ (kênh rời rạc hữu hạn) • Y là lối ra kênh và là phiên bản noise của lối vào X. H(X) là Entropi đo độ bất định của X. Để đo bất định về X sau khi quan sát Y ta dùng Entropi điều kiện • Lấy trung bình trên toàn bộ Y: Ví dụ • Tính H (X|Y) đối với kênh nhị phân đối xứng có p(0)=p(1)=1/2,p là xác suất truyền • Xác suất điều kiện (lỗi kênh) p(Y=0| X=1)=p(Y=1|X=0)=p • p(Y=1|X=1)=p(Y=0|X=0)=1-p • Hiệu diễn tả lượng bất định ở lối vào được phân giải bởi quan sát lối ra. • Lượng này gọi là thông tin tương hỗ • Tính chất: Capacity kênh rời rạc • Xét kênh không nhớ rời rạc lối vào X lối ra Y • Thông tin tương hỗ không những phụ thuộc kênh mà còn phụ thuộc p(x j ), tức là phụ thuộc cách dùng kênh • Đn: Dung năng là thông tin tương hỗ cực đại trên một lần dùng kênh (đo bằng bit) Ví dụ • Kênh đối xứng nhị phân: H(X) cực đại khi p(0)=p(1)=1/2. Thông tin tương hỗ I(X,Y) cũng cực đại: Nhận xét: • Khi kênh không có noise, p=0 (xác suất lỗi điều kiện), dung năng là 1 bit/lần dùng kênh và bằng thông tin vào kênh. Tại giá trị này hàm entropi H(p)=0 • Khi p=1/2, do noise, C là nhỏ nhất =0 trong khi H(p) cực đại=1. trường hợp này được gọi là không có giá trị dùng Lý thuyết mã kênh • Để giảm lỗi cần thêm các bit dư. Tỷ số r=k/n goi là tỷ lệ mã. • Nguồn phát ra H(X)/T s bít/s thông tin. Kênh có dung năng C trong một lần dùng kênh thời gian T c hay tốc độ cực đại qua kênh là: C/T c • Đ/lý : nếu (*) thì tồn tại sơ đồ mã truyền nguồn qua kênh lỗi nhỏ tùy ý • Nếu không thể truyền qua kênh với lỗi nhỏ tùy ý. Nhận xét: • Đ/lý không chỉ rõ cấu trúc mã tốt thế nào mà chỉ khẳng định tồn tại mã tốt khi điều kiện thỏa mãn • Đ/lý không cho kết quả lỗi chính xác mà chỉ khẳng định lỗi tiến đến zero khi độ dài mã tăng khi thỏa mãn điều kiện (*) • Công suất và băng tần ẩn trong phát biểu trên song có thể liên hệ khi dùng công thức lỗi Áp dụng kênh nhị phân đối xứng • Xét nguồn bức xạ 1 bit/s (bằng nhau giữa 0 và 1), cấp lên kênh tỷ lệ mã r (<1). Bộ mã tạo ký hiệu trên một lần dùng kênh là T c giây • Yêu cầu: chuyển thành [...]... tập Giải Mô hình kênh • 1 • Đối với kênh nhị phân Lối vào rời rạc, ra liên tục • Với kênh Gaus • Kênh AWGN thời gian rời rạc • Kênh dạng sóng AWGN: Lối vào là dạng sóng, lối ra cũng là dạng sóng • Lối vào ràng buộc công suất • Khai triển theo hàm cơ sở • Ở đó • Do tính độc lập • Kênh dang sóng rút về kênh thời gian rời rạc với ràng buộc Dung năng kênh • Trong kênh nhị phân xác suất truyền đúng dãy... K/T=2BT/T • Dung năng thông tin/giây • Đây là định lý thứ 3 của Shannon và cũng là định lý nổi tiếng nhất • Dung năng tỷ lệ tuyến tính với băng thông song phụ thuộc logarit với tỷ số SNR nên dễ tăng C bằng cách mở rộng băng thông hơntawng công suất • Để đạt giới hạn tín hiệu phát phải có tính thống kê giống noise Những công thức liên quan • Khi băng tần rộng vô hạn (tỷ lệ mã zero) Bài tập Giải Mô hình kênh. .. Ở đó • Là entropi vi phân điều kiện Định lý dung năng thông tin • Xét quá trình dừng, tb zero X(t) băng giới hạn B (Hz) Lấy mẫu theo Nyquist (2B mẫu/s) • Các mẫu được truyền trong T giây nên K=2BT • Xk là mẫu nguồn, Yk là mẫu ra khỏi kênh sau khi bị noise Nk là noise với tb zero và phương sai: • Theo lý thuyết: • Vì Xk và Nk là độc lập • Theo định nghĩa • Vì Xk và Nk là các biến độc lập • Nên có thể... sau kênh có dạng noise Do Nk có dạng Gaus nên Xk cũng phải có dạng Gaus • Do đó cực đại nhận được khi chọn nguồn phát ra mẫu như noise công suất tb =P • Để tính dung năng thông tin cần tính • Phương sai của Yk bằng P+σ2, suy ra entropi vi phân của Yk: • Phương sai của noise = σ2 do dó entropi vi phân của Nk là: • Thay các phương trình • ta được • Khi dùng K lần để truyền K mẫu trong T giây, dung năng. .. X,Y có các hàm mật độ là fX(x), fY(x) Từ bpt • CM: dựa vào • Suy ra • Giả sử X, Y có cùng tb và phương sai • Biến X có phân bố Gaus • Suy ra • Từ đó • Nhận xét: • Đối với cùng phương sai hữu hạn σ2, biến Gaus có entropi vi phân lớn nhất • Entropi của biến Gaus được xác định duy nhất theo phương sai của X (độc lập với tb của X) Thông tin tương hỗ (kênh liên tục) • Xét cặp biến liên tục X,Y, đại lượng... đúng dãy n bit là: xác suất này tiến đến 0 khi n đến 0 • Để cải tiến chỉ dùng một tập con của tổ hợp n bit và các tổ hợp này càng xa nhau càng tốt • Số dãy n bit khác nhau tại np vị trí là • Dùng xấp xỉ Stirling • Điều này có nghĩa: khi một dãy n bit được phát, dãy nhận được sai khác np vị trí có khả năng là một trong • Nếu dùng tất cả các dãy n bit có thể, lỗi chắc chắn có vì có sự chồng lấp các dãy nhậ . Dung năng kênh và định lý mã kênh Thông tin tương hỗ (kênh rời rạc hữu hạn) • Y là lối ra kênh và là phiên bản noise của lối vào X. H(X) là Entropi đo độ bất. Capacity kênh rời rạc • Xét kênh không nhớ rời rạc lối vào X lối ra Y • Thông tin tương hỗ không những phụ thuộc kênh mà còn phụ thuộc p(x j ), tức là phụ thuộc cách dùng kênh • Đn: Dung năng. dùng Lý thuyết mã kênh • Để giảm lỗi cần thêm các bit dư. Tỷ số r=k/n goi là tỷ lệ mã. • Nguồn phát ra H(X)/T s bít/s thông tin. Kênh có dung năng C trong một lần dùng kênh thời gian T c