Đang tải... (xem toàn văn)
Chương 1.1 của bài giảng Lý thuyết thông tin giúp người học hiểu được một số khái niệm căn bản. Các nội dung được trình bày trong chương này gồm: Mô hình truyền thông, mục đích của lý thuyết thông tin, ý nghĩa của định lý căn bản, hàm đo độ không chắc chắn,...và các nội dung liên quan khác. Mời các bạn cùng tham khảo.
Chương 1: Các khái niệm 1.1 Độ không chắn Huỳnh Văn Kha 9/30/2010 Mơ hình truyền thơng • Lý thuyết thơng tin khảo sát hệ thống truyền thông Sơ đồ sau Nhiễu Nguồn Mã Kênh Giải mã Đích Huỳnh Văn Kha 9/30/2010 Mơ hình truyền thơng • Nguồn: phát thơng tin • Mã: thủ tục chuyển đổi mẫu tin thành “thực thể” thích hợp để truyền qua kênh • Kênh: truyền mẫu tin mã hóa, q trình chịu tác động Nhiễu • Giải mã: thủ tục biến đổi output kênh thành mẫu tin ban đầu • Đích: nhận thơng tin Huỳnh Văn Kha 9/30/2010 Mục đích LTTT • LTTT nhằm xây dựng mơ hình tốn học cho khối sơ đồ truyền thơng • Khơng sâu vào chi tiết kỹ thuật mà khảo sát chủ yếu lý thuyết mã hóa giải mã • Định lý LTTT phát biểu: Có thể truyền thơng tin qua kênh bị nhiễu theo định lượng truyền nhỏ dung lượng kênh theo xác suất sai nhỏ tùy ý 5 Huỳnh Văn Kha 9/30/2010 Ý nghĩa ðịnh lý • Giả sử nguồn sinh chuỗi bit 0,1 với xác suất với định lượng sinh bit/giây Giả sử bit sinh độc lập • Chúng truyền qua kênh có xác suất truyền sai bit ¼ Giả sử tốc độ truyền qua kờnh l bit/giõy ắ 0 ẳ Ngun ẳ 1 ¾ Huỳnh Văn Kha 9/30/2010 Ý nghĩa ðịnh lý • Do xác suất sai ¼ lớn, ta tìm cách làm giảm xác suất xuống • Một cách làm bit sinh truyền qua kênh lần giải mã theo nguyên tắc đa số • Xác xuất để giải mã sai là: Huỳnh Văn Kha 9/30/2010 Ý nghĩa ðịnh lý • Như giảm xác suất sai • Nhưng phải trả giá: Giảm định lượng sinh nguồn xuống 1/3 bit/giây • Tổng quát, xác suất sai kênh β < ½ , bit nguồn truyền 2n+1 lần giải mã theo đa số.Thì: Huỳnh Văn Kha 9/30/2010 Ý nghĩa ðịnh lý • p(e) n ∞ • Như giảm xác suất sai xuống giảm định lượng sinh xuống nhỏ gần • Điều cốt lõi định lý khẳng định: Khơng cần phải giảm định lượng sinh mà cần giảm đại lượng gọi dung lượng kênh • Để đạt điều cần tới lý thuyết mã Huỳnh Văn Kha 9/30/2010 Hàm đo độ khơng chắn • Biến ngẫu nhiên X có giá trị xác suất tương ứng • Ký hiệu: • Hàm đo độ khơng chắn biến X định nghĩa (log lấy theo số 2): • Thỉnh thoảng ta viết cho thay 10 Huỳnh Văn Kha 9/30/2010 Hàm đo độ khơng chắn • Ví dụ 1: biến ngẫu nhiên X có • Ví dụ 2: biến ngẫu nhiên X có 11 Huỳnh Văn Kha 9/30/2010 Hàm đo độ khơng chắn • H(X) dùng để đo lượng thông tin cần xác định biến ngẫu nhiên • Xét biến ngẫu nhiên W nhận giá trị: • Thì H(X) kỳ vọng (trung bình) W • H(X) số câu hỏi “yes no” trung bình cực tiểu để xác định kết X 12 Huỳnh Văn Kha 9/30/2010 Bổ ñề 1.1 Cho dương tùy ý thỏa Dấu xảy số Thì: 13 Huỳnh Văn Kha 9/30/2010 Chứng minh bổ ñề 1.1 Áp dụng bất ñẳng thức (dấu xảy ), với , nhân vế cho lấy tổng theo : Từ ñây ta suy ñiều cần chứng minh 14 Huỳnh Văn Kha 9/30/2010 ðịnh lý 1.2 , dấu xảy với ðây hệ Bổ đề phía trên, với tất 15 Huỳnh Văn Kha 9/30/2010 Hàm đo độ khơng chắn ñồng thời hai biến ngẫu nhiên Xét hai biến ngẫu nhiên: • Biến X lấy giá trị với xác suất là: • Biến Y lấy giá trị với xác suất là: ðộ không chắc ðặt ñồng thời X Y ñược ñịnh nghĩa là: 16 Huỳnh Văn Kha ðịnh lý 1.3 Dấu xảy Chứng minh: ñộc lập 9/30/2010 17 Huỳnh Văn Kha ðặt: , Thì: Áp dụng Bổ ñề 1.1, ta ñược: 9/30/2010 ...2 Huỳnh Văn Kha 9/30/2010 Mơ hình truyền thơng • Lý thuyết thông tin khảo sát hệ thống truyền thông Sơ đồ sau Nhiễu Nguồn Mã Kênh Giải mã Đích Huỳnh Văn Kha 9/30/2010 Mơ hình... trung bình cực tiểu để xác định kết X 12 Huỳnh Văn Kha 9/30/2010 Bổ ñề 1.1 Cho dương tùy ý thỏa Dấu xảy số Thì: 13 Huỳnh Văn Kha 9/30/2010 Chứng minh bổ ñề 1.1 Áp dụng bất ñẳng thức (dấu xảy ),... chắc ðặt ñồng thời X Y ñược ñịnh nghĩa là: 16 Huỳnh Văn Kha ðịnh lý 1.3 Dấu xảy Chứng minh: ñộc lập 9/30/2010 17 Huỳnh Văn Kha ðặt: , Thì: Áp dụng Bổ ñề 1.1, ta ñược: 9/30/2010