Đang tải... (xem toàn văn)
Nối tiếp nội dung ở chương 1.1, bài giảng Lý thuyết thông tin - Chương 1.2: Các khái niệm căn bản cung cấp cho người học những kiến thức về đo thông tin. Mời các bạn cùng tham khảo để nắm bắt các nội dung chi tiết.
Chương 1: Các khái niệm 1.2 Đo thông tin Huỳnh Văn Kha 06/03/11 ðộ không chắn có điều kiện hai biến ngẫu nhiên • ðộ khơng chắn với điều kiện • ðộ khơng chắn trọng lượng với điều kiện , nghĩa là: trung bình theo Huỳnh Văn Kha 06/03/11 ðịnh lý 1.4 Chứng minh: Do nên ta có điều cần chứng minh Huỳnh Văn Kha ðịnh lý 1.5 Dấu xảy và độc lập Chứng minh: Theo định lý 1.4 thì: Theo định lý 1.3 thì: Dấu xảy , ñộc lập Từ hai ñiều ta suy ñiều cần chứng minh 06/03/11 Huỳnh Văn Kha 06/03/11 ðo thơng tin • Có đồng xu, đồng cân bằng, đồng có mặt xấp • Chọn ngẫu nhiên đồng, tung hai lần • Nếu biết tổng số mặt xấp hai lần tung ta biết đồng xu chọn? • Nếu số mặt xấp đồng xu chọn đồng xu cân ngược lại khơng chắn • Kết kiện cho ta biết số thơng tin kiện khác Huỳnh Văn Kha 06/03/11 ðo thơng tin • Biết trước kết biến ngẫu nhiên Y, đại lượng đo lượng thông tin biết biến ngẫu nhiên X? • Gọi X biến ngẫu nhiên nhận giá trị đồng xu cân chọn, nhận giá đồng xu lại chọn, Y tổng số mặt xấp 1/4 1/2 X 1/4 1 Y Huỳnh Văn Kha 06/03/11 ðo thơng tin • Khi chọn ngẫu nhiên đồng xu độ khơng chắn cần xác định H(X) • Sau biết tổng số mặt xấp độ khơng chắn cần xác định H(X|Y) • Do người ta định nghĩa lượng thơng tin thu biến X biết Y là: I(X|Y) = H(X) – H(X|Y) • I(X|Y) sử dụng nhiều việc truyền tải thông tin qua kênh bị nhiễu, mà ta xét kỹ chương Huỳnh Văn Kha 06/03/11 Một số tính chất • Do ñịnh lý 1.5, ta thấy , ñộc lập • Theo định lý 1.4: Do đó: Nhưng: Vậy: , dấu xảy Huỳnh Văn Kha 06/03/11 • Tính I(X|Y) ví dụ trên? • Tính I(Y|X) ví dụ trên? • Chú ý: Nếu ta biết trước xác xuất cơng thức nên tính theo ... tải thông tin qua kênh bị nhiễu, mà ta xét kỹ chương Huỳnh Văn Kha 06/03/11 Một số tính chất • Do ñịnh lý 1.5, ta thấy , ñộc lập • Theo định lý 1.4: Do đó: Nhưng: Vậy: , dấu xảy Huỳnh Văn Kha. .. Huỳnh Văn Kha 06/03/11 ðịnh lý 1.4 Chứng minh: Do nên ta có ñiều cần chứng minh Huỳnh Văn Kha ðịnh lý 1.5 Dấu xảy và ñộc lập Chứng minh: Theo ñịnh lý 1.4 thì: Theo ñịnh lý 1.3 thì: Dấu xảy , ñộc...2 Huỳnh Văn Kha 06/03/11 ðộ khơng chắn có ñiều kiện hai biến ngẫu nhiên • ðộ khơng chắn với điều kiện • ðộ khơng chắn trọng lượng với ñiều kiện , nghĩa là: trung bình theo Huỳnh Văn Kha 06/03/11