Bài thảo luận Môn : Cơ sở thông tin số Nhóm thảo luận : 02 1-Trần Văn Dũng 2-Trần Xuân Dũng 3-Trương Văn Dương 4-Nguyễn Tiến Đại 5-Trần Khương Đạt 6-Hạ Tiến Đức 7-Nguyễn Hữu Đức Trường đại học kỹ thuật công nghiệp Thái Nguyên Câu hỏi : Trình bày mã hóa thống kê tối ưu Fano-Shannon Trường đại học kỹ thuật công nghiệp Thái Nguyên Mã hóa tối ưu - Là phép mã hóa mà kết mã có chiều dài trung bình nhỏ tất phép mã hóa có cho nguồn - Bộ mã phép mã hóa tối ưu cho nguồn gọi mã hóa tối ưu - Ba phép mã hóa :Shannon,Fano,Huffman - Trong phép mã hóa mã hóa với số mã m=2 (mã hóa nhị phân) sau mở rộng cho trường hợp m>2 Trường đại học kỹ thuật công nghiệp Thái Nguyên Giới thiệu nhà khoa học Shannon • Shannon sinh ngày 30-4-1916 Petoskey,bang Michigan Ông nhà khoa học vĩ đại lĩnh vực viễn thông.Ông người phát minh môn khoa học lý thuyết thông tin.Đó môn học trừu tượng mô tả nguyên lý truyền thông tin,nó đặt móng cho ứng dụng thưc tiễn internet,máy tính,v.v Trường đại học kỹ thuật công nghiệp Thái Nguyên Claude shannon Trường đại học kỹ thuật công nghiệp Thái Nguyên Nội dung phương pháp Shannon • B1 Sắp xếp xác suất theo thứ tự giảm dần Không tính tổng quát giả sử P1 ≥ ……≥ Pk i −1 • B2 Định nghĩa q1=0 , q i= ∑ pj với i=1,2,… ,K j =1 • B3 Đổi qi sang số 2(biểu diễn qi số 2) chuỗi nhị phân • B4.Từ mã gán cho li kí hiệu lấy từ vị trí sau dấu phẩy chuỗi nhị phân tương ứng với qi , [ -log ] li = pi Trường đại học kỹ thuật công nghiệp Thái Nguyên Ví dụ:hãy mã hóa nguồn S={ a1,a2,a3,a4,a5,a6}với xác suất : 0.3;0.25; 0.2;0.12;0.08; 0.05 Tin Xác suất pi qi= i −1 ∑ pj Biểu diễn nhị phân li =[ -log2pi] Từ mã wi j =1 a1 0.3 0.00 00 a2 0.25 0.3 0.01001… 01 a3 0.2 0.55 0.10001… 100 a4 0.12 0.75 0.11000… 1100 a5 0.08 0.87 0.11011… 1101 a6 0.05 0.95 0.111100 … 11110 • Độ dài trung bình từ mã : n=0.05*5+0.08*4+0.12*4+0.2*3+0.25*2+0.3*2=2.75 - Entropi nguồn tin H(s)= - [0.05*log2(0.05)+ 0.08*log2(0.08)+ 0.12*log2(0.12)+ 0.2*log2(0.2)+ 0.25*log2(0.25)+ 0.3*log2(0.3)]=2.36 - Trị số kinh tế ρ=H(s)\n =2.36/2.75=85.82% Trường đại học kỹ thuật công nghiệp Thái Nguyên Giới thiệu nha khoa học Robert Fano • Robert Mario Fano (sinh Torino, Italia vào ngày 11 tháng 11 năm 1917 ) người Ý – Mỹ, giáo sư danh dự Viện kỹ sư Điện Khoa học Viện Công nghệ Massachusetts Fano biết đến chủ yếu cho công việc ông lý thuyết thông tin , phát minh (với Claude shannon ) shannon – fano Trường đại học kỹ thuật công nghiệp Thái Nguyên Nhà khoa học Robert Mario Fano Trường đại học kỹ thuật công nghiệp Thái Nguyên Nội dung phương pháp Fano • B1 Sắp xếp xác suất theo thứ tự giảm dần Không tính tổng quát giả sử P1 ≥ ……≥ Pk • B2.Phân xác suất thành nhóm có tổng xác suất gần • B3.Gán cho nhóm kí hiệu (hoặc ngược lại) • B4 Lập lại bước cho nhóm tiếp tục • B5 Từ mã ứng với tin chuỗi bao gồm kí hiệu theo thứ tự gán cho nhóm có chứa xác suất tương ứng tin Trường đại học kỹ thuật công nghiệp Thái Nguyên Ví dụ:hãy mã hóa nguồn S={ a1,a2,a3,a4,a5,a6 }với xác suất 0.3;0.25; 0.2; 0.12;0.08; 0.05 Tin Xác phân nhóm lần Từ mã suất a1 0.3 0 00 a2 0.25 01 a3 0.2 10 a4 0.12 1 a5 0.08 1 1110 a6 0.05 1 1 1111 110 • Độ dài trung bình từ mã : • n=0.05*4+0.08*4+0.12*3+0.2*2+0.25*2+0.3*2=2.38 • - Entropi nguồn tin • H(s)= - [0.05*log2(0.05)+ 0.08*log2(0.08)+ 0.12*log2(0.12)+ 0.2*log2(0.2)+ 0.25*log2(0.25)+ 0.3*log2(0.3)]=2.36 • Trị số kinh tế • ρ=H(s)\n =2.36/2.38=99.16% Nhận xét Phương pháp Fano cho kết tốt phương pháp Shannon • Hai phương pháp thực chất , không cho phép lập mã cách chia nhóm dựa sở đồng tổng xác suất nên có nhiều cách chia • Sự lập mã theo cách chia nhóm sở đồng xác suất tạo cho mã có tính prefix • Phương pháp mã hóa tin nguồn tin có hiệu entropy nguồn lớn ( H(u)>1 ) Trường hợp H(u) [...]... chia • Sự lập mã theo cách chia nhóm trên cơ sở đồng xác suất tạo cho bộ mã có tính prefix • Phương pháp mã hóa từng tin của nguồn tin chỉ có hiệu quả khi entropy của nguồn lớn hơn 1 ( H(u)>1 ) Trường hợp H(u) ... Michigan Ông nhà khoa học vĩ đại lĩnh vực viễn thông. Ông người phát minh môn khoa học lý thuyết thông tin. Đó môn học trừu tượng mô tả nguyên lý truyền thông tin, nó đặt móng cho ứng dụng thưc tiễn internet,máy... mã cách chia nhóm dựa sở đồng tổng xác suất nên có nhiều cách chia • Sự lập mã theo cách chia nhóm sở đồng xác suất tạo cho mã có tính prefix • Phương pháp mã hóa tin nguồn tin có hiệu entropy... cho khối tin phải thỏa mãn điều kiện: H N ≤ n N ≤ H N + Độ dài trung bình từ mã cho tin tính theo tỷ lệ: − nN n= N − H ≤n ≤H + N − Do đó: Hay: H ≤ ρ ≤1 H +1 Khi H