Thông tin tài liệu
BÀI GING MÔN HC
LÝ THUYT THÔNG TIN
Ging Viên: H Vn Quân
E-mail:
hcquan@dit.hcmut.edu.vn
Web site: http://www.dit.hcmut.edu.vn/~hcquan/student.htm
Trng i hc Bách khoa
Khoa Công Ngh Thông Tin
Trang 2
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
NI DUNG MÔN HC
̈ Bài 1 Gii thiu
̈
Bài 2 Mt s khái nim c bn
̈
Bài 3 Chun b toán hc
̈
Bài 4 Lng tin
̈
Bài 5 Entropy
̈
Bài 6 Mã hiu
̈
Bài 7 Mã hóa ti u ngun ri rc không nh
̈
Bài 8 Mã hóa ngun ph quát
̈
Bài 9 Kênh ri rc không nh, lng tin tng h
Trang 3
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
NI DUNG MÔN HC (tt)
̈ Bài 10 Mã hóa chng nhiu, đnh lý kênh
̈
Bài 11 Mã khi tuyn tính
̈
Bài 12 C s toán hc ca mã hóa chng nhiu
̈
Bài 13 Mã vòng
̈
Bài 14 Gii thiu v mt mã hóa
̈
Bài 15 Mt s vn đ nâng cao
Trang 4
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
TÀI LIU THAM KHO
1. Information Theory - Robert B.Ash, Nhà xut bn Dover, Inc,
1990.
2. Introduction to Information Theory - Masud Mansuripur, Nhà
xut bn Prentice–Hall, Inc, 1987.
3. A Mathematical Theory of Communication - C. E. Shannon,
Tp chí Bell System Technical, s 27, trang 379–423 và 623–
656, tháng 7 và tháng 10, 1948.
4. C s Lý thuyt truyn tin (tp mt và hai) - ng Vn
Chuyt, Nguyn Tun Anh, Nhà xut bn Giáo dc, 1998.
Trang 5
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
HÌNH THC ÁNH GIÁ
̈ S có thông báo c th cho tng khóa hc. Tuy nhiên,
thng là có hình thc nh bên di.
̈ Thi trc nghim
̈ Gia k: 30 câu / 45 phút
̈ Cui k: 45 câu / 90 phút
̈ c phép xem tài liu trong 2 t giy A4
̈ Làm bài tp ln cng đim (không bt buc)
̈ Np bài tp ln và báo cáo vào cui hc k
̈ Cng ti đa 2 đim
Trang 6
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
CÁC MÔN LIÊN QUAN
̈ Lý thuyt xác sut
̈ K thut truyn s liu
̈ X lý tín hiu s
Trang 7
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Bài 1 Gii thiu
1.1 Thông tin là gì?
1.2 Vai trò ca thông tin
1.3 Lý thuyt thông tin nghiên cu nhng gì?
1.4 Nhng ng dng ca lý thuyt thông tin
1.5 Lý thuyt thông tin – Lch s hình thành và quan đim
khoa hc hin đi
Trang 8
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Thông tin là gì?
̈ Mt vài ví d
̈ Hai ngi nói chuyn vi nhau. Cái mà trao đi gia h gi là
thông tin.
̈ Mt ngi đang xem tivi/nghe đài/đc báo, ngi đó đang nhn
thông tin t đài phát/báo.
̈ Quá trình ging dy trong lp.
̈ Các máy tính ni mng và trao đi d liu vi nhau.
̈ Máy tính np chng trình, d liu t đa cng vào RAM đ
thc thi.
Trang 9
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Thông tin là gì? (tt)
̈ Nhn xét
̈ Thông tin là cái đc truyn t đi tng này đn đi tng
khác đ báo mt “
điu”gì đó. Thông tin ch có ý ngha khi
“điu” đó bên nhn cha bit.
̈ Thông tin xut hin di nhiu dng âm thanh, hình nh,
Nhng dng này ch là “
v bc”vt cht cha thông tin. “V
bc” là phn “xác”, thông tin là phn “hn”.
̈ Ng ngha ca thông tin ch có th hiu đc khi bên nhn hiu
đc cách biu din ng ngha ca bên phát.
̈ Mt trong nhng phng tin đ din đt thông tin là ngôn ng.
̈ Có hai trng thái ca thông tin: truyn và lu tr. Môi trng
truyn/lu tr đc gi chung là môi trng cha tin hay
kênh
tin
.
Trang 10
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Vai trò ca thông tin
̈ Các đi tng sng luôn luôn có nhu cu hiu v th gii xung
quanh, đ thích nghi và tn ti. ây là mt quá trình quan sát,
tip nhn, trao đi và x lý thông tin t môi trng xung quanh.
̈ Thông tin tr thành mt nhu cu c bn, mt điu kin cn cho
s tn ti và phát trin.
̈ Khi KHKT, XH ngày càng phát trin, thông tin càng th hin
đc vai trò quan trng ca nó đi vi chúng ta.
̈ Ví d, hành đng xut phát t suy ngh, nu suy ngh đúng, thì
hành đng mi đúng. Suy ngh li chu nh hng t các ngun
thông tin đc tip nhn. Vì vy thông tin có th chi phi đn
suy ngh và kt qu là hành đng ca con ngi.
[...]... quá trình truy n tin 2.3 Các lo i h th ng truy n tin – Liên t c và r i r c 2.4 R i r c hoá Trang 16 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Thông tin ̈ ̈ ̈ ̈ Thông tin là m t khái ni m tr u t ng, phi v t ch t và r t khó c nh ngh a chính xác Hai nh ngh a v thông tin Thông tin là s c m hi u c a con ng i v th gi i xung quanh thông qua s ti p xúc v i nó Thông tin là m t h th ng nh ng tin báo và m nh... (uncertainty) trong tr ng thái c a n i nh n tin Nói ng n g n, thông tin là cái mà lo i tr s không ch c ch n nh ngh a u ch a nói lên c b n ch t c a thông tin nh ngh a th hai nói rõ h n v b n ch t c a thông tin và c dùng nh l ng thông tin trong k thu t Trang 17 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Thông tin (tt) ̈ ̈ ̈ ̈ ̈ ̈ Thông tin là m t hi n t ng v t lý, nó th ng t n t i và c truy n i d i m... t ng c a tin t c i v i n i nh n tin Trang 18 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Mô hình c a các quá trình truy n tin ̈ Khái ni m thông tin th Ngu n phát ̈ Kênh truy n Ngu n nh n S truy n tin (transmission) ̈ ̈ ng i kèm v i m t h th ng truy n tin Nhi u Là s d ch chuy n thông tin t m t môi tr ng xác nh i m này n i m khác trong Ngu n tin (information source) ̈ ̈ ̈ Là m t t p h p các tin mà h... vi c truy n thông tin chính xác, nhanh chóng và an toàn; l u tr thông tin m t cách hi u qu các góc nghiên c u khác LTTT nghiên c u các v n v cách t ch c, bi u di n và truy n t thông tin, và t ng quát là các v n v x lý thông tin Ba l nh v c nghiên c u c b n c a môn h c ̈ ̈ ̈ gì? Mã hoá ch ng nhi u Mã hoá t i u (hay nén d li u) M t mã hoá Trang 11 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Nh ng ng... LTTT và v t lý th ng kê Trong m t th i gian dài tr c khi LTTT c hình thành, L Boltzman và sau ó là L.Szilard ã ánh ng ý ngh a c a thông tin v i khái ni m nhi t ng h c c a entropy M t m t khác, D Gabor ch ra r ng lý thuy t truy n thông ph i c xem nh m t nhánh c a v t lý C E Shannon là cha c a LTTT Trang 15 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Bài 2 M t s khái ni m c b n 2.1 Thông tin (Information)... hôm nay và mai sau Nh ng ng d ng ph bi n c a LTTT là truy n thông và x lý thông tin bao g m: truy n thông, nén, b o m t, l u tr , Các ý t ng c a LTTT ã c áp d ng trong nhi u l nh v c nh v t lý, ngôn ng h c, sinh v t h c, khoa h c máy tính, tâm lý h c, hóa h c Trang 12 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Nh ng ng d ng c a LT thông tin (tt) ̈ ̈ ̈ ̈ M i quan h gi a LTTT và th ng kê ã c tìm th... m t t p h p các tin mà h th ng truy n tin dùng b ng tin hay thông báo (message) truy n tin B ng tin chính là dãy tin c bên phát truy n i Thông tin có th thu c nhi u lo i nh l p các (1) m t dãy kí t nh trong i n tín (telegraph) c a các h th ng g i i n tín (teletype system); Trang 19 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Mô hình c a các quá trình truy n tin (tt) (2) m t hàm theo ch m t bi n th... thông tin nào ó d i d ng m t hàm s(t) t n t i trong m t quãng th i gian T và l y các tr b t k trong m t ph m vi (smin, smax) nào ó s(t) smax smin t Trang 23 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Các lo i h th ng truy n tin (tt) ̈ ̈ Các ngu n nh v y c g i là các ngu n liên t c (continuous source), các tin c g i là tin liên t c (continuous information) và kênh tin c g i là kênh liên t c (continuous... n u nh bên phát ã th c hi n vi c nén hay b o m t thông tin tr c khi truy n Trang 22 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Các lo i h th ng truy n tin ̈ ̈ Các ngu n tin th ng th y trong t nhiên c g i là các ngu n tin nguyên thu ây là các ngu n tin ch a qua b t k m t phép bi n i nhân t o nào Các tín hi u âm thanh, hình nh c phát ra t các ngu n tin nguyên thu này th ng là các hàm liên t c theo... i r c không nh (discrete memoryless source) B ng tin c a m t ngu n tin r i r c không nh ̈ ̈ Là m t dãy (có th vô h n) các kí hi u liên ti p t b ng ch cái c a ngu n tin, x = ( a–2a–1a0a1a2 ) Trong th c t b ng tin có b t u và k t thúc cho nên b ng tin là m t dãy h u h n các kí hi u, x* = (a1a2 …an) Trang 28 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Bài 3 Chu n b toán h c 3.1 Xác su t (Probability) . ca thông tin và đc dùng
đ đnh lng thông tin trong k thut.
Trang 18
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Thông tin (tt)
̈ Thông tin. thuyt thông tin
1.5 Lý thuyt thông tin – Lch s hình thành và quan đim
khoa hc hin đi
Trang 8
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Thông tin
Ngày đăng: 25/01/2014, 06:24
Xem thêm: Tài liệu Bài giảng môn học lý thuyết thông tin ppt, Tài liệu Bài giảng môn học lý thuyết thông tin ppt