 án tt nghip Tìm hiu mt s phng pháp phát hin i tng t nhp Nguyn Qunh Nga – CT701 Trang 1 I CM N Sau thi gian thc tp và nghiên cu ti trng HDL Hi Phòng em ã hoàn thành vic tìm hiu  tài: Tìm hiu mt s phng pháp phát hin i ng t nhp, trong thi gian làm  án tt nghip em ã nhn c s giúp  ht sc nhit tình ca Th.s Ngô Trng Giang và cùng vi s n lc ca n thân nên em ã hoàn thành  tài c giao. Em xin chân thành cm n s giúp  ca các thy cô khoa công ngh thông tin, thy giáo Th.s Ngô Trng Giang và toàn th các bn sinh viên khoa Công ngh thông tin, trng i hc Dân lp Hi Phòng cùng vi gia ình ã ng h giúp  và to mi u kin thun li cho em trong sut quá trình hc tp và nghiên cu  hoàn thành tt  án tt nghip này. i Phòng, tháng 07 nm 2007 Sinh viên Nguyn Qunh Nga  án tt nghip Tìm hiu mt s phng pháp phát hin i tng t nhp Nguyn Qunh Nga – CT701 Trang 2 C LC I CM N 1 U 4 CHNG 1: NG QUAN V X LÝ VIDEO 5 1.1. Gii thiu 5 1.2. Các hiu ng biên tp video 7 1.3. Các thuc tính c trng ca video 9 1.3.1. Color 9 1.3.2. Texture 9 1.3.3. Shape 10 1.3.4. Motion 10 1.4. Phân n video 10 1.5.  thut trnh 13 1.5.1. a vào so sánh m nh 14 1.5.2. a vào khi 16 1.5.3. a vào so sánh biu  18 1.5.4. a vào phng pháp thng kê 23 CHNG 2: MT S PHNG PHÁP PHÁT HIN CHUYN NG 25 2.1. ng quan phng pháp tr nn 25 2.1.1. Gii thiu 25 2.1.2. G ii thut tr nn. 26 2.1.2.1 . Tin x lí 27 2.1.2.2. Mô hình hóa nn 27 2.1.2.3. Phát hin i tng 32 2.1.2.4. p lí hoá d liu 33 2.2. Tr nn s dng thông tin màu và gradiant 35 2.2.1. Gii thiu 35 2.2.2. Mô hình hóa nn 35 2.2.3. Tr nn 36  án tt nghip Tìm hiu mt s phng pháp phát hin i tng t nhp Nguyn Qunh Nga – CT701 Trang 3 2.2.3.1. Tr nn da vào màu 37 2.2.3.2. Tr nn da vào biên 38 2.2.3.3. t hp các kt qu tr màu và tr biên 39 2.2.4. Nhn xét 40 2.3. Phát hin i tng chuyn ng da vào kt cu 40 2.3.1. Gii thiu 40 2.3.2. Toán t mu nh phân cc b 41 2.3.3. Phng pháp phát hin i tng chuyn ng 42 2.4. Phát hin i tng chuyn ng da vào s bin thiên cc b ca véct kt cu SP 45 2.4.1. Gii thiu 45 2.4.2. Biu din video vi vect kt cu SP 47 2.4.3. Phát hin i tng chuyn ng da trên bin thiên cc b 48 CHNG 3: TH NGHIM PHÁT HIN I TNG T NHP 50 3.1. Mô t bài toán 50 3.2. Môi trng test 50 3.3. t s giao d in 50 3.4. ánh giá 52 T LUN 54 TÀI LIU THAM KHO 55  án tt nghip Tìm hiu mt s phng pháp phát hin i tng t nhp Nguyn Qunh Nga – CT701 Trang 4 U Ngày nay, s phát trin ca công ngh thông tin ã xâm nhp vào u ht các mt ca i sng xã hi vi nhng ng dng rng rãi h tr cho con ngi trên nhiu lnh vc, trong ó có lnh vc an toàn an ninh, chng xâm nhp.Vic m bo an ninh là mt vn  quan trng và cn thit (Vd : Trong các nút giao thông quan trng, trong các siêu th, trong các ngân hàng hay bo tàng là nhng ni mà vn  an ninh c t lên hàng u ). Có nhiu phng pháp nhm m bo an ninh sao cho t c hiu qu cao, trong ó có phng pháp áp dng các h thng camera  quan sát s chuyn ng ca các i tng trong khu vc. Ngày nay vi s tin b vt c ca khoa hc, ta có th xây dng mt h thng cnh báo tng phát hin i tng t nhp mà không cn con ngi phi trc tip theo dõi camera, u này giúp cho con ngi gim thiu c thi gian và sc lc ng thi vn cho mt kt qu chính xác. i bài toán phát hin i tng t nhp có 2 hng tip cn  gii quyt ó là: da vào phn cng và da vào các k thut x lý nh. Trong  án tt nghip này em xin trình bày mt s phng pháp phát hin i tng chuyn ng trong n video da vào các k thut x lí nh. Cu trúc ca bài khóa lun gm phn mu, phn kt lun, phn ph lc và 3 chng vi ni dung: Chng 1: Trình bày tng quan v video và các k thut trnh . Chng 2: Mt s phng pháp phát hin chuyn ng trong video. Chng 3: Chng trình ng dng phát hin i tng t nhp.  án tt nghip Tìm hiu mt s phng pháp phát hin i tng t nhp Nguyn Qunh Nga – CT701 Trang 5 CHNG 1: NG QUAN V X LÝ VIDEO 1.1. Gii thiu  liu video s ngày càng c s dng rng rãi.  liu video s bao m hình nh và âm thanh video c lu tr trong máy tính di dng s. Trc tiên ta tìm hiu video s là gì? Video s hay Video là tp hp các khung hình c t liên tip nhau, mi khung hình là mt nh s. Hình 1.1: u trúc phân n ca video Frame (khung ) : Video c to nên bi chui các nh tnh. Mt chui các khung tnh t cnh nhau to nên các cnh phim chuyn ng. Mt khung n là mt nh tnh Khung hình i khung hình i+1 Hình 1.2: Các khung hình video Scene 2 Scene n Shot 2 Shot n Frame n Scene 1 Shot 1 Frame 1 Frame 2  án tt nghip Tìm hiu mt s phng pháp phát hin i tng t nhp Nguyn Qunh Nga – CT701 Trang 6 n video có th to cm giác chuyn ng, các khung hình phi c quay vi tc  phù hp. Mt ngi ch có th nhn c 24 hình/giây, u nh ln lt 24 hình hoc nhiu hn 24 hình c phát trong mt giây thì t s không nhn ra c s ri rc gia nhng khung hình, mà ch thy nhng cnh liên tc. Có nhiu h video và mi h có tc  quay khác nhau nh : NTSC 30 hình/giây, PAL 24 hình/giây, SECAM 29.99 hình/giây. Khung hình là n v c bn nht ca d liu video. Theo chun ca h NTSC thì mt giây có 30 khung hình, vy mt phút có 1800 khung hình, mt gi có 60x1800 = 108000 khung hình. Có th thy rng s lng khung hình cho mt n video thng là rt ln, cn phi có mt n v cp cao hn cho video s. Shot (lia): là n v c s ca video. Mt lia là mt n v vt lý ca dòng video, gm các chui mt hay nhiu khung hình liên tip, không th chia nh hn, ng vi mt thao tác camera n. Nhng khung hình này liên tip theo thi gian mô t mt hành ng liên c, và c gii hn bi 2 chuyn cnh. Hình 1.3: n c s Biên shot Biên shot Shot i Shot i+2Shot i+1 Chuyn cnh  án tt nghip Tìm hiu mt s phng pháp phát hin i tng t nhp Nguyn Qunh Nga – CT701 Trang 7 t n video có th có nhiu n c s, mà cng có th ch là mt n c s. Nhng n c si din cho toàn bn video, và truy xut n chúng cng coi nh là truy xut n chính n video. T chc nhng n video  mc n c s là thích hp nht cho vic duyt và truy tìm thông tin da vào ni dung. Scene (cnh ) : là các n v logic ca dòng video, mt cnh gm mt hay nhiu shot liên quan n nhau v không gian và lin k v thi gian, cùng mô t mt ni dung ng ngha hoc mt tình tit. Ngoài ra có th biu din cu trúc video da trên i tng: Hình 1.4: Biu din video da trên i tng 1.2. Các hiu ng biên tp video  các hiu ng video có th là rt ln. Các chng trình biên tp video i ting nh Adobe Premiere hay Ulead MediaStudio có ti hàng trm loi Color, texture, shap Feature Motion, trajectotry Spatial,temporal, stuctures Shot 1 Shot n object 1 object 2 Region 1 Region 2 Shot 2 object n Region n video  án tt nghip Tìm hiu mt s phng pháp phát hin i tng t nhp Nguyn Qunh Nga – CT701 Trang 8 biên tp c tham s hóa. Tuy nhiên trên thc t, hn 99% các biên tp ó u nm trong ba loi: ct cng, fade và chng m; ngoài ra còn có wipe. Ø t cng: là s bin i t ngt t cnh này sang cnh khác, nó xy ra gia hai khung hình. Ø Fade: là s bin i dn dn gia mt cnh và mt nh (fade out) hoc là s bin i dn gia mt nh và mt cnh phim (fade in). Ø Chng m: là s bin i dn dn t cnh c sang cnh mi trong ó nh cc fade out và cnh mi c fade in. Ø Wipe: là hin tng cnh chy theo mt ng trên màn hình, trong khi ó cnh mi xut hin phía sau ng ó. Các hiu ng ó to nên s bin i cho các khung hình, to nên các chuyn cnh. Ct cng to nên chuyn cnh t ngt; fade, chng m và wipe o nên chuyn cnh dn dn. Hình 1.5: t s loi Wipe c bn  án tt nghip Tìm hiu mt s phng pháp phát hin i tng t nhp Nguyn Qunh Nga – CT701 Trang 9 1.3. Các thuc tính c trng ca video 1.3.1. Color i mi mt nh u có mt biu  màu  biu din s phân b màu trong nh, biu  màu không ph thuc vào vic quay nh, dch chuyn nh, chiu nhìn nh mà ph thuc vào vào h màu và các phng pháp nh lng c dùng. Hình 1.6: Biu  màu ca 4 loi nh c bn (a) nh ti (b) nh sáng (c)nh tng phn thp (d) nh tng phn cao 1.3.2. Texture ây là mt c trng quan trng ca b mt, ni xy ra vic lp li mu  bn. Có hai dng biu din Texture ph bin: biu din dng ma trn ng thi và biu din Tamura. - Ma trn ng thi mô t hng và khong cách gia các m nh, ta có th trích chn c các thng kê có ý ngha. Ngc li, ngi ta thy rng entropi và mô-men chênh lch nghch o li có kh nng phân bit tt nht. (a) (b) (c) (d)  án tt nghip Tìm hiu mt s phng pháp phát hin i tng t nhp Nguyn Qunh Nga – CT701 Trang 10 - Biu din Tamura c thúc y nh các nghiên cu v tâm lí trong vic thu nhn trc giác ca con ngi, nó bao gm các thuc tính o tính thô,  tng phn, hng, tính trn, tính cân i và  thô ráp. Các c tính này t quan trng trong vic tìm hiu ni dung nh vì nó biu din rt trc quan. 1.3.3. Shape Các c trng hình dáng có thc biu din s dng phân tích hình dáng truyn thng nh mô-men bt bin, mô t Fourier, mô hình hc tng quay lui và các thuc tính hình hc. Các c trng này có thc phân chia thành c trng toàn cc và c trng cc b. - c trng toàn cc là c trng thuc tính thu c t toàn b hình dáng nh (VD: chu vi, tính tròn, hng trc chính ). - c trng cc b là c trng thu c t vic thao tác vi mt phn a nh, không ph thuc vào toàn bnh. 1.3.4. Motion Là thuc tính quan trng ca video, thông tin v chuyn ng có th c sinh ra bng các k thut ghép khi hoc lung ánh sáng. Các c trng chuyn ng: mô-men ca trng chuyn ng, biu  chuyn ng, các tham s chuyn ng toàn cc có thc trích chn t vect chuyn ng. Các c trng mc cao phn ánh di chuyn camera nh quét camera (pan), nghiêng (tilt), phóng to (zoom in), thu nh (zoom out) cng có thc trích chn. 1.4. Phân n video Là quá trình phân tích và chia lung video dài thành các n v nh nh shot, quá trình này s phân tích và phát hin ranh gii các shot. Quá trình này ng c coi nh là vic phát hin nhng chuyn cnh gia các n, xác nh khung hình bt u và khung hình kt thúc ca mt n c s. [...]... các thu t toán tìm c nh M t s l n các ph gi i thi u theo v t các biên it ng ho c ng pháp ã c n i các mô hình hình d ng mong mu n Hình 1.10: Các k t qu phát hi n c nh c a m t nh Nguy n Qu nh Nga – CT701 Trang 12 án t t nghi p Tìm hi u m t s ph ng pháp phát hi n Do vi c phát sinh nhi u t nhiên c a ph xây d ng nên các khó kh n Các ph a trên các chu n it t nh p ng pháp phát hi n c nh, vi c ng pháp n vùng... ng này, m t ph ng pháp tìm úng và phát hi n i l n gi a c xu t là c chuy n c nh ng pháp so sánh c p ng pháp so sánh c p tính toán chênh l ch tích l y gi a các khung d ng m t ng ng l n h n cho chuy n c nh tr c ti p Th và m t ng nh h n cho chuy n c nh d n d n Tl Nguy n Qu nh Nga – CT701 Trang 20 án t t nghi p Tr Tìm hi u m t s ph c tiên s d ng Th ng Tl ng pháp phát hi n it ng t nh p phát hi n chuy n c... nghi p Tìm hi u m t s ph sai khác gi a hai khung hình ng pháp phát hi n it c tính b ng t l các ng t nh p m nh có chênh l ch l n h n d D( f1 , f 2 ) = S count X *Y Chúng ta có th s d ng cách khác là dùng các ng mi n, nh bi u ch ng h n Ph (1.20) il ng th ng kê cho ng pháp này có khá nhi u sai sót trong phát hi n c nh phim Nguy n Qu nh Nga – CT701 Trang 24 án t t nghi p Tìm hi u m t s ph ng pháp phát hi... ang xét Nh v y, ph ng pháp so sánh c p có th phát hi n chuy n c nh t ng t và chuy n c nh d n d n cùng t lúc Qua k t qu th c nghi m cài t thu t toán và so sánh các k thu t phân n khác nhau và th y r ng so sánh c p là ph phân n r t t t Nguy n Qu nh Nga – CT701 ng pháp n gi n và Trang 21 án t t nghi p Nh c Tìm hi u m t s ph m c a ph - Bi u ng pháp phát hi n có cùng bi u ng t nh p ng pháp này là: ch mô t... c) ng ng t b n c nh: a)C nh sáng, ng mù, c)C nh có tuy t, d)C nh có xe c Nguy n Qu nh Nga – CT701 d) ông úc Trang 34 án t t nghi p Tìm hi u m t s ph ng pháp phát hi n it ng t nh p 2.2 Tr n n s d ng thông tin màu và gradiant 2.2.1 Gi i thi u Nhi u ph ng pháp ã c phát tri n phát hi n chuy n t chu i các nh Các gi i thu t này s d ng tr n n liên quan thay i màu hay ho c c ng chi u sáng Nó các pixel c a nh...án t t nghi p Tìm hi u m t s ph nc s 1 ng pháp phát hi n nc s 2 Biên nc s it ng nc s Biên t nh p 3 nc s Chuy n c nh Hình 1.7: Biên nc s Trong nh ng n m g n ây, nh ng nghiên c u v vi c phát hi n t ng n c s ngày càng phát tri n, nh ng ng d ng ngày càng nhi u và càng có nhi u thu t toán nh ng m c c công b phân n c s... dùng t l khác bi t màu qua frame và khác bi t màu long tern phát hi n flash T l này c nh ngh a: Fr(i) = D(i, i − 1) / D(i + δ , i − 1) Nguy n Qu nh Nga – CT701 (1.5) Trang 15 án t t nghi p Tìm hi u m t s ph ng pháp phát hi n it ng t nh p Trong ó i là frame ang xét, và δ là chi u dài trung bình c a thay c a camera N u Fr(i) nh h n m t ng c phát hi n t i v trí frame th i và ng sai khác giá tr ng cho... Trang 24 án t t nghi p Tìm hi u m t s ph ng pháp phát hi n it t nh p CH TS 2.1 NG 2: NG PHÁP PHÁT HI N CHUY N ng PH ng quan ph NG ng pháp tr n n 2.1.1 Gi i thi u Nh n d ng it ng chuy n ng t chu i video là n n t ng và tác v quan tr ng trong giám sát video, ki m tra và phân tích giao thông, dò tìm và theo dõi con ng pháp chung video i, nh n d ng c ch trong giao di n ng nh n d ng it ng chuy n ng là tr n... Nga – CT701 tr ng tâm c a b t k gi i thu t tr n n nào phát tri n mô hình hóa n n linh ho t ch ng ng, nh ng nh y xác nh m i chuy n ng Trang 27 án t t nghi p Tìm hi u m t s ph ng pháp phát hi n n quan tâm Các k thu t mô hình hóa n n quy và a) it ng t nh p c phân thành 2 lo i - không quy thu t không quy thu t không quy s d ng ph n Nó l u tr m t b ng pháp c a s tr m cho L frame video tr c và t cl cl a vào... Trang 11 án t t nghi p Tìm hi u m t s ph ng pháp phát hi n it ng t nh p tr ng nào c a khung hình, và s d ng nh th nào ã n y sinh ra nhi u ph ng pháp, h ng ti p c n khác nhau Hình 1.8: Tính khác bi t Hình 1.9: c tr ng gi a nh ng khung hình liên ti p ng sai bi t v c tr ng l c gi a các khung hình liên ti p thu t phân biên it n d a trên phát hi n c nh dùng các tìm ng C nh là d li u có t n s cao ch s không . . Chng 2: Mt s phng pháp phát hin chuyn ng trong video. Chng 3: Chng trình ng dng phát hin i tng t nhp.  án tt nghip Tìm hiu mt s phng pháp phát hin i tng t. mt nh  án tt nghip Tìm hiu mt s phng pháp phát hin i tng t nhp Nguyn Qunh Nga – CT701 Trang 13 Do vic phát sinh nhiu t nhiên ca phng pháp phát hin cnh, vic xây dng. vn  này, mt phng pháp c  xut là  dng hai ngng  tng mc  tìm úng và phát hin c chuyn cnh n dn, ó chính là phng pháp so sánh cp. Phng pháp so sánh cp tính