B GIO DC V O TO VIN HN LM KHOA HC V CễNG NGH VIT NAM HC VIN KHOA HC V CễNG NGH - V VN HIU NGHIấN CU MT S K THUT PHN HNG TRONG TRA CU NH DA VO NI DUNG LUN N TIN S TON HC H NI 2017 B GIO DC V O TO VIN HN LM KHOA HC V CễNG NGH VIT NAM HC VIN KHOA HC V CễNG NGH - V VN HIU NGHIấN CU MT S K THUT PHN HNG TRONG TRA CU NH DA VO NI DUNG LUN N TIN S TON HC Chuyờn ngnh: C s Toỏn hc cho Tin hc Mó s: 62 46 01 10 Ngi hng dn khoa hc: PGS TS Ngụ Quc To PGS.TS Nguyn Hu Qunh H Ni 2017 Lèi cam oan Tụi xin cam oan lun ỏn Nghiờn cu mẻt sậ k thut phõn hĐng tra cu Ênh dáa vo nẻi dung l cụng trỡnh nghiờn cu ca riờng tụi Cỏc sậ liêu, kt quÊ ềc trỡnh by lun ỏn l hon ton trung thác v cha tng ềc cụng bậ bòt k mẻt cụng trỡnh no khỏc Tụi ó trớch dđn ảy cỏc ti liêu tham khÊo, cụng trỡnh nghiờn cu liờn quan nểc v quậc t NgoĐi tr cỏc ti liêu tham khÊo ny, lun ỏn hon ton l cụng viêc ca riờng tụi Trong cỏc cụng trỡnh khoa hc ềc cụng bậ lun ỏn, tụi ó th hiên rừ rng v chớnh xỏc úng gúp ca cỏc ng tỏc giÊ v nhng gỡ tụi ó úng gúp Lun ỏn ềc hon thnh thèi gian tụi lm Nghiờn cu sinh tĐi Phũng Nhn dĐng v Cụng nghê tri thc, Viên Cụng nghê thụng tin, Viên Hn lõm Khoa hc v Cụng nghê Viêt Nam Tỏc giÊ : H Nẻi : i Lèi cÊm ẽn Lun ỏn ềc thác hiên dểi sá hểng dđn khoa hc ca PGS.TS Ngụ Quậc TĐo v PGS.TS Nguyn Hu Qunh Nghiờn cu sinh xin by t lũng bit ẽn sõu sc n hai Thảy v nh hểng khoa hc, nhng bi hc, nhng gúp qu bỏu nghiờn cu Cỏc Thảy ó tĐo iu kiên vụ cựng thun lềi suật quỏ trỡnh nghiờn cu ca Nghiờn cu sinh Tụi xin ềc cÊm ẽn cỏc nh khoa hc, tỏc giÊ ca cỏc cụng trỡnh cụng bậ ó ềc trớch dđn lun ỏn, õy l nhng t liêu qu, kin thc liờn quan quan trng giỳp Nghiờn cu sinh hon thnh lun ỏn Xin cÊm ẽn n cỏc nh khoa hc ó phÊn biên cỏc cụng trỡnh nghiờn cu ca Nghiờn cu sinh Tụi trõn trng cÊm ẽn Phũng Nhn dĐng v Cụng nghê tri thc, Phũng quÊn l o tĐo, Viên Cụng nghê thụng tin, Hc viên Khoa hc v Cụng nghê, Viên Hn lõm Khoa hc v Cụng nghê Viêt Nam ó tĐo iu kiên thun lềi cho tụi suật quỏ trỡnh nghiờn cu thác hiên lun ỏn Tụi cng xin cÊm ẽn sõu sc n Hẻi ng Khoa hc Viên Cụng nghê thụng tin, cỏc Thảy Hẻi ng bÊo vê còp cẽ s ó gúp giỳp Nghiờn cu sinh hon thiên cụng trỡnh lun ỏn ny Tụi cng by t sá cÊm ẽn sõu sc n Khoa Cụng nghê thụng tin, Trèng hc Đi iên Lác, H Nẻi ó tĐo iu kiên cho tụi ềc hc tp, trao i v nghiờn cu Tụi xin cÊm ẽn Trèng Đi hc HÊi Phũng ó tĐo iu kiên v thèi gian v ti chớnh cho tụi thác hiên lun ỏn ny Mẻt phản ca nghiờn cu ny ềc thác hiên khuụn kh ti nghiờn cu mó sậ CS15.03 ca Viên Cụng nghê Thụng tin, Viên Hn lõm Khoa hc v Cụng nghê Viêt Nam v ti nghiờn mó sậ VAST01.07/15-16 ca Viên Hn lõm Khoa hc v Cụng nghê Viêt Nam Xin cÊm ẽn cỏc trao i v trề giỳp ca cỏc thnh viờn ti Cuậi cựng, tụi xin by t lũng bit ẽn vụ hĐn ậi vểi cha mà, v ton th anh em gia ỡnh ó luụn ng hẻ, giỳp ễ tụi ii Mc lc Lèi cam oan i Lèi cÊm ẽn ii T vit tt v K hiêu toỏn hc vi Danh mc cỏc hỡnh v vii Danh mc cỏc bÊng biu M xi ảu 1 Tng quan v Tra cu Ênh dáa vo nẻi dung 1.1 Mẻt sậ c trng Ênh thèng s dng tra cu Ênh dáa vo nẻi dung 1.1.1 Miờu tÊ ton cc 1.1.2 Miờu tÊ cc bẻ 1.2 T hềp c trng tra cu Ênh dáa vo nẻi dung 1.3 Chuân hoỏ CBIR 1.3.1 Mc ớch ca chuân hoỏ 1.3.2 Chuân húa min-max 1.3.3 Chuân húa Gauss 1.4 KhoÊng trậng ng nghổa 1.5 PhÊn hi liờn quan CBIR 1.6 Hiêu chứnh trng sậ v dch chuyn truy vòn CBIR s dng phÊn hi liờn quan 1.7 Tra cu Ênh dáa vo nẻi dung s dng k thut mỏy hc 1.7.1 Huòn luyên v kim tra 1.7.2 Nhón d liêu 1.7.3 Xõy dáng mụ hỡnh hc 1.8 Mẻt sậ tip cn dáa theo phẽng phỏp tậi u Pareto iii 9 12 13 14 14 16 16 19 21 23 27 27 28 29 33 1.9 Phẽng phỏp ỏnh giỏ hiêu nng CBIR 34 xuòt chuân hoỏ c trng v hiêu chứnh trng sậ c trng 2.1 Chuân hoỏ c trng dáa vo phõn cm mè FCM 2.2 Chuân hoỏ khoÊng cỏch dáa vo phõn cm FCM 2.3 Hiêu chứnh trng sậ, dch chuyn truy vòn 2.3.1 Hiêu chứnh trng sậ 2.3.2 Dch chuyn truy vòn 2.4 Th nghiêm v ỏnh giỏ cỏc kt quÊ 2.4.1 Cẽ s d liêu Ênh 2.4.2 Trớch rỳt bẻ c trng kt hềp 2.4.3 Cỏc kt quÊ thác nghiêm v lun giÊi 2.5 Kt lun Chẽng t hềp 37 39 45 46 51 52 54 54 55 55 68 xuòt k thut Pareto front a mc sõu nõng cao hiêu quÊ phõn lểp Ênh 3.1 Mẻt sậ tớnh chòt hỡnh thc dáa trờn k thut Pareto front a mc sõu khụng gian t hềp c trng 3.2 Nõng cao hiêu quÊ phõn lểp Ênh 3.3 Th nghiêm v ỏnh giỏ cỏc kt quÊ 3.3.1 Cẽ s d liêu Ênh 3.3.2 Cỏc phẽng phỏp cẽ s 3.3.3 Phẽng phỏp ỏnh giỏ 3.3.4 Cỏc kt quÊ thác nghiêm 3.4 Kt lun Chẽng 69 73 81 86 86 88 88 89 96 Kt lun v hểng phỏt trin 97 Danh mc cụng trỡnh 99 A Mẻt sậ cẽ s d liêu A.1 Corel A.2 Wang A.3 Caltech 101 A.4 Oxford Building ó cụng bậ Ênh s dng B Phản mm tra cu theo cỏc xuòt ca lun ỏn iv 111 111 112 113 114 120 T vit tt DĐng vit tt DĐng ảy CBIR Din giÊi Content based image retrie- Tra cu Ênh dáa vo nẻi dung val FCM Fuzzy c-means Phõn cm mè c-means HI Histogram Interrsection Lềc giao HSV hue, saturation, value mu sc, ẻ bóo ho mu, ẻ sỏng L2R Learning to Rank Hc xp hĐng MARS Multimedia Analysis and Cỏc thậng phõn tớch Retrieval Systems phẽng tiên v tra cu Pr Precision ẻ chớnh xỏc Re Recall ẻ hi tng RF Relevance feedback RGB red, green, blue SIFT Scale-Invariant PhÊn hi liờn quan , xanh lỏ, xanh dẽng Feature Transform SVM Support vector machine v Mỏy vector hẩ trề a K hiêu toỏn hc M ẻ di ca mẻt vector c trng N Kớch thểc ca cẽ s d liêu Ênh T Sậ bẻ c trng t Chứ sậ bẻ c trng Q, Ii ẫnh truy vòn v Ênh th i cẽ s d liêu Ii Vector c trng chuân hoỏ ca Ênh th i Iit Vector c trng chuân hoỏ bẻ t ca Ênh th i Qt, I t Qit c trng bẻ t tẽng ng ca Ênh truy vòn Q v Ênh I bòt k c trng chuân hoỏ bẻ t ca Ênh truy vòn DQt (Ii ), D t (Q, Ii ) KhoÊng cỏch theo bẻ c trng t ca Ênh Ii so vểi Ênh truy vòn Q DQ (Ii ), D(Q, Ii ) KhoÊng cỏch Ênh Ii so vểi Ênh truy vòn Q trờn bẻ c trng kt hềp top k Tp gm k Ênh cú th hĐng tẽng tá cao nhòt ậi vểi Ênh truy vòn NB Tp Ênh cú ẻ tẽng tá cao nhòt theo c trng ton cc mẻt tra cu NB Tp Ênh ềc xỏc nhn khụng liờn quan phÊn hi ca ngèi dựng NB + Tp Ênh ềc xỏc nhn liờn quan phÊn hi ca ngèi dựng NBt Tp Ênh cú ẻ tẽng tá cao nhòt theo c trng bẻ t mẻt tra cu NB Tp Ênh cú th hĐng ẻ tẽng tá cao v thuẻc NB cu vi mẻt tra NB Tp Ênh cha ềc tra cu (D) Vt,c Tõm cm c giỏ tr khoÊng cỏch bẻ c trng t theo FCM Vt (D) Tp tõm cm theo bẻ c trng t Vt,c,j Tõm cm c ca thnh phản c trng j bẻ c trng t theo phõn cm mè FCM wt Trng sậ khoÊng cỏch ca bẻ c trng t p t,c,i Giỏ tr ẻ thuẻc ca phản t th i bẻ c trng t so vểi cm c, p l sậ FCM (l),NB + t,kIt k ẻ lêch chuân theo ẻ di c trng bẻ c trng t lản lp th (l),NB + t (I ) t,DQ i ẻ lêch chuân khoÊng cỏch bẻ c trng t lản lp th l ậi vểi l ậi vểi cỏc Ênh NB + cỏc Ênh NB + t,c,i ẻ lêch chuân thnh phản j ca bẻ c trng t theo cm c (D) t,c ẻ lêch chuân khoÊng cỏch bẻ c trng t theo cm c vii Danh sỏch hỡnh v 0.1 0.2 Hê thậng tra cu Ênh dáa vo nẻi dung Hê thậng xuòt 1.1 1.2 1.3 Thnh phản th nhòt ca c trng mụ men mu 15 Phõn bậ d liêu thnh phản ca c trng mụ men mu (gậc) 18 (a) Phõn bậ d liêu thnh phản lềc c trng lềc HSV (gậc) (b) Lềc c trng lềc HSV chuân hoỏ theo lut thnh phản th 5, 97.4555% d liêu rẽi vo [-1,1] 18 1.4 1.5 1.6 ẫnh truy vòn mandolin image 0001.jpg Hê thậng tra cu vểi Ênh truy vòn mandolin image 0001.jpg Kt quÊ top 20 cỏc Ênh tẽng tá nhòt vểi Ênh truy vòn lản tra cu tĐo Hai Ênh cú ng nghổa tẽng ng Lềc mu ca Ênh truy vòn v hai Ênh kt quÊ top 20 Minh hoĐ siờu phỉng 1.7 1.8 1.9 2.1 2.2 2.3 2.4 2.5 2.6 2.7 Mụ hỡnh thậng xuòt Minh hoĐ chuân húa FCM Minh hoĐ tớnh chòt bÊo ton th tá ca chuân hoỏ FCM Phõn bậ d liêu gậc thnh phản th nm ca cỏc c trng (a) Lềc mu HSV, (b) lềc tá tẽng quan mu, (c) mụ men mu, (d) kt còu Gabor, (e) mụ men Wavelet, (f) GIST (a) Phõn bậ d liêu c trng lềc HSV (chuân hoỏ ) thnh phản gm 97.45% thuẻc [-1,1] (b) Phõn bậ d liêu c trng lềc HSV (chuân hoỏ FCM ) thnh phản gm 99.81% thuẻc [-1,1] (a) Phõn bậ d liêu c trng autoCorrelogram (chuân hoỏ ) thnh phản gm 98.02% thuẻc [-1,1] (b) Phõn bậ d liêu c trng autoCorrelogram (chuân hoỏ FCM ) thnh phản gm 99.9955% thuẻc [-1,1] (a) Phõn bậ d liêu c trng mụ men mu (chuân hoỏ ) thnh phản gm 99.68% thuẻc [-1,1] (b) Phõn bậ d liêu c trng mụ men mu (chuân hoỏ FCM ) thnh phản gm 100% thuẻc [-1,1] viii 19 19 20 20 21 32 38 42 43 56 57 57 58 Ph lc A Mẻt sậ cẽ s d liêu Ênh s dng Trong phản ny lun ỏn giểi thiêu mẻt sậ cẽ s d liêu Ênh chuân ó ềc s dng thác nghiêm mẻt sậ cụng trỡnh nghiờn cu ca lun ỏn A.1 Corel Cẽ s d liêu Corel l mẻt cẽ s d liêu lển ca cỏc Ênh chp cỏc cÊnh khỏc Nú ềc s dng rẻng rói lổnh vác tra cu Ênh dáa vo nẻi dung, so sỏnh dáa trờn cẽ s d liêu ny l ròt khú khn bi vỡ kớch cễ ca cẽ s d liêu l khng l v cỏc nhúm khỏc s dng cỏc khỏc ca cẽ s d liêu ny Kớch cễ ca cẽ s d liêu s dng dao ẻng gia 30000 thậng BlobWorld v 200000 thậng SIMPLIcity [110] Cỏc Ênh cẽ s d liêu ny thèng cú kớch cễ 384 256 hoc 256 384 im Ênh Cẽ s d liêu ny ềc ghi chỳ, nhng sá ghi chỳ ềc lm bi nhiu ngèi v chòt lềng ghi chỳ gia cỏc Ênh cng khỏc Do vy, nú khụng cú khÊ nng s dng trác tip ỏnh giỏ hiêu nng Mẻt sậ Ênh vớ d v cỏc ghi chỳ ca nú ềc a Hỡnh A.1 Cỏc hỡnh ny cho thòy cỏc ghi chỳ l khụng chc chn ỳng õy mẻt Ênh cú sá sai sút ghi chỳ (perfomer thay vỡ performer) Trong mẻt Ênh khỏc õy l mẻt t ềc vit theo hai cỏch khỏc (grouper, growper) Sá ghi chỳ cho cẽ s d liêu bao gm tng sậ 184988 111 Ph lc 112 Young Tibetan Addax addax Maca-Plaid Women, Eastern grass tree Skirt people Tibet people wowoman plaid men mountain Market Niger people food Tiger Growper Nevada Falls waHiding In Coral terfall trees rock tiger grouper fish coral Manhattan From New Jersey buildings downtown high-rises The Grand Finale, Winners One And All people stage perfomers Along River market Hỡnh A.1 Cỏc Ênh vớ d t cẽ s d liêu Corel cỏc t, 13811 cỏc t khỏc Nh vy, mẩi Ênh trung bỡnh ềc ghi chỳ băng 6.27 t, cỏc t ghi chỳ tậi a l 15 v tậi thiu l Theo ú, chỳng ta cú mẻt t in gản 14000 lểp ú mẩi Ênh l thnh viờn ca trung bỡnh lểp A.2 Wang Cẽ s d liêu Wang [110] l mẻt ca cẽ s d liêu Corel gm 1000 Ênh m ó ềc láa chn th cụng cho mẻt cẽ s d liêu gm 10 lểp, mẩi lểp 100 Ênh Ph lc 113 Chõu Phi bin di tớch xe but khng long voi hoa hng ngáa nỳi thc n Hỡnh A.2 Mẻt Ênh mđu t mẩi lểp ca 10 lểp ca cẽ s d liêu Wang (xem ph lc A, Hỡnh A.4 v BÊng A.1) Cỏc Ênh ềc phõn chia vo 10 lểp m Êm bÊo chc chn ngèi dựng muận tỡm cỏc Ênh khỏc t mẻt lểp nu truy vòn mẻt 10 lểp ú õy l mẻt lềi th lển ca cẽ s d liêu ny bi vỡ sá phõn lểp cho nú cú th ỏnh giỏ kt quÊ tra cu Mẻt vớ d ca mẩi lểp cú th xem Hỡnh A.2 Cẽ s d liêu ny cng ềc s dng cho cỏc thác nghiêm phõn lểp Cẽ s d liêu ny ềc s dng rẻng rói cho kim nghiêm cỏc c trng khỏc bi vỡ kớch thểc ca cẽ s d liêu v tớnh khÊ dng ca thụng tin lểp cho phộp sá ỏnh giỏ hiêu nng Cẽ s d liêu ny ềc tĐo bi Wang v cẻng sá v cú th tÊi phớ tĐi õy õy l mẻt ca cẽ s d liêu Corel, cỏc Ênh u cú kớch thểc 384 256 hoc 256 384 im Ênh A.3 Caltech 101 Cẽ s d liêu Caltech 101 [26] bao gm cỏc Ênh ậi tềng theo 101 ch Mẩi ch cú khoÊng 40 n 800 Ênh Kớch thểc mẩi Ênh xòp xứ 300 200 im Ênh (xem ph lc A, Hỡnh A.3 , BÊng A.2) http://wang.ist.psu.edu Ph lc A.4 114 Oxford Building Cẽ s d liêu Oxford Building [81] bao gm 5062 Ênh ẻ phõn giÊi cao (1024 768) t Flickr băng tỡm kim cỏc a danh c th ca Oxford Bẻ su ny ó ềc chỳ thớch th cụng tĐo mẻt ground truth khỏi quỏt cho 11 a danh khỏc (xem ph lc A, Hỡnh A.5, BÊng A.3) Mẩi a danh truy vòn khỏc ềc chn, cỏc Ênh ềc gỏn nhón mẻt bận khÊ nng : (1) Good - Ênh àp, rừ rng cỏc ậi tềng/to nh (2) OK - hẽn 25% ca ậi tềng l nhỡn thòy ềc (3) Junk - ớt hẽn 25% ca ậi tềng ềc nhỡn thòy, hoc cú mẻt mc ẻ ròt cao b che lòp hoc mộo mú (4) Absent - ậi tềng khụng ềc biu din Sậ lản xuòt hiên ca cỏc a danh khỏc phĐm vi v 220 cỏc Ênh Good v OK Tp Ênh v nhón ground truth ềc sặn tĐi õy Cẽ s d liêu Wang cú ground truth dáa vo ng nghổa ca Ênh (xem Hỡnh A.4 v BÊng A.1) Cẽ s d liêu Caltech 101 cú mẻt ground truth mc cao, dáa vo nghổa ng nghổa Cỏc Ênh thuẻc cựng mẻt lểp ềc xem nh cựng khỏi niêm (xem Hỡnh A.3, BÊng A.2) Cẽ s d liêu Oxford building s dng 55 truy vòn ỏnh giỏ hiêu nng trờn ground truth (xem Hỡnh A.5) Cỏc Ênh Good v OK ềc xem nh l cỏc mđu dẽng, cỏc Ênh Absent xem nh cỏc mđu õm v cỏc Ênh Junk xem nh cỏc mđu trậng Nhng mđu trậng ny ềc xem nh khụng tn tĐi cẽ s d liêu, vy hiêu nng khụng b Ênh hng chỳng ềc trÊ v hoc khụng BÊng A.1 Danh sỏch 10 ch ca cẽ s d liêu Wang bin nỳi Chõu Phi thc n hoa hng di tớch http://www.flickr.com http://www.robots.ox.ac.uk/~vgg/data/ khng long voi ngáa xe but Ph lc 115 BÊng A.2 Danh sỏch 101 ch ca cẽ s d liêu Caltech 101 Accordion Camera Electric Ibis Nautilus Soccer ball Inline Octopus Stapler Okapi Starfish Euphonium Kangaroo Pagoda Stegosaurus Background Cellphone Ewer Ketch Panda Stop sign Google Chair Faces Lamp Pigeon Strawberry Barrel Chandelier Faces easy Laptop Pizza Sunflower Bass Cougar Ferry Leopards Platypus Tick Flamingo Llama Pyramid Trilobite Flamingo Lobster Revolver Umbrella Guitar Airplanes Cannon Elephant skate Anchor Car side Emu Joshua tree Ant Ceiling fan body Beaver Cougar face Binocular Crab head Bonsai Crayfish Garfield Lotus Rhino Watch Brain Crocodile Gerenuk Mandolin Rooster Water lilly Gramophone Mayfly Saxophone Wheelchair Grand Schooner Wild cat BrontosaurusCrocodile head Buddha Cup Menorah piano Butterfly Dalmatian Hawksbill Metronome Scissors Windsor chair Dollar bill Headphone Minaret Scorpion Wrench Dolphin Hedgehog Motorbikes Sea horse Yin Yang Dragonfly Helicopter Snoopy Ph lc 116 BÊng A.3 Danh sỏch 17 ch ca cẽ s d liêu Oxford Buildings All Souls Oxford Ashmolean Balliol Ox- Bodleian Christ Cornmarket Oxford ford Oxford Church Oxford Oxford Hertford Jesus Ox- Keble Ox- Magdalen New Oxford ford ford Oxford ford Oxford Pitt Rivers Radcliffe Trinity Worcester Oxford Camera Oxford Oxford Oxford Ox- Oriel ford Ox- Ph lc Hỡnh A.3 Mẩi mđu cho mẻt ch sậ 101 ch cẽ s d liêu Ênh Caltech 101 117 Ph lc Hỡnh A.4 Cỏc mđu ca cẽ s d liêu Wang, cỏc ch ng nghổa : bin, Chõu Phi, hoa hng, khng long, ngáa, nỳi, thc n, di tớch, voi, xe but Mẩi dũng mẻt ch , vớ d mẩi ch Ênh tẽng ng t trờn xuậng dểi 118 Ph lc Hỡnh A.5 Ton bẻ 55 Ênh truy vòn ềc s dng ỏnh giỏ ground truth Mẩi dũng cho bit cỏc truy vòn khỏc cho cựng cÊnh a danh Lu sá thay i lển v phĐm vi ca cỏc vựng truy vòn v thay i v trớ, ỏnh sỏng, v.v ca chớnh cỏc Ênh 119 Ph lc B Phản mm tra cu theo cỏc xuòt ca lun ỏn Hỡnh B.1 tĐo tra cu, cỏc Hỡnh B.2, B.3 v B.4 l kt quÊ tra cu lản phÊn hi th nhòt, th hai v th ba thậng xuòt Chẽng Hỡnh B.1 a mẻt Ênh vo thậng tra cu xuòt 120 Ph lc 121 Hỡnh B.2 Kt quÊ tra cu tĐo ca top Hỡnh B.3 Kt quÊ tra cu top 20 20 vũng phÊn hi th nhòt Ph lc 122 Hỡnh B.4 Kt quÊ tra cu top 20 vũng phÊn hi th hai Hỡnh B.5 Kt quÊ tra cu top 20 vũng phÊn hi th ba Ph lc 123 Hê thậng xuòt Chẽng ềc phỏt trin thnh ng dng hon chứnh mụ tÊ quỏ trỡnh tra cu Ênh dáa vo nẻi dung, Hỡnh B.6 tĐo tra cu mẻt Ênh trờn thậng xuòt, Hỡnh B.7 l kt quÊ top 20 Ênh liờn quan nhòt vểi truy vòn lản tra cu tĐo Cỏc Hỡnh B.8, B.9, B.10, B.11 l kt quÊ top 20 Ênh liờn quan nhòt vểi Ênh truy vòn ó ềc hiêu chứnh ẻ tẽng tá vểi sá dch chuyn truy vòn dáa vo ỏnh giỏ ca ngèi dựng v s dng ng viờn Pareto vũng phÊn hi th nhòt, th hai, th ba v th t tẽng ng Hỡnh B.6 a vo thậng mẻt truy vòn Hỡnh B.7 Kt quÊ tra cu tĐo top 20 Ph lc 124 Hỡnh B.8 Kt quÊ tra cu top 20 vũng phÊn hi th nhòt Hỡnh B.9 Kt quÊ tra cu top 20 vũng phÊn hi th hai Hỡnh B.10 Kt quÊ tra cu top 20 vũng phÊn hi th ba Ph lc 125 Hỡnh B.11 Kt quÊ tra cu top 20 vũng phÊn hi th t ... B.10 B.11 a mẻt Ênh vo thậng tra cu xuòt Kt quÊ tra cu tĐo ca top 20 Kt quÊ tra cu top 20 vũng phÊn hi th nhòt Kt quÊ tra cu top 20 vũng phÊn hi th hai Kt quÊ tra cu top 20 vũng phÊn hi... Kt quÊ tra cu tĐo top 20 Kt quÊ tra cu top 20 vũng phÊn hi th nhòt Kt quÊ tra cu top 20 vũng phÊn hi th hai Kt quÊ tra cu top 20 vũng phÊn hi th ba Kt quÊ tra cu top 20 vũng... ca kho Ênh ròt lển cỏch tip cn tra cu băng t khúa tr nờn khụng khÊ thi dđn tểi cỏc nghiờn cu khai thỏc tra cu dáa trờn nẻi dung d liêu Ênh Tra cu Ênh dáa vo nẻi dung (Content-based image retrieval)