Biên soạn: Lương Mạnh Bá Prepared by MSc Luong manh Ba Chng Cỏc k thut ỏnh giỏ Ni dung 9.1 Khỏi nim v vai trũ ca ỏnh giỏ thit k tng tỏc ngi mỏy 9.2 Cỏc kiu ỏnh giỏ 9.3 ỏnh giỏ thit k 9.4 ỏnh giỏ ci t 9.5 La chn phng phỏp ỏnh giỏ HUT, Falt of IT Dept of SE, August-2002 HCI Three 30 Prepared by MSc Luong manh Ba 9.1 Khỏi nim v vai trũ ca ỏnh giỏ thit k tng tỏc ngi mỏy ỏnh giỏ khụng phi l mt giai on qỳa trỡnh thit k m l nhim v trung tõm ca quỏ trỡnh thit k Nú din sut vũng i ca HCI ỏnh giỏ l thu thp d liu kim tra v tớnh dựng c ca thit k Ba mc ớch chớnh ca ỏnh giỏ: i) Khng nh tớnh m rng cỏc chc nng ca h thng ii) Khng nh tớnh hiu qu ca giao tip HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba 9.1 Khỏi nim v vai trũ ca ỏnh giỏ thit k tng tỏc ngi mỏy (tip) iii) Xỏc nh mt s c bit ny sinh quỏ trỡnh s dng Chc nng ca HT l quan trng: cú ỏp ng vi c t yờu cu ND? Thit k HT phi cú kh nng ỏp ng cỏc nhim v t mt cỏch d dng: - Hnh ng m ND cn thc hin nhim v - ỏnh giỏ kh nng s dng ca HT vi cỏi m ND mong i HUT, Falt of IT Dept of SE, August-2002 HCI Three 32 Prepared by MSc Luong manh Ba 9.1 Khỏi nim v vai trũ ca ỏnh giỏ thit k tng tỏc ngi mỏy tip) Tớnh hiu qu ca giao tip ND: - Lng hoỏ c cỏc tiờu ca thit k vi ND - Tớnh d hc - Tớnh s dng li - Trng thỏi ca ND - Xỏc nh cỏc lnh vc ca TK cht lờn ngi dựng theo mt cỏch no ú HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba 9.1 Khỏi nim v vai trũ ca ỏnh giỏ thit k tng tỏc ngi mỏy (tip) Mt s ny sinh quỏ trỡnh TK: - Sc thỏi ca TK cha c s dng cú to nờn kt qu khụng mong i? -V c : chc nng v tớnh dựng c HUT, Falt of IT Dept of SE, August-2002 HCI Three 34 HCI Three 31 HCI Three 33 Prepared by MSc Luong manh Ba 9.2 Cỏc kiu ỏnh giỏ i) ỏnh giỏ PTN ii) ỏnh giỏ thc nghim iii) ỏnh giỏ giai on TK iv) ỏnh giỏ giai on ci t 9.2.1 ỏnh giỏ PTN - Ni tin hnh: PTN - Dựng giai on TK - Ngi TK thc hin mt s khng nh khụng cn/cú s hin din ca ND HUT, Falt of IT Dept of SE, August-2002 HCI Three 35 Biên soạn: Lương Mạnh Bá Prepared by MSc Luong manh Ba 9.2 Cỏc kiu ỏnh giỏ (tip) - Cỏc trang b cn thit cú th c yờu cu nh thit b nghe nhỡn, thit b ghi, 8.2.2 ỏnh giỏ TN - Dựng giai on TK hay ci t - Vic ỏnh giỏ thc hin mụi trng ND nhm ỏnh giỏ HT hot ng v trng thỏi ND HUT, Falt of IT Dept of SE, August-2002 HCI Three 36 Prepared by MSc Luong manh Ba 9.2 Cỏc kiu ỏnh giỏ (tip) - Hn ch: ting n, chuyn ng => mt trung - Do mụi trng t nhiờn nờn khỏch quan - ỏnh giỏ c cỏc hot ng thng ngy, thỏng, => c a chung HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba 9.3 ỏnh giỏ giai on thit k Mc ớch - Dựng giai on TK => trỏnh c mt s sai sút ỏng tic - Cỏc sai sút phỏt hin c giai on cui s lm gim chi phớ - Mt s phng phỏp ỏnh giỏ s c d oỏn HUT, Falt of IT Dept of SE, August-2002 HCI Three 38 Prepared by MSc Luong manh Ba 9.3 ỏnh giỏ giai on thit k (tip) Cỏc k thut - Cognitive WalkThrough - ỏnh giỏ kiu Heuristic - ỏnh giỏ da vo mụ hỡnh - ỏnh giỏ da vo xem xột li HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba 9.3.1 Cognitive WalkThrough HCI Three 37 HCI Three 39 Prepared by MSc Luong manh Ba 9.3.1 Cognitive WalkThrough bc tin hnh - L phng phỏp cú tớnh d oỏn kiu Review nhm phỏt hin t rt sm - Xõy dng cỏc nh ngha t cỏc nhim v c t HT hoc t mn hỡnh "mock-up": t mn hỡnh ny qua mn hỡnh khỏc - Ngi ỏnh giỏ duyt qua mt chui hnh ng kim tra tớnh dựng c Mc ớch chớnh ca k thut ny l thit lp tớnh d hc v d dựng ca h thng HUT, Falt of IT Dept of SE, August-2002 HCI Three 40 bc cn tin hnh: i) Mt mụ t v nguyờn mu ca HT, khụng cn y song cng nờn khỏ chi tit thớ d nh v trớ v ngụn t cho menu ii) Mt mụ t v nhim v m ND phi thc hin Nhim v phi mang tớnh tiờu biu, cỏi m ND hay lm iii) Mt danh sỏch chi tit cỏc hnh ng cn thit hon thnh nhim v theo nguyờn mu iV) Mt ch dn v ND l v cỏc tri thc, kinh nghim m ngi ỏnh giỏ cú th gi nh HUT, Falt of IT Dept of SE, August-2002 HCI Three 41 Biên soạn: Lương Mạnh Bá Prepared by MSc Luong manh Ba Prepared by MSc Luong manh Ba 9.3.1 Cognitive WalkThrough 9.3.1 Cognitive WalkThrough cõu hi cõu hi(tip) => Vi thụng tin trờn, ngi ỏnh giỏ thc hin chui cỏc hnh ng v a cỏc ý kin v tớnh dựng c Vi mi hnh ng, ngi ỏnh giỏ c gng tr li cõu hi: i) ND c to bt c tỏc ng gỡ trờn hnh ng ú? Nhng khng nh v nhim v m hnh ng c h tr ỳng theo kinh nghim v tri thc ca ND trờn tng tỏc ú ii) ND cú kh nng ý hnh ng ỳng l cú? Thớ d, ND cú nhỡn thy phớm hay mt mc ca menu, qua ú hnh ng tip l ang thc hin bi HT iu ny cú ngha l ND s thy phớm ú (hay mc ú) ti thi im h cn (Khụng nht thit phi bit) HUT, Falt of IT Dept of SE, August-2002 HCI Three 42 iii) Khi ND tỡm thy mt hnh ng ỳng trờn giao tip liu h cú bit ú l cỏi nht ỳng cho mc ớch m h c to ra? Cú th ú l mt phớm lnh/ mc menu quan sỏt c nhng liu ND cú bit ú l cỏi m h cn hon thnh nhim v iV)Sau hnh ng tin hnh, ND s hiu phn hi ca HT? Gi s rng ND ó chn ỳng hnh ng, h s bit tip cỏi gỡ? ú l vic hon thnh chu trỡnh tng tỏc ỏnh giỏ/thc hin HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba HCI Three 43 Prepared by MSc Luong manh Ba 9.3.1 Cognitive WalkThrough 9.3.1 Cognitive WalkThrough hỡnh thc tin hnh hỡnh thc tin hnh (tip) Cognitive Walkthrough start-up sheet: Interface Task Evaluator: Date Task Description: Action Sequence: Anticiopated User: User's inition Goal: HUT, Falt of IT Dept of SE, August-2002 HCI Three 44 Next action #: - Description -1 Correction goal Problem forming Correction goals Problem identifying Action HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba HCI Three 45 Prepared by MSc Luong manh Ba 9.3.1 Cognitive WalkThrough 9.3.1 Cognitive WalkThrough hỡnh thc tin hnh (tip) Thớ d Mc tiờu: Thit k iu khin t xa cho Video nhm cho phộp ND lp trỡnh chn la thi gian ghi Thit k ban u: hỡnh xxx - Hỡnh mt: cỏc phớm trng thỏi s dng bỡnh thng - Hỡnh hai: phớm ghi thi gian c nhn Video cho phộp ND lp trỡnh ch ghi theo chui khỏc S hiu chui tip theo cú th c t ng thit lp Chỳng ta mun bit liu thit k ca mỡnh cú h tr nhim v ND khụng? Chỳng ta bt u bng vic xỏc nh nhim v tiờu biu Problem performing the action - HUT, Falt of IT Dept of SE, August-2002 HCI Three 46 HUT, Falt of IT Dept of SE, August-2002 HCI Three 47 Biên soạn: Lương Mạnh Bá Prepared by MSc Luong manh Ba Thit k iu khin t xa (tip) Thit k iu khin t xa Time: 21:45 Chanel:3 H ỡ n h 1 Start: 1800 End: 1915 Chanel:4 Date: H ỡ n h 2 9 >> Dept of SE, August-2002 HUT, Falt of IT Prepared by MSc Luong manh Ba >> HCI Three 48 - Gi s ND quen thuc vi ghi hỡnh nhng khụng bit thit k chuyờn dng ny - Bc tip theo ca Walkthrough l xỏc nh chui hnh ng cn phi tin hnh Chỳng ta c t iu ny theo thut ng hnh ng ND (Action) v ỏp ng ca HT (System Response): Action A: Nhn phớm thi gian ghi ỏp ng A: Chuyn v hin th theo mode thi gian Con tr xut hin sau ch Start HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba HCI Three 49 Prepared by MSc Luong manh Ba Thit k iu khin t xa (tip) Thit k iu khin t xa (tip) Action B: Nhn s 1800 ỏp ng B: Mi ch s c hin sau nhn v Action F: Nhn s ỏp ng F: Mi ch s c hin sau nhn v tr chuyn v v trớ tip tr chuyn v v trớ tip Action C: Nhn phớm ghi thi gian ỏp ng C: tr chuyn v sau v trớ End Action D: Nhn s 1915 ỏp ng D: Mi ch s c hin sau nhn v Action G: Nhn phớm ghi thi gian ỏp ng G: tr chuyn v sau v trớ Date Action H: Nhn s 010199 ỏp ng H: Mi ch s c hin sau nhn v tr chuyn v v trớ tip tr chuyn v v trớ tip Action E: Nhn phớm ghi thi gian ỏp ng E: tr chuyn v sau v trớ Chanel HUT, Falt of IT Dept of SE, August-2002 HCI Three 50 Action I: Nhn phớm ghi thi gian ỏp ng I: S hiu chui hin lờn gúc phi trờn mn hỡnh HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba HCI Three 51 Prepared by MSc Luong manh Ba Thit k iu khin t xa (tip) Thit k iu khin t xa (tip) Action J: Nhn phớm truyn ỏp ng J: D liu c truyn i v chuyn v ch Giao tip khụng cung cp ch dn no ND nhn phớm ghi thi gian Tuy nhiờn, iu ú chp nhn c vỡ gi thit l ND quen thuc vi mỏy ghi Video bỡnh thng - Sau ó thit lp chui hnh ng, tin hnh ỏnh giỏ bi Walkthrough Vi mi action A, B, , ta phi tr li cõu hi sau v núi v tớnh dựng c ca HT Bt u vi hnh ng A: Action A: Nhn phớm ghi thi gian Cõu hi 1: ND cú c gng to nờn bt c tỏc ng no hnh ng xy ra? HUT, Falt of IT Dept of SE, August-2002 HCI Three 52 Cõu hi 2: ND cú kh nng ý hnh ng ỳng l cú? Phớm ghi thi gian cú trờn iu khin t xa Cõu hi 3: Khi ND tỡm thy mt hnh ng ỳng trờn giao tip liu h cú bit ú l cỏi nht ỳng cho mc ớch m h c to ra? Khụng rừ rng vi phớm ghi thi gian Biu tng ng h trờn /k t xa cú th l ng c viờn, nhiờn nú cú th hiu l phớm dựng thay i thi gian HUT, Falt of IT Dept of SE, August-2002 HCI Three 53 Biên soạn: Lương Mạnh Bá Prepared by MSc Luong manh Ba Prepared by MSc Luong manh Ba Thit k iu khin t xa (tip) ng c viờn khỏc cú th nh l phớm th bờn trỏi (phớm ny liờn quan ti ghi) Túm li, biu tng ng h l la chn ỳng, song rt cú th ND b nhm ti im ny Cõu hi 4: Sau hnh ng tin hnh, ND s hiu phn hi ca HT? Ngay sau hnh ng c lm, vic hin th ó thay i ch v cỏc dũng hin lờn l khỏ thõn thuc vi ND (Start, End, ) C theo cỏch nh vy tin hnh cho cỏc hnh ng HUT, Falt of IT Dept of SE, August-2002 HCI Three 54 9.3.2 K thut Heuristic - L cỏc nguyờn tc chung hay cỏc guidline cú th tr giỳp mt quyt nh TK - Do Jacob Nielsen v Rolf Molich xut - Dựng giai on u ca TK nhm c nh tớnh dựng c - ý tng chớnh l nhiu ỏnh giỏ c lp c tin hnh kim tra tớnh dựng c - mu mo v 10 qui nh HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba Prepared by MSc Luong manh Ba heuristics heuristics (tip) 1) i thoi n gin v t nhiờn - n gin: s dng ớt thụng tin - T nhiờn: lnh gn vi yờu cu 2) Núi ngụn ng ND - S dng cỏch núi ca ND - Khụng dựng thut ng cụng ngh c bit 3)Gim ti ti thiu cho b nh ND - Khụng bt ND phi nh cho hnh ng tip sau - Lu li thụng tin trờn hình cho n ND khụng cn na HUT, Falt of IT Dept of SE, August-2002 HCI Three 56 4) Tớnh nht quỏn 5) Phn hi thụng tin 6) X lý tỡnh thoỏt: ND gp tỡnh m h khụng cn => cung cp li thoỏt 7) To li tt: Giỳp ngi dựng cú kinh nghim trỏnh nhng i thoi v thụng tin khụng cn thit 8)Cú thụng bỏo li tt 9) D bỏo li HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba 10 Qui nh (tip) 1) Thy c cỏc trng thỏi ca HT: HT luụn cho ND thy cỏi h s lm qua thụng tin phn hi thi gian hp lý 2)S t v qun lý ND: ND cú th gp li, vy phi cú thoỏt khn cp 3)D bỏo li 4) Chun hoỏ v nht quỏn 5) i sỏnh HT vi th gii thc Dept of SE, August-2002 HCI Three 57 Prepared by MSc Luong manh Ba 10 Qui nh (tip) HUT, Falt of IT HCI Three 55 HCI Three 58 6)Nhn bit ch khụng phi nh li: to cho i tng, hnh ng v cỏc la chn dễ dng nhn bit bi ND ch khụng cn nh 7)S dng hiu qu v mm Dựng c cho c ND cú/khụng cú kinh nghim 8)Thit k n gin v cú thm m 9)Tr giỳp ND nhn bit, i thoi v phc hi t trng thỏi li 10) Tr giỳp v ti liu HUT, Falt of IT Dept of SE, August-2002 HCI Three 59 Biên soạn: Lương Mạnh Bá Prepared by MSc Luong manh Ba 9.3.3 K thut da vo Review - ỏnh giỏ kiu Heuristic Molich & Nelson a 1990: dựng cỏc UD nh, thi gian ỏnh giỏ chng 2h Tuy nhiờn cú th nhiu hn nu UD ln - ỏnh giỏ kiu Discount usability: chi phớ thp, thi gian v ti nguyờn khụng nhiu HUT, Falt of IT Dept of SE, August-2002 HCI Three 60 Prepared by MSc Luong manh Ba 9.3.4 K thut da vo mụ hỡnh L k thut ỏnh giỏ ũi hi: - c t chc nng ca HT phn cú liờn quan - Mt phõn tớch nhim v cha danh sỏch nhim v v gỏn chỳng thnh cỏc thnh phn - Cu trỳc nhim v t n gin n phc - Cỏc thao tỏc ND cú th ỏnh giỏ bng phng phỏp gii tớch - Mụ hỡnh vt lý Keytrock hay c ỏp dng HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba 9.3.4 K thut da vo mụ hỡnh (tip) Thớ d: " Save File MS Word" - Phng tin: Dựng chut v menu pull down - Gi thit: Nhim v bt u bng thao tỏc Homming ND t tay lờn chut Thi gian nhn phớm l 0.35s, thi gian ỏp ng ca HT l 1,2s - Dóy thao tỏc: 1) Bt u TH HUT, Falt of IT Dept of SE, August-2002 HCI Three 62 Prepared by MSc Luong manh Ba 9.3.4 K thut da vo mụ hỡnh (tip) 2) Chuyn tr n menu trờn nh mn hỡnh: TP cng vi thi gian suy ngh TM tng thi gian: TP+TM 3) Chn trờn menu File (nhn File), dch chuyn tr ri chn Save: tng thi gian: TM+ TK(File)+TP+TK (Save ) 4) MS Word: nhc nhp tờn tp: TR , ND nhn File2.4,TK(return): TR+ TM+TK (File-2.4)+ TK(return) Vi TH = 0.4, TM = 1.35, TP = 1.1, TK = 0.35, TR = 1.2 => tng thi gian: 13.05s HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba 9.4 ỏnh giỏ ci t - Cú s hin din ca ND v h thng ó c ci t - Cú th s dng mụ phng hay mu th - k thut chớnh: i) ỏnh giỏ thc nghim ii) K thut quan sỏt iii) K thut hi ỏp HUT, Falt of IT Dept of SE, August-2002 HCI Three 64 HCI Three 61 HCI Three 63 Prepared by MSc Luong manh Ba 9.4.1 ỏnh giỏ thc nghim - Khú thc hin phũng thớ nghim - L mt cỏc phng phỏp quan trng ỏnh giỏ TK hay khớa cnh no ú ca TK - Cỏch thc tin hnh: xut gi thit ỏnh giỏ thụng qua mt s bin c lp/ph thuc v nhm ỏnh giỏ mt s khớa cnh c trng ca TK=> /k ỏnh giỏ c thay i thụng qua giỏ tr mt s bin -Ba thụng s: ch (subjects), bin (variables) v gi thit (hypothesis) HUT, Falt of IT Dept of SE, August-2002 HCI Three 65 Biên soạn: Lương Mạnh Bá Prepared by MSc Luong manh Ba 9.4.1 ỏnh giỏ thc nghim (tip) a) Ch - Vic la chn ch l quyt nh ti thnh cụng ca ỏnh giỏ - Ch chn phi sỏnh c vi k vng ca lp ND Lý tng l kim tra vi s hin din ca ND Tuy nhiờn khụng phi luụn cú th Nu ND khụng phi l ND thc s thỡ phi chn lp tng t: tui, tri thc, - Mu chn phi ln v c trng (ớt nht l 10) HUT, Falt of IT Dept of SE, August-2002 HCI Three 66 Prepared by MSc Luong manh Ba 9.4.1 ỏnh giỏ thc nghim (tip) b) Bin/i lng - Thc nghim qun lý v o cỏc i lng di iu kin c kim soỏt nhm kim tra gi thit - Hai loi bin: loi qun lý v loi o Loi th nht gi l bin c lp, loi th hai l ph thuc - Bin c lp: l cỏc c trng ca thc nghim, nhm to cỏc /k so sỏnh nh: kiu giao tip, mc tr giỳp, s mc menu, Vi cỏc test phc => cn nhiu bin c lp HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba HCI Three 67 Prepared by MSc Luong manh Ba 9.4.1 ỏnh giỏ thc nghim (tip) 9.4.1 ỏnh giỏ thc nghim (tip) Thớ d: a s kim tra ỏnh giỏ vic chn on VB h STVB: nh v, chn, m rng => trờn c s ú ỏnh giỏ - Bin ph thuc: l cỏc bin cú th o m c theo nhiu cỏch Thớ d tc la chn menu c) Gi thit - Gi thit l mt s d oỏn kt qu ca thc nghim c hỡnh thnh t biến c lp v bin ph thuc: thớ d nh thay i giỏ tr bin c lp s to nờn s thay i bin c lp - Mc ớch ca thc nghim l ch rng cỏc d oỏn l chớnh xỏc Ngi ta thng dựng cỏc s o thng kờ so sỏnh vi cỏc cỏc mc cú ngha khỏc HUT, Falt of IT Dept of SE, August-2002 HCI Three 68 d)Thit k thc nghim - to kt qu tin cy c v cú tớnh khỏi quỏt, mt thc nghim phi c thit k cn thn - Qui trỡnh: 1- xem xột cỏc yu t m thc nghim phi xem xột nh ch , bin v gi thit 2- La chn phng phỏp: gia cỏc nhúm v ni b nhúm HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba Thit k thc nghim (tip) HCI Three 69 Prepared by MSc Luong manh Ba Thit k thc nghim(tip) Phng phỏp gia cỏc nhúm (random): Phng phỏp nhúm (within group): - Mi mt ch c gỏn cho mt iu kin khỏc Phi cú ớt nht iu kin: iu kin thc nghim (cỏc bin c iu khin) v iu kin kim tra Vic kim tra ny dựng khng nh rng iu khin s chu trỏch nhim v nhng cỏi khỏc s c o m - S lng nhúm (>=2) ph thuc s lng bin c lp - u im: tỏc ng ca vic hc thu c t kt qu thc hin ca ND /k Mi ND thc hin /k - Nhc im: ũi hi nhiu ch => s khỏc gia cỏc nhúm cú th ph nhn bt c kt qu no - Mi ND s thc hin iu kin khỏc Thit k ny cú th phi chu ng t vic truyn tỏc ng hc Tuy nhiờn cú th hn ch c nu th t ú iu kin c ND xem xột b thay i - u im: chi phớ thp cn ớt ND v s hiu qu nu cú o to Vic la chn phng phỏp ph thuc vo ti nguyờn, ch tiờu biu, Cỏc test khỏc s to nờn cỏc khng nh khỏc v d liu v nu nh test la chn khụng ỳng, thỡ kt qu cú th khụng hp lý HUT, Falt of IT Dept of SE, August-2002 HCI Three 70 HUT, Falt of IT Dept of SE, August-2002 HCI Three 71 Biên soạn: Lương Mạnh Bá Prepared by MSc Luong manh Ba Prepared by MSc Luong manh Ba S o thng kờ (tip) S o thng kờ Hai lut cho phõn tớch thng kờ l Quan sỏt v Lu tr d liu: - Quan sỏt: d dng thc hin kim tra thng kờ qua th, lu hoc bng giỏ tr - Lu tr: quan trng cho cỏc phng phỏp phõn tớch v sau - Vic la chn phng phỏp phõn tớch thng kờ ph thuc vo kiu d liu v cõu hi m chỳng ta mun tr li HUT, Falt of IT Dept of SE, August-2002 HCI Three 72 - Cỏc bin cú th l loi ri rc hay liờn tc Bin ri rc ch cú th nhn mt hu hn cỏc giỏ tr hay mc , thớ d nh mu mn hỡnh: , xanh, trng, Bin liờn tc cú th nhn vụ s giỏ tr, thớ d nh thi gian hon thnh nhim v Bin liờn tc cú th chuyn v ri rc bng cỏch phõn lp (thp, trung bỡnh, cao, ) - Bin ph thuc l bin o c v tu thuc vo cỏc bin th ca thc nghim ngu nhiờn HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba HCI Three 73 Prepared by MSc Luong manh Ba S o thng kờ (tip) S o thng kờ (tip) - Trong trng hp bin liờn tc v d liu tuõn theo mt phõn b ó bit, mt s test thng kờ c bit cú th s dng Cỏc test nh th gi l test cú tham s v phõn b hay c dựng l phõn b chun iu ny cú ngha l ta v biu ca sai s ngu nhiờn, ta s thu c dng hỡnh chuụng ni ting Sỏc xut m sai s >1.96 Lc ca phõn b chun Chi tit xem [2] t trang 420 n 423 HUT, Falt of IT Dept of SE, August-2002 HCI Three 74 HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba Prepared by MSc Luong manh Ba 9.4.2 K thut quan sỏt - K thut khụng hỡnh thc, cú th quan sỏt hay dựng video - Quan sỏt trc tip: quan sỏt ND trng thỏi ang lm vic => hiu qu, thi gian Nhc im: ND cú th mt trung - Quan sỏt giỏn tip: quay video => phõn tớch kt qu thu nhn c - Hay s dng k thut think aloud v ỏnh giỏ th (cooperative evaluation) HUT, Falt of IT Dept of SE, August-2002 HCI Three 76 HCI Three 75 Think aloud - K thut nhm mụ t cỏi ND tin s xy ra, ti li hnh ng nh vy v h s c lm cỏi gỡ? - u im ca k thut ny l n gin, ũi hi ớt tri thc thc hin v cho s hiu thu ỏo v cỏc vi giao tip => h thng ang c s dng th no - Thụng tin thng l ch quan v cú chn lc - Mi hnh ng miờu t cỏi m bn s lm thng thay i theo cỏch bn lm HUT, Falt of IT Dept of SE, August-2002 HCI Three 77 Biên soạn: Lương Mạnh Bá Prepared by MSc Luong manh Ba Prepared by MSc Luong manh Ba ỏnh giỏ th Th thc phõn tớch - L mt bin th ca think aloud, ú ND c gng xem mỡnh nh mt thnh viờn quỏ trỡnh ỏnh giỏ ch khụng n thun l ch th b thc nghim - Khi bt u tin hnh, ngi ỏnh giỏ cú th hi ND cỏc cõu hi nh: ti sao, cỏi gỡ nu - u im: + Qui trỡnh l ớt b rng buc v d hc bi ngi ỏnh giỏ + ND c gng phờ phỏn HT + Ngi ỏnh giỏ cú th ch rừ im nhm ln thi im xy v cc i hỏo hiu qu HUT, Falt of IT Dept of SE, August-2002 HCI Three 78 Cú nhiu cỏch ghi li hnh ng ND: i) Bỳt v giy ii) Ghi õm iii) Ghi hỡnh iv) Nht ký mỏy tớnh v) S tay ND Thng s dng phi hp cỏc phng phỏp S dng cỏc cụng c ghi t ng: Experimental Video Annotator, WorkPlace project, Dept of SE, August-2002 HUT, Falt of IT Prepared by MSc Luong manh Ba 9.4.3 K thut hi ỏp - K thut phng vn: cú cu trỳc, mm => cn xỏc nh mt s thụng s nh s cõu hi, cỏc gi ý - Hi v giỏm sỏt : dựng cõu hi dng úng hay dng m Cõu hi úng cú th dựng nh dng Multichoice; cõu hi m phi cú gi ý - Cỏc dng tr li cú th dựng bng, mu in HUT, Falt of IT Dept of SE, August-2002 HCI Three 80 Prepared by MSc Luong manh Ba 9.4.3 K thut hi ỏp (tip) - Thớ d Bn cú th s dng cỏc lnh ca h STVN? Yes No Tiờu - Ph thuc s tham gia ca ND ng cnh thc hin nhim v hay ỏnh giỏ Mi phng phỏp cú nhng u im v nhc im riờng - Cú nhiu yu t cn phi xem xột la chn cỏc k thut ỏnh giỏ HUT, Falt of IT Dept of SE, August-2002 HCI Three 82 Dont know Duplicate Paste HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba 9.5 La chn phng phỏp ỏnh giỏ HCI Three 79 HCI Three 81 Prepared by MSc Luong manh Ba 9.5 8.5 La La chn chn phng phng phỏp phỏp ỏnh ỏnh giỏ giỏ cỏc yu t phõn bit Cỏc yếu t phõn biệt cỏc k thut ỏnh giỏ - Giai on vũng i m ỏnh giỏ thc hin - Hỡnh thc ỏnh giỏ - Mc ch quan hay khỏch quan ca k thut - Kiu s o cung cp - Thụng tin cung cp - Mc an xen HUT, Falt of IT Dept of SE, August-2002 HCI Three 83 Biên soạn: Lương Mạnh Bá Prepared by MSc Luong manh Ba Cỏc yuchn t phõn bit phỏp cỏc kỏnh thut 8.5 La phng giỏ ỏnh giỏ (tip) - Ti nguyờn yờu cu i) ỏh giỏ ngc vi ci t - Trong giai on ci t cỏc yu t vt lý ó tn ti thớ d nh cỏc bn mock-up cho vic ci t y v cú cỏi gỡ ú c th cú th kim tra c - ỏnh giỏ giai on thit k cú khuynh hng ch liờn quan n cỏc chuyờn gia v mang tớnh phõn tớch, ú ỏnh giỏ ci t xem xột ND nh l ch th v l thc ghim HUT, Falt of IT Dept of SE, August-2002 HCI Three 84 Prepared by MSc Luong manh Ba Cỏc yuchn t phõn bit phỏp cỏc kỏnh thutgiỏ 8.5 La phng ỏnh giỏ (tip) ii)Phũng TN ngc vi thc nghim - ỏnh giỏ PTN cho phộp kim tra thc nghim v quan sỏt khụng cú mt ND, khụng t nhiờn - ỏnh giỏ Thực Nghiệm khc phc im yu trờn - Lý tng l tin hnh c kiu giai on TK iii)Khỏch quan ngc vi ch quan - Nhiu k thut mang tớnh ch quan nh Walkthrough hay think aloud da vo tri thc v kinh nghim ca cỏc nh ỏnh giỏ- ngi phi nhn thc c v phi hiu cỏi ND s lm HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba HCI Three 85 Prepared by MSc Luong manh Ba Cỏc yuchn t phõn bit phỏp cỏc kỏnh thut 8.5 La phng giỏ ỏnh giỏ (tip) Cỏc yuchn t phõn bit phỏp cỏc kỏnh thutgiỏ 8.5 La phng ỏnh giỏ (tip) iv)nh lng ngc vi nh tớnh - Kiu s o cung cp bi cỏc k thut ỏnh giỏ l mt yu t quan trng - Hai loi s o: nh tớnh v nh lng S o nh lng thng l s v d phõn tớch dựng cỏc k thut nh thng kờ; s o nh tớnh l phi s v khú phõn tớch nhng cú th cung cp cỏc chi tit quan trng m khụng th xỏc nh bng s - nh lng hay nh tớnh cú liờn quan n tớnh ch quan hoc khỏch quan ca k thut - K thut ch quan cú khuynh hng cung cp s o nh tớnh; k thut khỏch quan cung cp cỏc s o nh lng.Thụng tin cung cp - Cú th ỏnh x gia kiu s o, thớ d nh ỏnh giỏ kiu hi ỏp l nh tớnh, song nh lng theo t l v)Thụng tin cung cp - Mc thụng tin yờu cu cho ỏnh giỏ l khỏ a dng vi) ỏp ng tc thi - Mt s k thut nh Think aloud ghi li hnh vi ca ND ti thi im tng tỏc Mt s k thut khỏc nh Walkthrough li liờn quan n s kin ca ND HUT, Falt of IT Dept of SE, August-2002 HCI Three 86 HUT, Falt of IT Dept of SE, August-2002 Prepared by MSc Luong manh Ba Cỏc yuchn t phõn bit phỏp cỏc kỏnh thut 8.5 La phng giỏ ỏnh giỏ (tip) vii) Tớnh xõm phm - Mt s k thut c bit l cỏc k thut cung cp s o trc tip cú nh hng n cỏch thc ng x ca ND viii)Ti nguyờn - Thit b, thi gian, tin bc, kinh nghim chuyờn gia, ng cnh - Mt s quyt nh b bt buc hn ch v ti nguyờn thớ d nh phi dựng camera ỏnh giỏ song li khụng cú HUT, Falt of IT Dept of SE, August-2002 HCI Three 88 HCI Three 87 Prepared by MSc Luong manh Ba Phõn loi cỏc k thut ỏnh giỏ (k thut phõn tớch) Giai đoạn Hình thức Mục đích Số đo Thông tin Trực tiếp TínhGò bó Thời gian Thiết bị Hàn lâm Congitive Walkthrough Heuristic Evaluation Review Based Model Based Toàn PTN Không Định tính M/ độ thấp N/A Không TB Thấp Toàn PTN Không Định tính M/ độ cao N/A Không Thấp Thấp TB Thiết kế PTN Như TN Như TN Như TN Như TN Không TB-thấp Thấp Thấp Thiết kế PTN Không Định tính M/ độ thấp Như TN Không TB Thấp Cao Cao HUT, Falt of IT Dept of SE, August-2002 HCI Three 89 10 Biên soạn: Lương Mạnh Bá Prepared by MSc Luong manh Ba Phõn loi cỏc k thut ỏnh giỏ (k thut TN v hi ỏp) Giai đoạn Hình thức Mục đích Số đo Thông tin Trực tiếp TínhGò bó Thời gian Thiết bị Hàn lâm HUT, Falt of IT Thực nghiệm Toàn PTN Có Định tính M độ thấp/cao Có Có Cao TB TB Prepared by MSc Luong manh Ba Phõn loi cỏc k thut ỏnh giỏ (k thut phõn tớch) Phỏng vấn Toàn PTN/TN Không Định tính/ Định lượng M/ độ cao Hỏi đáp Toàn PTN/TN Không Định tính/ Định lượng M/ độ cao Giai đoạn Hình thức Mục đích Số đo Thông tin Không Không Thấp Thấp Thấp Không Không TB-thấp Thấp Thấp Trực tiếp TínhGò bó Thời gian Thiết bị Hàn lâm Dept of SE, August-2002 HCI Three 90 HUT, Falt of IT Suy nghĩ chủ yếu Cài đặt PTN/TN Không Định tính M/ độ thấp cao Có Có Cao Thấp TB Thể thức phân tích Cài đặt PTN/TN Không Định tính M/ độ thấp cao Có Có Cao Cao Cao Dept of SE, August-2002 Post-Task Walkthrough Cài đặt PTN/TN Không Định tính M/ độ thấp cao Không Không TB Thấp TB HCI Three 91 Prepared by MSc Luong manh Ba Kt lun ỏnh giỏ l phn tớch hp ca quỏ trỡnh thit k v phi tin hnh sut vũng i thit k tng tỏc Vic ỏnh giỏ TK nhm lm gim chi phớ v li Vic la chn mt phng phỏp ỏnh giỏ ph thuc nhiu vo yờu cu ỏnh giỏ HUT, Falt of IT Dept of SE, August-2002 HCI Three 92 11 [...]... bó Thời gian Thiết bị Hàn lâm Dept of SE, August-2002 HCI Three 90 HUT, Falt of IT Suy nghĩ chủ yếu Cài đặt PTN/TN Không Định tính M/ độ thấp hoặc cao Có Có Cao Thấp TB Thể thức phân tích Cài đặt PTN/TN Không Định tính M/ độ thấp hoặc cao Có Có Cao Cao Cao Dept of SE, August-2002 Post-Task Walkthrough Cài đặt PTN/TN Không Định tính M/ độ thấp hoặc cao Không Không TB Thấp TB HCI Three 91 Prepared... Three 91 Prepared by MSc Luong manh Ba Kt lun ỏnh giỏ l phn tớch hp ca quỏ trỡnh thit k v phi tin hnh trong sut vũng i thit k tng tỏc Vic ỏnh giỏ trong TK nhm lm gim chi phớ v li Vic la chn mt phng phỏp ỏnh giỏ ph thuc nhiu vo yờu cu ỏnh giỏ HUT, Falt of IT Dept of SE, August-2002 HCI Three 92 11 ...Biên soạn: Lương Mạnh Bá Prepared by MSc Luong manh Ba Phõn loi cỏc k thut ỏnh giỏ (k thut TN v hi ỏp) Giai đoạn Hình thức Mục đích Số đo Thông tin Trực tiếp TínhGò bó Thời gian Thiết bị Hàn lâm HUT, Falt of IT Thực nghiệm Toàn bộ PTN Có Định tính M độ thấp/cao Có Có Cao TB TB Prepared by MSc Luong manh Ba Phõn loi cỏc k thut ỏnh giỏ (k thut phõn tớch) Phỏng vấn Toàn bộ PTN/TN ... TB Thiết kế PTN Như TN Như TN Như TN Như TN Không TB-thấp Thấp Thấp Thiết kế PTN Không Định tính M/ độ thấp Như TN Không TB Thấp Cao Cao HUT, Falt of IT Dept of SE, August-2002 HCI Three 89. .. v sau v trớ End Action D: Nhn s 191 5 ỏp ng D: Mi ch s c hin sau nhn v Action G: Nhn phớm ghi thi gian ỏp ng G: tr chuyn v sau v trớ Date Action H: Nhn s 010 199 ỏp ng H: Mi ch s c hin sau nhn... thm m 9) Tr giỳp ND nhn bit, i thoi v phc hi t trng thỏi li 10) Tr giỳp v ti liu HUT, Falt of IT Dept of SE, August-2002 HCI Three 59 Biên soạn: Lương Mạnh Bá Prepared by MSc Luong manh Ba 9. 3.3