Xử lý nhập nhằng tiếng việt và ứng dụng trong tra cứu tài liệu phục vụ giảng dạy và học tập

26 564 0
Xử lý nhập nhằng tiếng việt và ứng dụng trong tra cứu tài liệu phục vụ giảng dạy và học tập

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

B GIÁO D C VÀ ÀO T O I H C À N NG - - PH M TH THÙY LINH X VÀ LÝ NH P NH NG TI NG VI T NG D NG TRONG TRA C U TÀI LI U PH C V GI NG D Y VÀ H C T P Chuyên ngành: KHOA H C MÁY TÍNH Mã s : 60.48.01 TĨM T T LU N VĂN TH C SĨ K THU T N ng - Năm 2013 Cơng trình c hoàn thành t i I H C À N NG Ngư i hư ng d n khoa h c: PGS.TS PHAN HUY KHÁNH Ph n bi n 1: TS HUỲNH H U HƯNG Ph n bi n 2: TS HOÀNG TH LANG GIAO Lu n văn ã c b o v t i H i nghi p th c sĩ k thu t t i ng ch m Lu n văn t t i h c N ng vào ngày 23 tháng 02 năm 2013 Có th tìm hi u lu n văn t i: - Trung tâm Thông tin -H c li u, - Trung tâm H c li u, i h c N ng; i h c Bách Khoa M Lý ch n Trong th i U tài i hi n nay, công ngh thông tin ang tr thành nhân t quan tr ng cho s phát tri n kinh t - xã h i Vi c ng d ng công ngh thông tin ngày tr nên ph bi n r ng rãi M i lĩnh v c, m i s n ph m xã h i u mang d u n c a công ngh thông tin Hi n nay, nhu c u tra c u thơng tin h u ích r t c n thi t i v i m i ngư i, có th tra c u thơng tin sách báo, truy n thông…, nh t th i i m bùng n thông tin hi n nay: thông tin thay i t ng ngày, t ng gi , luôn c p nh p thông tin, tra c u thông tin Internet c m i ngư i quan tâm Công c tra c u ch y u Internet s d ng ngôn ng Châu Âu (ti ng Anh, ti ng Pháp…), i v i ti ng Vi t công c tra c u tìm ki m hi u qu , b i ti ng Vi t th ti ng a nghĩa, m t t thư ng có nhi u m t nghĩa, r t d hi u nh m có tính nh p nh ng cao Vi c v n d ng công ngh thông tin vào ngành Giáo D c khơng cịn xa l , h u t t c trư ng h c vào gi ng d y h c t p Trư ng Cao Ph m Thành ph u ng d ng tin h c ng Lương Th c-Th c N ng trư ng tr ng i m c a B Nông nghi p Phát tri n nông thôn Trư ng t o a d ng nhi u ngành ngh b c Cao ng, Trung c p, ó ngành t o tr ng tâm c a nhà trư ng: ngành Ch bi n th c ph m, ngành ã t o ngu n nhân l c l n cho xư ng, xí nghi p, công ty ch bi n th c ph m… Ngành Ch bi n th c ph m bao g m nh ng ki n th c b n v nguyên li u, kĩ thu t ch bi n m t s s n ph m t rau qu , th y s n, bánh k o, bia, rư u, nư c gi i khát; quy trình cơng ngh ch bi n, yêu c u công ngh thông s kĩ thu t c n thi t c a t ng trình, nh ng y u t nh hư ng n trình ch bi n m t s s n ph m t rau qu , s n ph m th y s n, bánh k o, bia, rư u, nư c gi i khát ánh giá c ch t lư ng s n ph m Ngành Ch bi n th c ph m b c cao năm, sinh viên sau t t nghi p có th ng c t o m nh n công vi c c a cán b k thu t, t trư ng s n xu t, trư ng ca dây chuy n s n xu t, ch bi n th c ph m t i c s ch bi n, b o qu n kinh doanh th c ph m, quan ki m tra ch t lư ng an toàn th c ph m, c s nghiên c u, tư v n t o lĩnh v c th c ph m Tra c u tài li u q trình tìm tịi ki n th c qua phương ti n sách, báo, Internet…nh m t k t qu ó Ki n th c ngành Ch bi n th c ph m r t a d ng, phong phú, có r t nhi u b mơn ịi h i tính th c t cao, ó ngu n sách v chuyên ngành, giáo trình ph i thư ng xuyên thay i v i ki n th c hi n t i phù h p nhu c u c a nhà s d ng lao ng có tài li u ph c v gi ng d y h c t p, giáo viên sinh viên không ng ng tra c u tài li u b ng nhi u phương th c khác sách thư vi n, thu th p t ng h p ki n th c t Internet… Tuy nhiên ki n th c tra c u sách có nh t so v i ki n th c hi n t i Do ó, v n thư vi n chưa c p s d ng công c h tr tra c u tài li u Internet r t quan tr ng, c p nh t nh ng ki n th c m i, có th b sung cho tài li u gi ng d y h c t p Trong trình tra c u tài li u Internet, giáo viên sinh viên thư ng g p khó khăn v n thu th p t ng h p ki n th c cho phù h p v i yêu c u s d ng, ki n th c sau tra c u r t nhi u, òi h i ph i t th c liên quan c trích l c nh ng ki n n n i dung c n tra c u, ki n th c không phân lo i theo ch , th lo i Và c bi t nh p n i dung tra c u Internet thư ng x y hi n tư ng nh p nh ng Nh p nh ng hi n tư ng mơ h , l p nhòe v ý tư ng làm m t ranh gi i gi a n X lý nh p nh ng nghĩa c a t m t nh ng v n c r t nhi u nhà nghiên c u lĩnh v c x lý ngôn ng t n V n nhiên quan tâm bi t l n c nêu lên m t toán riêng u tiên vào nh ng năm cu i th p k 40 c a th k 20 c coi m t nh ng v n lâu i nh t c a lĩnh v c x lý ngôn ng t nhiên Nh n c nhi u s quan tâm t s m v y x lý nh p nh ng nghĩa c a t óng vai trị quan tr ng r t nhi u toán khác c a x lý ngơn ng t nhiên Ta có th th y s xu t hi n c a h x lý nh p nh ng nghĩa c a t h th ng tìm ki m thơng tin, khai phá d li u… Và x lý nh p nh ng tra c u tài li u c quan tâm, c bi t nh ng tài li u v ngành Ch bi n th c ph m Ví d : mơn Cơng ngh ch bi n rau qu , n u nh p n i dung tra c u: “ch bi n rau qu ” Internet s x y nh p nh ng t “ch bi n”, có th phân tích “ch bi n = ch t o + bi n hóa”, có th hi u x lý, óng gói, có th hi u chu n b s d ng ngay…, nên k t qu sau tra c u t Internet r t nhi u Do ó, c n ph i gi i thích ng nghĩa c a t c n tra c u, c th t liên quan n ngành Ch bi n th c ph m c n có m t cơng c h tr tra c u tài li u ngành có th h n ch hi n tư ng nh p nh ng x y Trong lu n văn v i t a : “X lý nh p nh ng ti ng Vi t ng d ng tra c u tài li u gi ng d y h c t p” Chúng s tri n khai th c nghi m gi i pháp b ng cách xây d ng ng d ng x lý nh p nh ng tra c u tài li u gi ng d y h c t p ngành Ch bi n th c ph m Trư ng Cao ng Lương Th c- Th c Ph m Ý nghĩa khoa h c th c t - Ý nghĩa khoa h c V khoa h c, tài ã tìm hi u hi n tư ng nh p nh ng ti ng Vi t, nh p nh ng tra c u tài li u xu t gi i pháp x nh p nh ng tra c u - Ý nghĩa th c t V th c ti n, tra c u tài li u tài ã v n d ng k thu t x lý nh p nh ng t ó, xây d ng ng d ng có tính kh thi, áp d ng lý thuy t vào th c t cu c s ng M c tiêu nhi m v nghiên c u - Tìm hi u hi n tư ng nh p nh ng ti ng Vi t - Phân tích h th ng, tìm hi u ho t ng v tra c u tài li u gi ng d y h c t p ngành Ch bi n th c ph m - xu t mơ hình x lý nh p nh ng tra c u tài li u gi ng d y h c t p ngành Ch bi n th c ph m - Cài t th nghi m - ánh giá k t qu i tư ng ph m vi nghiên c u - Tìm hi u hi n tư ng nh p nh ng ti ng Vi t - Nghiên c u mô hình phương pháp x lý nh p nh ng tra c u tài li u gi ng d y h c t p ngành ch bi n th c ph m - Tài li u ph c v cho viên trư ng Cao i tư ng h c sinh sinh viên, giáo ng Lương Th c-Th c Ph m 5 Phương pháp nghiên c u - Phương pháp nghiên c u tài li u: • Ti n hành nghiên c u, thu th p tài li u liên quan v ng pháp ti ng Vi t • Tìm hi u hi n tư ng nh p nh ng ti ng Vi t • Nghiên c u ngơn ng l p trình JSP, SQL Server 2008 - Phương pháp th c nghi m: gi i quy t toán x lý nh p nh ng tra c u tài li u gi ng d y h c t p ngành Ch bi n th c ph m t i trư ng Cao ng Lương Th c-Th c Ph m B c c lu n văn Chương 1: Tìm hi u hi n tư ng nh p nh ng ti ng Vi t Trình bày khái quát v X lý ngơn ng t nhiên, giai o n hình thành ti ng Vi t, c i m c a ti ng Vi t, tính nh p nh ng ti ng Vi t Chương 2: Phân tích thi t k h th ng x nh ng lý nh p ưa mơ hình x lý nh p nh ng, phân tích thi t k h th ng x lý nh p nh ng tra c u tài li u gi ng d y h c t p t i Trư ng Cao ng Lương Th c-Th c Ph m Chương 3: ng d ng x lý nh p nh ng tra c u tài li u gi ng d y h c t p ngành ch bi n th c ph m Cài t, ki m th chương trình x lý nh p nh ng tra c u tài li u gi ng d y h c t p ngành Ch bi n th c ph m CHƯƠNG TÌM HI U CÁC HI N TƯ NG NH P NH NG TRONG TI NG VI T Trong chương gi i thi u khái quát v X lý ngôn ng t nhiên, giai o n hình thành ti ng Vi t, tính nh p nh ng ti ng Vi t T c i m c a ti ng Vi t, ây ưa gi i quy t tính nh p nh ng ti ng Vi t tra c u tài li u 1.1 X LÝ NGƠN NG T NHIÊN VÀ CÁC BÀI TỐN NG D NG X lý ngôn ng t nhiên (natural language processing – NLP) m t lĩnh v c nghiên c u c a Trí tu nhân t o nh m xây d ng m t h th ng x lý cho máy tính, làm cho máy tính có th “hi u” c ngôn ng c a ngư i g m c ngơn ng nói vi t Nghĩa là, nói hay vi t máy tính hi u c ang nói gì, vi t Khơng ch v i m t lo i ngôn ng c a m t dân t c, c a m t qu c gia máy tính có th hi u c, máy tính có th hi u c ngôn ng c a t t c dân t c, qu c gia th gi i Nh ó, m i ngư i th gi i d a vào máy tính có th hi u, giao ti p c v i mà không c n h c, hi u ngơn ng c a Các tốn ng d ng NLP m t lĩnh v c nghiên c u nh m giúp cho h th ng máy tính hi u x lý c ngơn ng ngư i Các toán ng d ng liên quan nv n x lý ngôn ng t nhiên hi n có r t nhi u, dư i ây m t s toán ng d ng thư ng g p nh t - Nh n d ng ch vi t - Nh n d ng ti ng nói - T ng h p ti ng nói - D ch t ng (machine translate) - Tìm ki m thơng tin - Tóm t t văn b n - Khai phá d li u (data mining) phát hi n tri th c 1.2 T NG QUAN V TI NG VI T 1.2.1 Quá trình hình thành ti ng Vi t Ti ng Vi t có ngu n g c r t c xưa ã tr i qua m t trình phát tri n lâu dài a Ti ng Vi t giai o n dùng ch Nôm b Ti ng Vi t giai o n dùng ch qu c ng c T Cách M ng Tháng n Cách M ng Tháng thành công, Vi t Nam ã quy t Ti ng Vi t m i c p h c, b c h c, 1.2.2 Âm ti t a m i ngành ho t nh dùng ng c i m âm ti t ti ng Vi t nh nghĩa Âm ti t ơn v phát âm t nhiên nh nh t ngôn ng Trong ti ng Vi t, m t âm ti t bao gi c phát v i m t i u, tách r i v i âm ti t khác b ng m t kho ng tr ng M i âm ti t ti ng Vi t c ghi thành m t “ch ” Ví d : “hoa h c trò” g m ch ho c âm ti t Trong Ti ng Vi t có 29 ch cái, g m 17 ph âm 12 nguyên âm Nguyên âm: a, ă, â, e, ê, i, o, ô, ơ, u, ư, y Ph âm: b, c, d, , g, h, k, l, m, n, p, q, r, s, t, v, x Ngồi cịn có bán ngun âm ph âm ghép sau: Bán nguyên âm: oa, oe, uy Ph âm ghép sau: ch, gh, kh, ng, ngh, nh, ph, th, tr, gi qu b c i m âm ti t Ti ng Vi t - Có tính c l p cao - Có kh bi u hi n ý nghĩa - Có m t c u trúc ch t ch 1.2.3 T phân lo i t ti ng Vi t nh nghĩa a T ơn v nh nh t có nghĩa, có k t c u v ng âm b n v ng, hồn ch nh, có ch c g i tên, c v n d ng hi n t l i nói c l p, tái t o câu Ví d : nhà, ngư i, áo, cũng, s , thì, ng s t, sân bay, trư ng h c… b Phân lo i t ti ng Vi t V m t c u t o t ti ng Vi t c phân lo i theo nhi u d ng khác nhau, v i nh ng tiêu chí khác nhau, - T ơn - T ghép - T láy - Nh ng t g c thu n Vi t: - Nh ng t vay mư n g c Hán 1.3 X LÝ TI NG VI T TRÊN MÁY TÍNH H u h t máy tính cá nhân Vi t Nam u cài t nh ng ph n m m h tr ti ng Vi t ví d phơng ch 1.3.1 T ng quan b mã ti ng Vi t 1.3.2 M t s c i m c a font Unicode 1.3.3 Ti ng Vi t b mã Unicode 1.4 M T S GI I PHÁP XÁC NH T VI T 1.4.1 Gi i pháp xác nh danh t riêng 1.4.2 Gi i pháp xác nh danh t láy TRONG TI NG 10 - Nh p nh ng v vi c b d u - Nh p nh ng v ranh gi i t 1.5.3 Nh p nh ng v c ch 1.5.4 Nh p nh ng v s v n d ng 1.6 HI N TƯ NG NH P NH NG TRONG TRA C U TÀI LI U Tra c u tài li u gi i pháp nh m tìm gi i pháp giúp ngư i s d ng có th tìm th y thơng tin c n m t kh i lư ng l n d li u Qua phân tích hi n tư ng nh p nh ng ti ng Vi t ta th y r ng i u ó khơng th khơng x y tra c u tài li u, trình tra c u thư ng x y tư ng nh p nh ng trình sau: - Nh p nh ng lúc nh p yêu c u tra c u tài li u + Nh p nh ng ch n sai ch tra c u + Nh p nh ng ch n sai b ng mã + Nh p nh ng ta nh p t vi t t t - Nh p nh ng lúc tra c u tài li u - Nh p nh ng phân lo i tài li u K T LU N CHƯƠNG Chương t p trung, gi i thi u khái quát v X lý ngôn ng t nhiên, t ng quan v ti ng Vi t, giai o n hình thành ti ng Vi t, c i m c a ti ng Vi t, tính nh p nh ng ti ng Vi t T ây ưa gi i quy t tính nh p nh ng ti ng Vi t tra c u tài li u Ph n ti p theo c a lu n văn ó phân tích tốn x lý nh p nh ng tra c u tài li u ph c v gi ng d y h c t p ngành Ch bi n th c ph m 11 CHƯƠNG PHÂN TÍCH VÀ THI T K H TH NG X LÝ NH P NH NG 2.1 PHÂN TÍCH HI N TR NG 2.1.1 Gi i thi u Ngành Ch bi n th c ph m Trư ng Cao ng Lương Th c-Th c Ph m a Gi i thi u Trư ng Cao Trư ng Cao ng Lương Th c-Th c Ph m ng Lương Th c-Th c Ph m trư ng công l p n m h th ng giáo d c i h c Vi t Nam, tr c thu c B Nông nghi p PTNT Tr i qua 35 năm xây d ng phát tri n, Trư ng m t s t o n ng c t, cung c p ngu n nhân l c cho s phát tri n c a ngành khu v c mi n Trung-Tây Nguyên c nư c, góp ph n th c hi n cơng nghi p hóa, hi n i hóa nư c Trư ng t o a d ng nhi u ngành ngh b c Cao t ng, Trung c p, ó ngành t o tr ng tâm c a nhà trư ng: ngành Ch bi n th c ph m, ngành ã t o ngu n nhân l c l n cho xư ng, xí nghi p, cơng ty ch bi n th c ph m… b Gi i thi u ngành Ch bi n th c ph m Ngành Ch bi n th c ph m bao g m nh ng ki n th c b n v nguyên li u, kĩ thu t ch bi n m t s s n ph m t rau qu , m t s s n ph m th y s n, bánh k o, bia, rư u, nư c gi i khát C th c u t o, thành ph n hóa h c c a nguyên li u nh hư ng c a nh ng thành ph n n q trình ch bi n; quy trình cơng ngh ch bi n, yêu c u công ngh thông s kĩ thu t c n thi t c a t ng trình, nh ng y u t nh hư ng n trình ch bi n m t s s n ph m t rau qu , s n ph m th y s n, bánh k o, bia, rư u, nư c gi i khát ánh giá c ch t lư ng s n ph m 12 2.1.2 Tình hình th c t S lư ng h c sinh trúng n vào ngành Ch bi n th c ph m c a trư ng nh ng năm g n ây ch t 2/3 s lư ng ch tiêu c a nhà trư ng Hình 2.1 Bi u Các sinh viên trúng n Ngành Ch bi n th c ph m i tư ng thư ng xuyên tra c u tài li u thư vi n ó là: giáo viên sinh viên - i v i giáo viên, c bi t giáo viên m i vào trư ng, kinh nghi m gi ng d y chưa nhi u (t năm), năm ph i t so n gi ng môn chuyên ngành ph c v cho trình gi ng d y, theo yêu c u c a nhà trư ng gi ng ph i c p nh t th c t , có v y m i áp ng c vi c h c c a h c sinh sinh viên n d ng c a nhà lao Theo th ng kê c a thư vi n, v n ng mư n sách chuyên ngành c a giáo viên h ng năm c a thư vi n ngày gi m, m c dù năm ph i so n giáo trình, giáo án, tài li u m i, b sung Hình 2.2 Bi u s lư ng giáo viên mư n sách ngành Ch bi n 13 c thù môn c a ngành Ch bi n th c ph m c n nhi u ki n th c th c t , mà giáo viên tr ch y u l y ngu n ki n th c t sách thư vi n chưa , cịn tìm ki m, tra c u tài li u Internet, nhiên trình tra c u tài li u không ph i lúc cho nh ng k t qu mong mu n Ví d : môn ch bi n rau qu , giáo viên tra c u b ng công c Google, gõ t khóa: ch bi n rau qu filetype:doc (nghĩa giáo viên mu n tìm tài li u có d ng file doc liên quan t i v n nói trên) K t qu nh n c r t nhi u, giáo viên c n có th i gian dài ch n l c tài li u có liên quan, lúc l i khơng tìm c tài li u c n tìm Hình 2.3 K t qu tìm ki m Google - H u h t giáo viên sinh viên u tra c u tài li u có s n m ng Internet, Google, Yahoo Khi tra c u Internet, s dĩ k t qu tìm ki m nhi u v y x y nh p nh ng 14 t khóa tìm ki m C n ph i gi i thích ng nghĩa t ti ng Vi t cho úng có th x lý hi n tư ng nh p nh ng, h n ch c nh ng k t qu tra c u không úng v i yêu c u Do ó, thu n l i cho vi c gi ng d y h c t p c a giáo viên sinh viên vi c tra c u tài li u ti ng Vi t liên quan n ngành Ch bi n ph i tìm xác nh ng t ngư i s d ng nh p vào ô tra c u, tìm úng ng ti ng Vi t lo i ti ng ph c t p 2.2 XU T MƠ HÌNH GI I PHÁP Hình 2.5 Mơ hình gi i pháp 15 2.3 TRI N KHAI THI T K H TH NG 2.3.1 Xây d ng ngu n d li u tra c u Tài li u giáo viên sinh viên c n tra c u ó tài li u thu th p t sách, báo thư vi n, Internet ki n th c, giáo trình c a giáo viên có kinh nghi m Trên s - ó, t xây d ng ngu n d li u sau: Các ngu n d li u t Internet, sách báo: s c l yt ng t Internet thông qua chương trình t xây d ng, thơng tin l y v ã c phân lo i theo m c lưu tr CSDL (thơng tin s lưu vào CSDL theo m c ã c xây d ng s n) - Ngu n d li u nh p b ng tay: ó giáo trình, giáo án, cương… c a th y có kinh nghi m trư ng trư ng khác có ngành Ch bi n th c ph m i v i ngu n d li u này, s t phân lo i s n Xây d ng ngu n d li u tra c u òi h i ph i t p trung nhi u công s c, th i gian tra c u tài li u m i u tư, ch n l c, có v y k t qu t hi u qu t t nh t 2.3.2 Xây d ng CSDL t i v i ngư i s d ng v ng lĩnh v c ch bi n th c ph m Trư c tiên tìm hi u môn chuyên ngành liên quan n ngành Ch bi n th c ph m như: công ngh s n xu t bia, công ngh s n xu t ng, công ngh s n xu t s a s n ph m t s a, công ngh s n xu t nư c gi i khát, công ngh s n xu t bánh k o, công ngh ch bi n th y s n, công ngh ch bi n rau qu , dinh dư ng an tồn th c ph m, hóa h c ph gia th c ph m, thi t b th c ph m, công ngh ch bi n th c ph m, b o qu n th c ph m, 16 công ngh b o qu n ch bi n lương th c, ki m nghi m lương th c th c ph m, qu n lý ch t lư ng th c ph m, bao bì th c ph m… Sau tìm hi u mơn này, ta s có t khóa tên mơn, d a vào ây xây d ng t ơn, t ghép theo t khóa liên quan T o b ng CSDL lưu t t c t ghép Ví d : có t ghép “ki m nghi m”, ngồi cịn có t ghép là: ki m tra, ki m t nh…ta s xây d ng s t ơn ơn ghép thành t ghép có nghĩa 2.3.3 Thi t k h th ng a Các tác nhân tham gia vào ng d ng Các tác nhân tham gia tr c ti p vào ng d ng m t ngư i hay nhóm ngư i i v i ng d ng x lý nh p nh ng tra c u tài li u gi ng d y h c t p ngành ch bi n th c ph m tác nhân tham gia vào ng d ng bao g m: Ngư i s d ng: giáo viên, h c sinh sinh viên Ngư i qu n tr : + C p quy n s d ng cho ngư i dùng, s a ch a, b o m t h th ng… + C p nh p kho t i n, kho d li u b Thi t k s d li u Xây d ng m t kho t v ng g m t ơn t ghép mà m i t ph i úng ng nghĩa c a ti ng Vi t tránh nh p nh ng v ng nghĩa ti ng Vi t; k thu t x lý nh p nh ng b t ti ng Vi t t ơn v nh nh t ký t , ti p u t vi c phân tích n t ơn, t ghép, ng cu i câu Ghép nguyên âm ph âm thành t ơn có nghĩa T t t ơn ghép thành t ghép T t ghép, ghép l i thành ng , thành câu ơn 17 T ây lưu t ã ghép úng ng nghĩa vào t p tin CSDL Xây d ng k thu t x lý nh p nh ng cho yêu c u tra c u b ng ti ng Vi t, tránh nh ng l i nh p nh ng ti ng Vi t Do ó, thi t k s g m có b ng sau: TUGOC TUGHEP B ng 2.2 TUGOC Tên trư ng Ki u d li u Mơ t Mã t g c (khóa MaTuGoc Int TuGoc nvarchar(50) chính) T g c B ng 2.3 TUGHEP Tên trư ng Ki u d li u Mô t Mã t g c (t MaTuGoc Int TuGhep nvarchar(50) ơn) (khóa ngo i) T ghép (khóa ngo i) D li u cho q trình x lý ph i có ngun âm ghép v i ph âm d u t o thành m t t ơn T nh ng t ơn ghép l i thành t ghép tránh nh p nh ng ti ng Vi t t ơn t ghép sau ghép xong ph i úng ng nghĩa c a ti ng Vi t lưu l i dư i d ng t p tin text T p tin text t t ghép i n g m t ơn 18 T t ơn t ghép ã ki m tra úng ng nghĩa, sau ó ơn theo t tách t ơn, t ghép theo t ghép ghi vào CSDL nh m ph c v cho vi c tra c u tài li u V i kho d li u 1000 t ghép t m ph c v cho vi c tra c u tài li u Ngành Ch bi n th c ph m c lưu CSDL SQL Server c Thi t k m i quan h gi a b ng Chúng ta có b ng, m i quan h c a chúng sau: Hình 2.6 Mơ hình quan h th c th 2.4 K THU T X LÝ NH P NH NG TRONG TRA C U TÀI LI U Mu n xây d ng k thu t x lý nh p nh ng tra c u tài li u ph c v gi ng d y h c t p ph i áp ng nh ng yêu c u: xây d ng m t kho t i n t g m t ơn t ghép mà m i t ph i úng ng nghĩa c a ti ng Vi t tránh nh p nh ng v ng nghĩa ti ng Vi t T kho t i n xây d ng k thu t x lý nh p nh ng tra c u tài li u K thu t x lý nh p nh ng b t tích ti ng Vi t t ơn v nh nh t ký t , ti p ghép, ng cu i câu Tr i qua bư c sau: u t vi c phân n t ơn, t 19 - Li t kê nguyên âm ph âm có ti ng Vi t, Ti ng Vi t có 29 ch cái, g m 17 ph âm 12 nguyên âm (nguyên âm: a, ă, â, e, ê, i, o, ô, ơ, u, ư, y; ph âm: b, c, d, , g, h, k, l, m, n, p, q, r, s, t, v, x) - Ghép nguyên âm ph âm thành t t ơn ghép thành t ghép T t l i thành ng , thành câu T ơn có nghĩa, t ơn t ây lưu t ghép, ghép ã ghép úng ng nghĩa vào t p tin CSDL Xây d ng k thu t x lý nh p nh ng cho yêu c u tra c u b ng ti ng Vi t, tránh nh ng l i nh p nh ng ti ng Vi t Quá trình c mơ ph ng qua sơ sau: Hình 2.7 Quy trình ghép t lưu vào CSDL 2.4.1 K thu t ghép t ơn Chúng ta s d ng b ng ch ti ng Vi t, t nguyên âm ta thêm d u vào s tr thành m t t m i, m t s t ta thêm d u vào ã có nghĩa như: t m t s nguyên âm thêm d u v n chưa có nghĩa c a ti ng 20 Vi t, trư ng h p ta ghép ti p v i ph âm thành t ơn hoàn ch nh 2.4.2 K thu t ghép t ghép Ví d : T ơn “Tài” ghép v i t ơn khác thành t ghép Hình 2.11 Cách ghép t Ngồi t t c ơn ơn ghép v i có th ghép ti p có th có thêm nhi u t ghép sau: Sau có t ghép ta lưu t ghép vào m t t p tin d ng Text, t t p tin chương trình s tách t ghép ưa vào CSDL ph c v trình x lý u vào c a yêu c u tra c u K T LU N CHƯƠNG N i dung chương t p trung gi i thi u ngành Ch bi n th c ph m, tình hình tra c u tài li u c a giáo viên h c sinh viên t i trư ng; trình bày k thu t x lý nh p nh ng, ưa mơ hình gi i pháp Ph n ti p theo s xây d ng x lý nh p nh ng tra c u tài li u ph c v gi ng d y h c t p ngành Ch bi n th c ph m t i trư ng 21 CHƯƠNG NG D NG X LÝ NH P NH NG TRONG TRA C U TÀI LI U GI NG D Y VÀ H C T P NGÀNH CH BI N TH C PH M 3.1 MÔI TRƯ NG VÀ CÔNG C 3.1.1 Gi i thi u JSP 3.1.2 Gi i thi u Microsoft SQL Server 2008 3.2 CÀI T VÀ TH NGHI M B ng 3.1 Các ch c c a ng d ng Trang Ch c Gi i thi u Gi i thi u chung v thư vi n nhà trư ng Tin t c Nh ng thông tin v thư vi n trư ng,… Thông báo Nh ng thông báo v ho t Tìm ki m ng thư vi n Tìm ki m tên sách, mã sách có thư vi n thu n l i cho trình mư n Giáo viên, h c sinh sinh viên tra c u tài Tra c u tài li u li u ngành Ch bi n th c ph m ph c v cho gi ng d y h c t p ăng ký thành viên ăng ký thành viên c a thư vi n i v i giao di n tra c u tài li u, giáo viên c n nh p thông tin: - Th lo i: giáo trình - Hình th c: doc - N i dung: ví d : q trình lên men bia 22 Hình 3.4 Giao di n tra c u tài li u Hình 3.5 K t qu tra c u tài li u Sau x lý nh p nh ng, k t qu tr v : So sánh k t qu : Chúng ã chu n b s n m t s t 100 l n t sau cho k t qu th hi n ki m nghi m, nh p b ng sau: 23 B ng 3.2 So sánh trư c sau áp d ng k thu t x lý nh p nh ng Trư c áp d ng k T khóa tra c u Sau áp d ng k thu t thu t x lý nh p nh ng x lý nh p nh ng S l n gõ S l n gõ sai S l n gõ S l n gõ sai Quá trình 100 15 100 Quá trình lên men 100 30 100 15 100 35 100 10 Quá trình lên men bia D a vào b ng so sánh trên, ta th ng kê c k t qu thu c trư c sau áp d ng k thu t x lý nh p nh ng sau: gi m 50% s sai sót t khóa tra c u tài li u 3.3 ÁNH GIÁ K T QU Vi t áp d ng k thu t x lý nh p nh ng tra c u tài li u ph c v gi ng d y h c t p c dùng cho ng d ng Thư vi n Trư ng Cao ng Lương Th c-Th c Ph m giúp cho website tr nên h u d ng nhi u Giáo viên h c sinh sinh viên i tư ng tr c ti p tham gia vào ng d ng, nên nh ng ý ki n óng góp sau s d ng r t quan tr ng, k t qu ki m th b ng 3.4 t 50% K T LU N CHƯƠNG Trên s lý thuy t chương m t, k thu t x lý nh p nh ng chương hai, chương ba tr c ti p xây d ng ng d ng x lý nh p nh ng tra c u tài li u ph c v gi ng d y h c t p Các ch c c a ng d ng ã ph n h tr cho giáo viên, h c sinh sinh viên l a ch n c nh ng tài li u, ki n th c liên quan ngành Ch bi n th c ph m n chuyên 24 K T LU N c s hư ng d n t n tình c a Th y hư ng d n s óng góp ý ki n quý báu c a h c viên khác l p cao h c, ã th c hi n c lu n văn: “X lý nh p nh ng ti ng Vi t ng d ng tra c u tài li u ph c v gi ng d y h c t p” Các k t qu t c lu n văn Qua th i gian nghiên c u ã có c nh ng k t qu c th sau: - Tìm hi u ti ng Vi t nh ng v n nh p nh ng ti ng Vi t - K thu t x lý nh p nh ng ti ng Vi t -V n tài li u ph c v gi ng d y h c t p ngành Ch bi n th c ph m t i Trư ng Cao ng Lương Th c-Th c ph m h n ch , nên lu n văn ã ng d ng x lý nh p nh ng tra c u tài li u nh m giúp giáo viên h c sinh sinh viên có thêm tài li u tham kh o trình so n gi ng, so n cương h c t p c t t Gi i h n c a lu n văn M c dù ã có nhi u c g ng trình nghiên c u th c hi n v i lư ng ki n th c l n v x lý ngôn ng t nhiên nh t ti ng Vi t, v y lu n văn nhi u h n ch , ng pháp ti ng Vi t có nhi u nghĩa g m nhi u t nhân hóa, n d , t lóng, t láy ba, láy b n…., gi i quy t c h t trư ng h p ng pháp c a ti ng Vi t s em l i k t qu tra c u n a Hư ng phát tri n Nghiên c u k v ng pháp ti ng Vi t xây d ng kho t i n ti ng Vi t a d ng ph c v cho tra c u tài li u t t c ngành ngh nhà trư ng ... ng tra c u tài li u xu t gi i pháp x nh p nh ng tra c u - Ý nghĩa th c t V th c ti n, tra c u tài li u tài ã v n d ng k thu t x lý nh p nh ng t ó, xây d ng ng d ng có tính kh thi, áp d ng lý. .. t tra c u tài li u Ph n ti p theo c a lu n văn ó phân tích toán x lý nh p nh ng tra c u tài li u ph c v gi ng d y h c t p ngành Ch bi n th c ph m 11 CHƯƠNG PHÂN TÍCH VÀ THI T K H TH NG X LÝ... chúng sau: Hình 2.6 Mơ hình quan h th c th 2.4 K THU T X LÝ NH P NH NG TRONG TRA C U TÀI LI U Mu n xây d ng k thu t x lý nh p nh ng tra c u tài li u ph c v gi ng d y h c t p ph i áp ng nh ng yêu

Ngày đăng: 31/12/2013, 10:32

Từ khóa liên quan

Tài liệu cùng người dùng

  • Đang cập nhật ...

Tài liệu liên quan