tách từ trong văn bản tiếng việt dựa trên từ

Trích chọn tự động quan hệ phương thức từ văn bản tiếng Việt dựa trên thuật toán SVM và thử nghiệm đánh giá

... phương thức 4.2.2 Phân tích lỗi Trạng từ từ bổ nghĩa cho động từ, tính từ, trạng từ khác Tính từ từ bổ nghĩa cho danh từ đại từ Trong tiếng Việt, cụm trạng từ tính từ thường xuyên bị nhầm lẫn khơng ... thức tiếng Việt Cụm trạng từ/ cụm giới từ mẫu biểu diễn quan hệ phương thức [2] Dưới số đặc điểm cụm từ tiếng Việt: Cụm trạng từ (hay gọi phó từ) từ dùng để bổ nghĩa cho động từ, tính từ, trạng từ ... trạng từ 19 POS-tag-aft POStags nhãn từ loại sau cụm trạng từ verb {assigned,go } động từ mà cụm trạng từ bổ nghĩa distance ℵ số từ nằm cụm trạng từ động từ Xét đặc trưng thứ 4, từ điển trạng từ...

48
363
2

Giải quyết bài toán đồng tham chiếu trong văn bản tiếng Việt dựa vào phương pháp máy hỗ trợ vector SVM

Danh mục: Công nghệ thông tin

... trưng văn tiếng Việt, phát biểu toán đồng tham chiếu văn tiếng Việt mơ hình trích chọn quan hệ đồng tham chiếu văn tiếng Việt dựa phương pháp máy vector hỗ trợ SVM 3.1 Đặc trưng văn tiếng Việt Văn ... chiếu văn tiếng Việt dựa vào phương pháp máy vector hỗ trợ 22 3.1 Đặc trưng văn tiếng Việt 22 3.1.1 Đặc trưng từ tiếng Việt 22 3.1.2 Đặc trưng tên người tiếng Việt ... tiết (tiếng) đặc điểm chi phối đặc tính loại hình ngơn ngữ tiếng Việt Xét mặt số lượng tiếng, ta có: • Từ chứa tiếng, gọi từ đơn như: nhà, xe … • Từ gồm nhiều tiếng, phần lớn tiếng, gọi từ phức...

55
662
3

Phát hiện kế thừa văn bản tiếng Việt dựa trên từ vựng và từ điển đồng nghĩa

Danh mục: Công nghệ thông tin

... đồng âm khác nghĩa, từ đồng nghĩa, từ nhiều nghĩa, từ Hán Việt, từ địa phương, từ mượn Tiếng Việt có nhập nhằng ranh giới từ Do tiếng Việt ngôn ngữ đơn lập nên từ vựng chủ yếu từ ghép khoảng trắng ... nhập nhằng ranh giới từ tiếng Việt quan trọng Hệ thống RTE tiếng Việt cần tách câu, tách từ thật xác Đặc trưng lớn tiếng Việt vấn đề giải nhập nhằng từ đồng nghĩa Từ đồng nghĩa từ có nghĩa giống ... toán phát kế thừa văn với tiếng Việt sau: Đầu vào: Tập cặp văn bản- giả thuyết sử dụng hội nghị RTE-3 dịch tiếng Việt Đầu ra: Mơ hình từ vựng ngữ nghĩa để đưa phán kế từa cặp văn bản- giả thuyết 25...

51
606
0

GIẢI QUYẾT BÀI TOÁN ĐỒNG THAM CHIẾU TRONG VĂN BẢN TIẾNG VIỆT DỰA VÀO PHƯƠNG PHÁP MÁY VECTOR HỖ TRỢ SVM

Danh mục: Lập trình

... trưng văn tiếng Việt, phát biểu toán đồng tham chiếu văn tiếng Việt mơ hình trích chọn quan hệ đồng tham chiếu văn tiếng Việt dựa phương pháp máy vector hỗ trợ SVM 3.1 Đặc trưng văn tiếng Việt Văn ... chiếu văn tiếng Việt dựa vào phương pháp máy vector hỗ trợ 22 3.1 Đặc trưng văn tiếng Việt 22 3.1.1 Đặc trưng từ tiếng Việt 22 3.1.2 Đặc trưng tên người tiếng Việt ... tiết (tiếng) đặc điểm chi phối đặc tính loại hình ngơn ngữ tiếng Việt Xét mặt số lượng tiếng, ta có: • Từ chứa tiếng, gọi từ đơn như: nhà, xe … • Từ gồm nhiều tiếng, phần lớn tiếng, gọi từ phức...

55
367
0

Tra cứu văn bản tiếng việt dựa trên kỹ thuật phân cụm

Danh mục: Thạc sĩ - Cao học

... văn tiếng việt Từ kiến thức tổng quan chương hai luận văn lựa trình bày chi tiết trích rút văn tiếng việt với phương pháp cụ thể Chương TRA CỨU VĂN BẢN TIẾNG VIỆT DỰA TRÊN KỸ THUẬT PHÂN CỤM Trong ... phương pháp phân cụm tiếng Việt dựa thuật toán phân cấp hệ thống tra cứu văn tiếng Việt dựa tập liệu văn tiếng Việt phân cụm 2.1 Phương pháp biểu diễn văn 2.1.1 Khái niệm Biểu diễn văn phương pháp ... điểm văn tiếng Việt Tiếng Việt thuộc ngôn ngữ đơn lập, tức tiếng (âm tiết) phát âm tách rời thể chữ viết Đặc điểm thể rõ rệt tất mặt ngữ âm, từ vựng, ngữ pháp 1.4.1 Đặc điểm ngữ âm Trong tiếng Việt...

26
478
1

Phát hiện kế thừa văn bản tiếng Việt dựa trên học máy SVM

Danh mục: Công nghệ thông tin

... thuyết tách từ loại bỏ từ dừng Quá trình tiền xử lý thực sau: • Tách từ: Cặp văn – giả thuyết tách từ công cụ tách từ tách câu vnTokenizer • Loại bỏ từ dừng: Sau cặp văn – giả thuyết tách thành từ ... đoạn văn bản, tốn kế thừa có mục đích xác định xem nghĩa văn suy luận (kế thừa) từ văn lại hay khơng Phát kế thừa văn toán tiếng Việt Tuy có phương pháp phát kế thừa văn mang lại kết khả quan tiếng ... 2.2.2 Đối với văn tiếng Việt Khác với tiếng Anh, lĩnh vực phát quan hệ kế thừa tiếng Việt nhận quan tâm nhà nghiên cứu Theo khảo sát, số lượng báo liên quan tới phát kế thừa văn tiếng Việt (Recognizing...

52
362
0

XÂY DỰNG ỨNG DỤNG hỗ TRỢ PHÂN LOẠI văn bản TIẾNG VIỆT dựa TRÊN PHƯƠNG PHÁP POINTWISE và bộ PHÂN LOẠI SVM

Danh mục: Quản trị mạng

... sử dụng tiếng có nghĩa, lại nói tồn vơ nghĩa Mơ hình tiếng tiếng Việt thành tố tiếng Việt Ta biểu diễn cấu trúc tiếng bảng sau: Bảng 1.1 Bảng cấu trúc tiếng tiếng Việt Âm đầu Âm đệm Trong đó: ... trên, từ tiếng Việt cấu tạo tiếng tổ hợp tiếng theo cách khác để tạo loại từ + Từ đơn: Từ đơn, hay gọi từ đơn âm tiết, từ cấu tạo tiếng Ví dụ: tơi, bạn, nhà, hoa, vườn, + Từ ghép: Từ ghép từ tạo ... loại văn tiếng Việt Chúng ta nhận thấy phương pháp phân loại văn tiếng Việt dựa phương pháp phân loại văn tiếng Anh, có điều áp dụng với tiếng Việt có thay đổi với tiếng Việt có đặc thù từ thơng...

84
945
4

Bài tập lớn xử lý ngôn ngữ tự nhiên đề tài tìm hiểu phương pháp tách từ trong văn bản tiếng việt theo hướng tiếp cận của giải thuật di truyền

Danh mục: Lập trình

... thể , hình thức ý nghĩa từ độc lập với cú pháp  Từ cấu trúc từ tiếng  Từ bao gồm từ đơn từ phức (bao gồm từ láy từ ghép) Phương pháp tách tách từ tiếng Việt dựa thống kê từ Internet thuật giải ... dấu cách dùng để phân tách tiếng (âm tiết) từ Cùng với ngôn ngữ tiếng Trung, tiếng Hàn ,tiếng Nhật, phân tách từ tiếng Việt công việc không đơn giản Tách từ Tiếng Việt Đối với tiếng Anh ngôn ngữ ... source Vntokenizer II Các phương pháp tách từ Vấn đề tách từ Tiếng Việt 1.1 So sánh tiếng Anh tiếng Việt Những đặc điểm tiếng anh tiếng Việt: Tiếng Việt Tiếng Anh - Là ngôn ngữ đơn lập (isolate)...

25
3,009
24

slide thuyết trình đề tài tìm hiểu phương pháp tách từ trong văn bản tiếng việt theo hướng tiếp cận của giải thuật di truy

Danh mục: Kỹ thuật lập trình

... tách từ tiếng Việt  Vấn đề tách từ tiếng Việt  Các hướng tiếp cận kĩ thuật tách từ tiếng Việt  Một số phương pháp tách từ tiếng Việt  Kết luận Vấn đề tách từ tiếng Việt Bài toán tách từ tiếng ... pháp tách từ tiếng Việt  Giải thuật di truyền Phương pháp tách từ dựa thống kê Internet theo hướng tiếp cận giải thuật di truyền (IGATEC) Tìm hiểu opensource Vntokenizer để tách từ văn tiếng Việt ... tiếng Việt tốn khó Vì đặc tính chung tiếng Việt- ngơn ngữ đơn lâp • Từ dạng nguyên thể , hình thức ý nghĩa từ độc lập với cú pháp • Từ cấu trúc từ tiếng • Từ bao gồm từ đơn từ phức (bao gồm từ láy...

43
935
0

báo cáo sử lý ngôn ngữ tự nhiên tách từ và xác định từ khóa trong văn bản tiếng việt

Danh mục: Kỹ thuật lập trình

... việc xử lí văn cao phân loại văn bản, tóm tắt văn bản, xác định ngữ nghĩa văn Tách từ xác định từ khóa văn tiếng Việt Cơ sở lí thuyết 2.1 Phương pháp Tần suất xuất thuật ngữ Phương pháp dựa cách ... từ xác định từ khóa văn tiếng Việt Các bước xây dựng chương trình: Sử dụng cơng cụ tách từ Lê Hồng Phương để tách từ Loại bỏ từ tầm thường (stop word) tập từ tách (từ tầm thường từ xuất nhiều ... Tách từ xác định từ khóa văn tiếng Việt Mục lục Tách từ xác định từ khóa văn tiếng Việt Tổng quan Ngày này, bùng nổ thông tin bị tác động...

13
601
0

slike thuyết trình báo cáo sử lý ngôn ngữ tự nhiên tách từ và xác định từ khóa trong văn bản tiếng việt

Danh mục: Kỹ thuật lập trình

... thực tế  Tách từ xác định từ khóa phần quan trọng trình xử lí văn  Kết việc tách từ sử dụng để thực số cơng việc xử lí văn cao phân loại văn bản, tóm tắt văn bản, xác định ngữ nghĩa văn 2 Giới ... Hồng Phương để tách từ (vnTokenizer)  Loại bỏ từ tầm thường (stop word) tập từ tách (từ tầm thường từ xuất nhiều không mang ngữ nghĩa văn bản)  Loại bỏ từ trùng lặp sau tách từ 3 Các bước ... định từ khóa tính trọng số từ văn tiếng Việt (mã hóa bảng mã Unicode UTF-8)  Chương trình có sử dụng cơng cụ tách từ Lê Hồng Phương (vnTokenizer) Các bước tiến hành  Tìm hiểu cơng cụ tách từ...

10
606
0

Tìm hiểu một vài phương pháp tách từ trong văn bản tiếng việt

Danh mục: Hệ thống thông tin

... nghĩa từ độc lập với cú pháp • Từ cấu trúc từ tiếng • Từ bao gồm từ đơn từ phức (bao gồm từ láy từ ghép) Phương pháp tách tách từ tiếng Việt dựa thống kê từ Internet hướng tiếp cận tách từ với ... loại văn mà khơng cần dùng đến từ điển hay tập ngữ liệu học Trang II Các phương pháp tách từ Vấn đề tách từ tiếng Việt a So sánh tiếng Anh tiếng Việt Những đặc điểm tiếng anh tiếng Việt: Tiếng Việt ... tách tiếng (âm tiết) từ Cùng với ngôn ngữ tiếng Trung, tiếng Hàn, tiếng Nhật, phân tách từ tiếng Việt công việc không đơn giản Tách từ tiếng Việt Đối với tiếng Anh ngơn ngữ khơng đơn lập khác “từ...

15
1,812
7

Nói tắt và viết tắt từ ngữ trong văn bản Tiếng Việt

Danh mục: Báo cáo khoa học

...

105
693
3

Áp dụng học máy trong xử lý đồng tham chiếu danh từ trong văn bản tiếng việt

Danh mục: Công nghệ thông tin

... chiếu danh từ văn tiếng Việt gồm bước miêu tả hình vẽ đây: Input: văn tiếng Việt Qúa trình tách từ gán nhãn từ loại Quá trình hậu xử lý tách từ Qúa trình pháthiện Np-anaphora Output: đoạn văn chứa ... danh từ Chi tiết: * Input: Những đoạn hội thoại đoạn văn tiếng Việt Bước Tách từ gán nhãn từ loại Câu tách thành từ với nhãn từ loại tương ứng Để thực việc này, 35 khóa luận sử dụng tách từ vnTagger3 ... tham chiếu văn tiếng Việt sau: Hình 2.2: Mơ hình trích chọn quan hệ đồng tham chiếu văn tiếng Việt với mơ hình SVM 23 a Pha tiền xử lý: Đầu vào: Văn tiếng Việt Đầu ra: Tập câu cụm từ nhận dạng...

75
732
0

Tự động trích chọn thực thể tên người trong văn bản tiếng Việt

Danh mục: Công nghệ thông tin

... xử lý văn – tách từ Dựa nghiên cứu chương trước công cụ tách từ vnTokenizer, bước sử dụng công cụ để tách từ Đầu vào: Tập văn Tiếng Việt Đầu ra: Tập văn tách từ Trong từ cách dấu “cách”, tiếng ... điểm cú pháp cấu tạo từ tiếng Việt Tách từ khó khăn việc phân loại văn ngôn ngữ châu Á tiếng Hoa, tiếng Nhât, tiếng Hàn tiếng Việt Mặc dù viết ký tự La tinh mở rộng, tiếng Việt có đặc tính chung ... pháp - Từ cấu trúc từ tiếng hay gọi âm tiết - Từ bao gồm từ đơn (từ tiếng) từ phức (n - tiếng với n < 5), bao gồm từ láy từ ghép Trong đó, định nghĩa từ tiếng Anh sau: Từ nhóm ký tự có nghĩa,...

52
778
1

Khảo sát giá trị liên kết và ngữ nghĩa của các từ nối theo phạm trù tương phản trong văn bản tiếng Việt (Trên cơ sở dữ liệu truyện ngắn của ba tác giả Nam Cao, Nguyễn Huy Thiệp, Nguyễn Ngọc Tư)

Danh mục: Văn học - Ngôn ngữ học

... "Hệ thống liên kết văn tiếng Việt" (1985), đặc biệt tác giả Diệp Quang Ban với hai cuốn: "Văn liên kết tiếng Việt" (1998), "Giao tiếp, Văn bản, Mạch lạc, Liên kết, Đoạn văn" (2002) Ngồi có nhà ... liên kết văn Có thể gọi từ nối nhiều tên gọi khác nhau, hƣ từ, phụ từ, quan hệ từ nhƣng chủ yếu liên từ Vai trò từ nối dùng để nối mệnh đề câu ghép sử dụng để liên kết câu với văn Đồng thời từ nối ... song le, Trên bảng phân loại Trần Ngọc Thêm Ngồi Khố luận tốt nghiệp ngành Ngơn ngữ học, Lê Văn Thành (1979) phân loại từ nối thành 17 nhóm khác [27] theo ý nghĩa từ nối Trong luận văn dựa vào...

209
611
2

So sánh các biện pháp liên kết từ vựng trong văn bản tiếng việt và tiếng anh

Danh mục: Tiến sĩ

... với tiếng Việt, chất từ loại thể khả kết hợp từ, tức phân bố vò trí từ bối cảnh ngữ pháp Nói chung, từ loại tiếng Việt thuộc ba tập hợp bản: thực từ (danh từ, động từ, tính từ v.v…), hư từ (liên ... chưa nhiều Trong công trình ngôn ngữ học Việt Nam, nói ‘Hệ thống liên kết văn tiếng Việt Trần Ngọc Thêm [56] tác phẩm nghiên cứu phép liên kết văn tiếng Việt Trong công trình này, văn nghiên ... 2.2.1 Thế danh từ 57 2.2.1.1 Từ đại từ không gian, đại từ đònh, đại từ loại 57 2.2.1.2 Từ từ thứ ba 59 2.2.1.3 Ý nghóa đại từ phép qui chiếu phép 61 2.2.2 Thế động từ ...

216
1,257
14

Khảo sát giá trị liên kết và ngữ nghĩa của các từ nối theo phạm trù tương phản trong văn bản tiếng việt (trên cơ sở dữ liệu truyện ngắn của ba tác giả nam cao, nguyễn huy thiệp, nguyễn ngọc tư)

Danh mục: Thạc sĩ - Cao học

... loại từ tiếng Việt cách nhìn từ văn bản, Ngơn ngữ (2), tr.10-14 32 Trần Ngọc Thêm (2006, tái bản) , Hệ thống liên kết văn tiếng Việt, NXB Giáo dục, Hà Nội 33 Nguyễn Thị Thìn (2003), Về mạch lạc văn ... Ngữ pháp tiếng Việt, NXB Giáo dục, Hà Nội Diệp Quang Ban (2009, tái bản) , Văn liên kết tiếng Việt, NXB Giáo dục, Hà Nội Diệp Quang Ban (2002), Giao tiếp, Văn bản, Mạch lạc, Liên kết, Đoạn văn, NXB ... cụm từ nối cách sử dụng chúng tập làm văn, Báo cáo khoa học Hội thảo Giảng dạy ngữ văn nhà trường, Trường Đại học Sư phạm Hà Nội 38 Phạm Văn Tình (1988), Hiện tượng tách câu văn tiếng Việt, Tiếng...

14
435
0

HƯỚNG DẪN NHẬN DIỆN ĐƠN VỊ TỪ TRONG VĂN BẢN TIẾNG VIỆT

Danh mục: Khoa học xã hội

... dấu ngoặc Từ tiếng nước Chữ viết tắt Đề xuất nguyên tắc tách từ cho tiếng Việt Nguyên tắc tách từ cho tiếng Việt xét loại đơn vị từ vựng sau đây: Từ đơn Từ ghép đẳng lập Từ ghép phụ Từ ghép phụ ... có tư cách từ ghép phụ B (đồng, đất, nhôm, gỗ, đá) danh từ chất liệu Trong tiếng Việt có từ có nhiều tiếng (bao gồm từ vay mượn Việt hố, có hình thức phiên âm gần giống với tiếng Việt) , xét theo ... đỏ đen – đen đỏ, ốm đau – đau ốm, v.v 2.1 Từ ghép đẳng lập gốc Việt - Từ ghép đẳng lập gốc Việt từ ghép hai thành tố từ gốc Việt a Từ ghép đẳng lập gốc Việt gồm hai thành tố có gần nghĩa: đất nước...

12
595
0

NHẬN BIẾT CÁC LOẠI THỰC THỂ TRONG VĂN BẢN TIẾNG VIỆT NHẰM HỖ TRỢ WEB NGỮ NGHĨA VÀ TÌM KIẾM HƯỚNG THỰC THỂ

Danh mục: Web

... biết loại thực thể tiếng Việt đời góp phần quan trọng xử lý tiếng Việt hiểu văn tiếng Việt Tuy nhận biết loại thực thể tốn trích chọn thơng tin xử lý ngôn ngữ tự nhiên tiếng Việt lại tốn tương ... diện loại thực thể cho tiếng Việt đề xuất phương pháp lựa chọn thuộc tính cho việc nhận diện loại thực thể văn tiếng Việt Chương đưa kết hệ thống nhận diện loại thực thể tiếng Việt qua số lần thực ... thể văn tiếng Việt gặp nhiều khó khăn so với tốn tiếng Anh số ngun nhân sau: Thiếu liệu huấn luyện nguồn tài nguyên tra cứu WordNet tiếng Anh Thiếu thông tin ngữ pháp (POS) thông tin cụm từ cụm...

58
1,999
2