Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn NGUYỄN ĐỨC THỌ ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC KỸ THUẬT CÔNG NGHIỆP LUẬN VĂN THẠC SĨ KỸ THUẬT NGHIÊN CỨU MỘT SỐ PHƢƠNG PHÁP TỔNG HỢP TIẾNG NÓI Ngành: KỸ THUẬT ĐIỆN TỬ Học Viên: NGUYỄN ĐỨC THỌ Ngƣời HD Khoa học: PGS.TS. LƢƠNG CHI MAI THÁI NGUYÊN – 2012 ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC KỸ THUẬT CÔNG NGHIỆP LUẬN VĂN THẠC SĨ KỸ THUẬT LUẬN VĂN THẠC SĨ KỸ THUẬT KỸ THUẬT ĐIỆN TỬ NGÀNH: KỸ THUẬT ĐIỆN TỬ NGHIÊN CỨU MỘT SỐ PHƢƠNG PHÁP TỔNG HỢP TIẾNG NÓI Ngành: KỸ THUẬT ĐIỆN TỬ Học Viên: NGUYỄN ĐỨC THỌ Ngƣời HD Khoa học: PGS.TS. LƢƠNG CHI MAI TN 2013 THÁI NGUYÊN 2013 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LUẬN VĂN THẠC SĨ Họ và tên học viên : Nguyễn Đức Thọ Ngày tháng năm sinh : Ngày 22 tháng 03 năm 1980 Nơi sinh : Chi lăng - Quế võ - Tỉnh Bắc Ninh Nơi công tác : Trƣờng Cao đẳng nghề Cơ điện và Xây dựng Bắc Ninh Cơ sở đào tạo : Trƣờng Đại học Kỹ thuật Công nghiệp Thái Nguyên Chuyên ngành : Kỹ thuật điện tử Khóa học : K13- KT ĐT Ngày giao đề tài : Ngày Tháng Năm Ngày hoàn thành đề tài : Ngày Tháng Năm TÊN ĐỀ TÀI: NGHIÊN CỨU MỘT SỐ PHƢƠNG PHÁP TỔNG HỢP TIẾNG NÓI Ngƣời hƣớng dẫn khoa học: PGS.TS. Lương Chi Mai Viện công nghệ thông tin, viện khoa học và công nghệ Việt Nam GIÁO VIÊN HƢỚNG DẪN PGS.TS. Lương Chi Mai HỌC VIÊN Nguyễn Đức Thọ BAN GIÁM HIỆU KHOA SAU ĐẠI HỌC TRƢỜNG ĐẠI HỌC KỸ THUẬT CÔNG NGHIỆP  Độc lập - Tự do - Hạnh phúc Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC KỸ THUẬT CÔNG NGHIỆP LUẬN VĂN THẠC SĨ Tên đề tài: NGHIÊN CỨU MỘT SỐ PHƢƠNG PHÁP TỔNG HỢP TIẾNG NÓI Ngƣời hƣớng dẫn: PGS .TS Lƣơng Chi Mai Học viên: Ngyễn Đức Thọ Chuyên ngành: Kỹ thuật điện tử Thái Nguyên 2013 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI CAM ĐOAN Tên tôi là:Nguyễn Đức Thọ Học viên lớp Cao học khoá 13- Kỹ thuật điện tử - Trƣờng Đại học Kỹ thuật Công nghiệp Thái Nguyên Tôi xin cam đoan luận văn là kết quả nghiên cứu của riêng tôi, các số liệu, kết quả nêu trong luận văn này là trung thực và không sao chép của ai, luận văn này không giống hoàn toàn bất cứ luận văn hoặc các công trình đã có trƣớc đó. Thái Nguyên, Ngày … tháng … năm 2013 Nguyễn Đức Thọ Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lời cảm ơn Trƣớc hết, em xin đƣợc gửi lời biết ơn sâu sắc tới các thầy cô giáo trong trƣờng Đại học kỹ thuật Công nghiệp Thái Nguyên, các thầy cô giáo trực tiếp giảng dạy, tận tình hƣớng dẫn em những kiến thức và kinh nghiệm quý báu trong suốt thời gian học tập và rèn luyện. Em xin bày tỏ lời cảm ơn chân thành tới các thầy cô giáo trong Khoa Điện điện tử Trƣờng Đại học kỹ thuật Công nghiệp Thái Nguyên, khoa sau Đại học Trƣờng Đại học kỹ thuật Công nghiệp Thái Nguyên đã tạo điều kiện thuận lợi cho em trong thời gian học tập. Em xin bày tỏ lòng biết ơn chân thành, lời cảm ơn sâu sắc đối với cô giáo PGS.TS. Lƣơng Chi Mai đã trực tiếp hƣớng dẫn, định hƣớng cho em giải quyết nhiều vấn đề trong luận văn. Em cũng muốn gửi lời cảm ơn tới tập thể lớp thạc sĩ kỹ thuật điện tử k13 đã tạo một môi trƣờng thi đua học tập lành mạnh, tạo điều kiện cho sự phát triển của các thành viên trong lớp. Cuối cùng em xin đƣợc cảm ơn những ngƣời thân, bạn bè đã quan tâm, động viên giúp đỡ em trong quá trình học tập, nghiên cứu và hoàn thành luận văn. Tác giả luận văn Nguyễn Đức Thọ Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MỤC LỤC Lời cam đoan……………………………………………………………………… i Lời cảm ơn ……………………………………………………………………… ii Mục lục……………………………………………………………………………. 1 Danh mục các chữ viết tắt………………………………………………………… 5 Danh mục bảng các thuật ngữ Anh – Việt ……………………………………… 5 Danh mục hình vẽ và đồ thị……………………………………………………… 6 Danh mục các bảng biểu…………………………………………………………. 7 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn NỘI DUNG Trang LỜI MỞ ĐẦU……………………………………………………………… 8 Chƣơng 1. Tổng quan về tổng hợp tiếng nói…………………………… 12 1.1 Giới thiệu về tổng hợp tiếng nói………………………………………… 12 1.1.1 khái niệm về tổng hợp tiếng nói…………………………………… 12 1.1.2 Mô hình của một bộ tổng hợp tiếng nói…………………………… 12 1.1.2.1. Thành phần xử lý ngôn ngữ tự nhiên……………………………… 15 1.1.2.2. Thành phần xử tín hiệu số………………………………………… 18 1.2. Lịch sử phát triển và ứng dụng tổng hợp tiếng nói…………………… 20 Chƣơng 2. Các phƣơng pháp tổng hợp tiếng nói……………………… 25 2.1 Phƣơng pháp tổng hợp theo cấu âm…………………………………… 25 2.2 Phƣơng pháp tổng hợp theo formant……………………………………. 28 2.3 Phƣơng pháp Tổng hợp ghép nối…………………………………………. 30 2.4 Phƣơng pháp tổng hợp theo ghép chuỗi………………………………… 31 2.5 Đánh giá chung các phƣơng pháp tổng hợp tiếng nói…………………… 34 Chƣơng 3. Chuẩn hoá văn bản và thuật toán phân tích văn bản………. 38 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3.1 Tổng quan……………………………………………………………… 38 3.2.Các vấn đề đối với bài toán Chuẩn hóa văn bản tiếng Việt………………. 38 3.2.1.Bài toán chuẩn hóa văn bản tiếng Anh……………………………… 38 3.2.2 Đặc điểm văn bản tiếng Việt…………………………………………. 39 3.2.3.Sự tổ chức không có quy chuẩn của một token…………………………. 39 3.2.3.1 Sự phức tạp của NSW………………………………………………… 40 3.2.3.2 Xử lý các NSW khác nhau……………………………………………. 41 3.2.3.3 Vấn đề phân loại NSW……………………………………………… 41 3.2.3.4.Vấn đề mở rộng NSW………………………………………………… 41 3.3.Giải pháp đề xuất…………………………………………………………. 42 3.3.1 Phân loại các từ chƣa chuẩn hóa cho tiếng Việt……………………… 42 3.3.2 Tổ chức gán thẻ cho NSW……………………………………………… 47 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3.3.3.Chuẩn phân tách………………………………………………………… 49 3.3.4.Phát hiện NSW…………………………………………………………. 50 3.3.5.Phân loại NSW…………………………………………………………. 50 3.3.6.Mở rộng cách đọc………………………………………………………. 52 3.4.Các kỹ thuật và giải thuật ………………………………………………… 52 3.4.1.Tổng quan về cây quyết định……………………………………………. 53 3.4.2. Các bƣớc xây dựng cây quyết định…………………………………… 54 3.4.2.1.Cắt tỉa cây.……………………………………………………………. 55 3.4.2.2.Độ đo thuộc tính………………………………………………………. 55 3.4.2.3.Rút luật phân lớp từ cây quyết định…………………………………… 56 3.4.2.4.Hiện tƣợng “quá vừa” (overfitting) dữ liệu huấn luyện……………… 56 3.4.2.5.Xử lí quá vừa dữ liệu………………………………………………… 57 3.4.2.6.Áp dụng cây quyết định……………………………………………… 58 3.4.3.Mô hình ngôn ngữ chữ cái (Letter Language Modeling)…………… 60 3.4.4.Kỹ thuật làm trơn mô hình Kneser-Ney cải tiến………………………… 60 3.5.Kết chƣơng……………………………………………………………… 61 Chƣơng 4. Cài đặt thử nghiêm modul chuẩn hóa văn bản cho tiếng Việt 62 4.1. Cài đặt và thử nghiệm………………………………………………… 62 4.1.1.Cài đặt………………………………………………………………… 62 4.1.2.Thử nghiệm chƣơng trình…………………………………………… 69 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 4.1.2.1. Phƣơng pháp đánh giá kết quả…………………………………… 69 4.1.2.2.Bộ dữ liệu thử nghiệm Training……………………………… 70 4.2. .Kết quả thử nghiệm…………………………………………………… 72 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 74 TÀI LIỆU THAM KHẢO………………………………………………… 75 [...]... Chƣơng 1: Tổng quan về tổng hợp tiếng nói Chƣơng này trình bày khái quát về tổng hợp tiếng nói và lịch sử phát triển cũng nhƣ ứng dụng của nó vào một số phƣơng pháp tổng hợp tiếng nói Chƣơng 1 cũng chỉ ra một số đặc điểm của ngữ âm, ngôn điệu tiếng việt Chƣơng 2: Tìm hiểu một số phƣơng pháp tổng hợp tiếng nói Trong phần này, tôi trình bày khái quát một số phƣơng pháp tổng hợp tiếng nói hiện nay và những... hóa ngữ âm Hệ thống tổng hợp tiếng nói cho phép chuyển đổi nội dung văn bản của một ngôn ngữ nhất định trong thực tế thành tiếng nói tƣơng ứng Tổng hợp tiếng nói là một phần trong bài toán xử lý ngôn ngữ tự nhiên - bao gồm cả nhận dạng và tổng hợp tiếng nói Một hệ thống tổng hợp tiếng nói từ văn bản chuyển đổi ngôn ngữ viết sang tín hiệu tiếng nói Chất lƣợng của một bộ tổng hợp tiếng nói đƣợc đánh giá... tích văn bản cho tổng hợp tiếng nói - Phƣơng pháp gán nhãn dùng N-grams Chƣơng 4: Cài đặt - Cài đặt thử nghiêm modul chuẩn hóa văn bản cho tiếng Việt Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn CHƢƠNG 1: TỔNG QUAN VÊ TỔNG HỢP TIẾNG NÓI 1.1.Giới thiệu về tổng hợp tiếng nói 1.1.1.khái niệm về tổng hợp tiếng nói Tổng hợp tiếng nói là việc tạo ra tiếng nói con ngƣời từ... nghiên cứu tiếng nói xét về khía cạnh các luật âm thanh -Vì những lý do trên tôi đã lựa chọn đề tài “ Ngiên cứu một số phương pháp tổng hợp tiếng nói ” , nhằm tìm hiểu các vấn đề về tổng hợp tiếng nói và áp dụng chúng trong tổng hợp tiếng nói tiếng Việt 2 Ý nghĩa khoa học và thực tiễn của đề tài a.Ý nghĩa khoa học - Hiểu đƣợc các vấn đề, các bài toán cơ bản và các phƣơng pháp tổng hợp tiếng nói b.Ý... ngôn điệu: Thêm các thông số về tần số cơ bản, trƣờng độ, khoảng ngừng, cao độ * Mức thấp (Back-end): tổng hợp tiếng nói từ văn bản đã được phân tích Tại mức tổng hợp mức thấp ta có 3 phƣơng pháp tổng hợp tiếng nói bao gồm: - Tổng hợp ghép nối - Tổng hợp formant - Tổng hợp cấu âm Các quá trình chuyển đổi Theo sơ đồ tổng quát, để thực hiện việc chuyển đổi văn bản thành tiếng nói phải thực hiện bốn bƣớc... bộ về từng phƣơng pháp - Phƣơng pháp tổng hợp theo cấu âm - Phƣơng pháp tổng hợp theo formant - Phƣơng pháp tổng hợp theo ghép chuỗi - Phƣơng pháp tổng hợp theo mô hình Markov ẩn Chƣơng 3: Chuẩn hoá văn bản và thuật toán phân tích văn bản - Tìm hiểu về các phƣơng pháp phân tích, chuẩn hóa văn bản trong tổng hợp tiếng nói - Tìm hiểu những đặc trƣng ngữ âm tiếng Việt và từ tiếng Việt Số hóa bởi Trung... tổng hợp theo cấu âm là công cụ lý tƣởng để nghiên cứu về cấu âm của tiếng nói và hứa hẹn về lâu dài là giải pháp hoàn thiện nhất để tổng hợp ra âm thanh tiếng nói giống nhƣ tiếng nói tự nhiên của con ngƣời 2.2 Phƣơng pháp tổng hợp theo formant Quy trình để xây dựng bộ tổng hợp formant theo luật gồm hai quá trình riêng biệt là quá trình phân tích âm thanh tiếng nói để tìm ra các quy luật và tổng hợp. .. tiết kiệm đƣợc bộ nhớ, song chất lƣợng tiếng nói không tự nhiên và phụ thuộc nhiều vào chất lƣợng của quá trình phân tích tiếng nói của từng ngôn ngữ 2.3 Phƣơng pháp Tổng hợp ghép nối Tổng hợp ghép nối dựa trên việc ghép nối các đoạn tiếng nói đã ghi âm sẵn Nói chung, tổng hợp ghép nối cho tiếng nói tổng hợp nghe tự nhiên nhất Tuy nhiên, độ tự nhiên của tiếng nói và các kỹ thuật tự động phân đoạn sóng... dạng sóng thanh Tổng hợp tiếng nói dựa trên tập luật phân tích (hay tổng hợp formant) Hệ thống tổng hợp formant sẽ căn cứ vào các tham số điều khiển từ bảng tra cứu và cùng với thuật toán đƣợc xây dựng cho sự chuyển tiếp là các tín hiệu điều khiển bộ tổng hợp để tạo các âm đoạn tính Thiết kế của bộ tổng hợp formant đƣợc dựa trên mô hình tƣơng tự đầu cuối tạo tiếng nói do Frant đề xuất Tổng hợp formant... tài nghiên cứu về tổng hợp tiếng nói Và bƣớc đầu đã đạt đƣợc những thành tựu nhất định Công nghệ cho Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn việc tổng hợp tiếng nói từ văn bản có số từ vựng không hạn chế chất lƣợng cao có những phức tạp chung là một lẽ, song một vấn đề nữa là nó còn phụ thuộc từng ngôn ngữ riêng biệt Không thể lấy các phần mềm tổng hợp tiếng nói . http://www.lrc-tnu.edu.vn CHƢƠNG 1: TỔNG QUAN VÊ TỔNG HỢP TIẾNG NÓI 1.1.Giới thiệu về tổng hợp tiếng nói 1.1.1.khái niệm về tổng hợp tiếng nói Tổng hợp tiếng nói là việc tạo ra tiếng nói con ngƣời từ đầu. đã lựa chọn đề tài “ Ngiên cứu một số phương pháp tổng hợp tiếng nói ” , nhằm tìm hiểu các vấn đề về tổng hợp tiếng nói và áp dụng chúng trong tổng hợp tiếng nói tiếng Việt. 2. Ý nghĩa khoa. ra một số đặc điểm của ngữ âm, ngôn điệu tiếng việt Chƣơng 2: Tìm hiểu một số phƣơng pháp tổng hợp tiếng nói. Trong phần này, tôi trình bày khái quát một số phƣơng pháp tổng hợp tiếng nói