Đang tải... (xem toàn văn)
Xây dựng website đặt phòng cho khách sạn
KHOA CNTT – ĐH KHTN TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN CÔNG NGHỆ TRI THỨC ĐẶNG THÁI DƯƠNG – 0012535 HÀ GIANG HẢI – 0012544 NHẬN DẠNG TIẾNG NÓI TIẾNG VIỆT THEO HƯỚNG TIẾP CẬN NHẬN DẠNG ÂM VỊ TỰ ĐỘNG LUẬN VĂN CỬ NHÂN TIN HỌC GIÁO VIÊN HƯỚNG DẪN Th.S. THÁI HÙNG VĂN NIÊN KHOÁ 2000 – 2004 KHOA CNTT – ĐH KHTN Lời cảm ơn L ỜI CẢM ƠN Xin chân thành cảm ơn thầy Thái Hùng Văn đã tận tình hướng dẫn chúng em trong quá trình hoàn thành đề tài. Những buổi nói chuyện, những kinh nghiệm cùng những tài liệu của thầy đã giúp chúng em có được những định hướng đúng đắn và đưa ra các phương pháp tốt để thực hiện đề tài. Xin gởi lời cảm ơn đến các thầy cô trong Khoa Công nghệ thông tin, những người đã dìu dắt chúng em trong suốt 4 năm ở Đại học. Xin cảm ơn bạn bè và các anh chị Khóa trên, những người đã cùng chúng tôi học tập, san sẻ khó khăn, trong đó có những ủng hộ tinh thần quý giá. Đặc biệt, anh Nguyễn Tấn Dũng đã nhiệt tình giúp đỡ nhiều về tài liệu. Và cuối cùng, nhưng quan trọng nhất, xin cám ơn ba mẹ và những người thân, những người ủng hộ chúng con về mọi mặt. Không có sự quan tâm đó, chúng con không thể hoàn thành tốt đồ án này. TP. HCM, ngày 10 tháng 7 n ăm 2004 Các sinh viên Đặng Thái Dương – Hà Giang Hải i KHOA CNTT – ĐH KHTN Mục lục M ỤC LỤC LỜI CẢM ƠN i MỤC LỤC .ii DANH SÁCH CÁC HÌNH .vii DANH SÁCH CÁC BẢNG .ix GIỚI THIỆU CHUNG x CHƯƠNG 1 Sơ lược về ngữ âm tiếng Việt 1 1.1. Ý nghĩa của các nghiên cứu ngữ âm trong nhận dạng tiếng nói Tiếng Việt 1 1.2. Phân loại âm tố theo cấu âm .1 1.2.1. Định nghĩa âm tố 1 1.2.2. Các âm tố phụ âm 2 1.2.2.1. Đặc điểm cấu tạo của phụ âm .2 1.2.2.2. Một số cách phân chia phụ âm 2 1.2.2.3. Cấu âm bổ sung .4 1.2.3. Các âm tố nguyên âm 4 1.2.3.1. Đặc điểm cấu tạo của nguyên âm .4 1.2.3.2. Một số cách phân chia nguyên âm 4 1.3. Phân loại âm tố về mặt âm học - nhận dạng tiếng nói dựa vào đặc trưng âm học .6 1.3.1. Ý nghĩa của phân loại về mặt âm học 6 ii KHOA CNTT – ĐH KHTN Mục lục 1.3.2. Các đặc trưng âm học 6 1.3.3. Nhận dạng tiếng nói dựa vào các đặc trưng âm học 11 1.4. Sơ lược về âm tiết tiếng Việt 11 1.4.1. Giới thiệu về âm tiết 11 1.4.2. Một số đặc điểm của âm tiết tiếng Việt .12 1.4.2.1. Là ngôn ngữ có kết cấu âm tiết tính 12 1.4.2.2. Mỗi âm tiết có thanh điệu riêng 12 1.4.2.3. Âm tiết có cấu trúc chặt chẽ và ổn định 13 1.5. Lý thuyết về âm vị 14 1.5.1. Định nghĩa âm vị 14 1.5.2. Chức năng của âm vị .15 1.5.3. Tách âm vị và xác định âm vị trên chuỗi sóng âm 15 CHƯƠNG 2 Mô hình HMM áp dụng vào nhận dạng âm vị 17 2.1. Giới thiệu 17 2.2. Những vấn đề cơ bản của HMM 17 2.2.1. Các kiến thức toán của HMM và các vấn đề khi sử dụng HMM vào nhận dạng tiếng nói .17 2.2.1.1. Giới thiệu về nhận dạng thống kê và HMM .18 2.2.1.2. Các thành phần chính của HMM 19 2.2.1.3. Ví dụ về nhận dạng từ đơn dựa trên HMM .21 2.2.1.4. Hai giả thuyết cơ bản để xây dựng hệ thống nhận dạng dựa trên HMM 22 2.2.1.5. Ba vấn đề thiết yếu của mô hình HMM và cách giải quyết các vấn đề trên .24 iii KHOA CNTT – ĐH KHTN Mục lục 2.3. Nhận dạng tiếng nói và nhận dạng âm vị dựa trên HMM 28 2.3.1. Mô hình Nhận dạng .28 2.3.2. Các thành phần cơ bản của hệ thống nhận dạng tiếng nói dựa trên HMM và mối liên hệ giữa chúng. .30 2.4. Mô hình HMM cho âm vị được sử dụng trong bài làm .32 CHƯƠNG 3 Tiền xử lý tín hiệu Tiếng nói và rút trích đặc trưng 34 3.1. Ý nghĩa của Tiền xử lý Tiếng nói .34 3.2. Một số công việc trong Tiền xử lý tín hiệu tiếng nói .35 3.2.1. Làm nổi tín hiệu (pre-emphasis) 35 3.2.2. Lọc tiếng ồn .36 3.3. Rút trích đặc trưng 37 3.3.1. Giới thiệu .37 3.3.2. Một số phương pháp trích đặc trưng 38 3.3.2.1. Phương pháp Mã hóa dự báo tuyến tính (LPC) 38 3.3.2.3. Phương pháp Mã hoá cepstral tần số Mel dựa trên LPC (MFCC) .42 3.3.2.4. Các hệ số delta (D) và hệ số gia tốc (A) .42 3.3.3. So sánh các phương pháp trích đặc trưng 43 CHƯƠNG 4 Thuật giải Embedded training – tách và xây dựng mô hình HMM tự động cho âm vị 45 4.1. Tách và nhận dạng âm vị tự động dựa trên HMM .45 4.1.1. Thuật toán huấn luyện đối với những đơn vị độc lập - Huấn luyện trên dữ liệu gán nhãn 45 4.1.2. Thuật giải Embedded training - huấn luyện trên dữ liệu âm thanh không gán nhãn âm vị .46 iv KHOA CNTT – ĐH KHTN Mục lục 4.2. Các công thức ước lượng tham số của mô hình HMM 49 4.2.1. Ước lượng tham số khi huấn luyện các mô hình HMM độc lập .49 4.2.2. Ước lượng tham số trong thuật giải Embedded training .51 4.3. Các vấn đề về tham số của HMM khi sử dụng thuật giải Embedded training. .53 4.3.1. Khởi tạo tham số 53 4.3.2. Ngưỡng 54 4.3.3. Số lần lặp trong mỗi bước luyện của thuật toán 54 4.3.4. Dữ liệu huấn luyện .54 CHƯƠNG 5 Thực hiện chương trình .56 5.1. Các khó khăn trong quá trình nhận dạng 56 5.1.1. Âm vị độc lập và âm vị phụ thuộc ngữ cảnh .56 5.1.2. Tách âm tiết trong tiếng nói liên tục và sự phụ thuộc giữa các âm vị lẫn nhau trong tiếng nói liên tục 58 5.1.3. Các nguyên âm đôi 58 5.1.4. Ảnh hưởng của thanh điệu lên âm vị .59 5.2. Quá trình thực hiện chương trình .59 5.2.1. Các bước chính 60 5.2.2. Thu dữ liệu và gán nhãn dữ liệu 60 5.2.2.1. Thu dữ liệu 60 5.2.2.2. Gán nhãn dữ liệu .61 5.2.2.3. Đánh giá dữ liệu 61 5.2.2.4. Rút trích đặc trưng dữ liệu 61 5.2.3. Khởi tạo mô hình HMM 62 v KHOA CNTT – ĐH KHTN Mục lục 5.2.4. Huấn luyện mô hình HMM 63 5.2.4.1. Huấn luyện mô hình HMM cho âm vị độc lập ngữ cảnh (monophone) 63 5.2.4.2. Huấn luyện trên mô hình âm vị phụ thuộc ngữ cảnh (triphone) .66 5.2.5. Nhận dạng 70 5.3. Đánh giá kết quả và hướng phát triển: .71 5.3.1. Kết quả nhận dạng .71 5.3.2. Nhận xét .73 5.3.3. Hướng phát triển 73 TÀI LIỆU THAM KHẢO .75 vi KHOA CNTT – ĐH KHTN Danh sách các hình D ANH SÁCH CÁC HÌNH HÌNH 1 – Phổ (spectrum) của một nguồn âm thanh tại thời điểm t .7 HÌNH 2 – Phổ đồ (spectrogram) của tiếng “hai” (trên) và sóng âm tương ứng (dưới). Những vùng có cường độ cao (vùng đen) tạo thành những dãi bắt ngang qua phổ đồ, đó là những vệt formant, được đánh số từ dưới lên là F1, F2, F3, … 8 HÌNH 3 – Cụm từ “âm tiết tiếng Việt” thể hiện trên sóng âm. Mỗi âm tiết có biên độ lớn ở giữa âm và giảm dần khi đi về đầu và cuối âm .12 HÌNH 4 – Cụm từ “bốn lăm” đứng kề nhau: có một khoảng chồng lấp giữa âm vị “n” cuối âm tiết “bốn” và âm vị “l” đầu âm tiết “lăm” .16 HÌNH 5 – Hai cách tách âm vị cho cùng một sóng âm của chữ “hai” 16 HÌNH 6 – Mô hình HMM 5 trạng thái 19 HÌNH 7 – Sơ đồ huấn luyện mô hình HMM 28 HÌNH 8 – Sơ đồ nhận dạng từ mô hình HMM đã được huấn luyện .29 HÌNH 9 – Mô hình nhận dạng theo 3 cấp .30 HÌNH 10 – Sóng âm của chữ “hai” trước khi (hình trái) và sau khi (hình phải) được làm phẳng .36 HÌNH 11 – Sơ đồ của bộ lọc MFCC dựa trên biến đổi dự báo tuyến tính và các biến đổi Fourier .42 HÌNH 12 – Lưu đồ huấn luyện từ đơn của công cụ HRest (HTK) .46 HÌNH 13 – Dãy sóng âm “MO6T MO6T HAI HAI BA MO6T” 47 HÌNH 14 – Mô hình huấn luyện Embedded training 48 HÌNH 15 – Các âm vị không nằm trong 1 siêu cầu 57 HÌNH 16 – Mô hình huấn luyện monophone (Từ in nghiêng trong dấu ngoặc đơn là tên thư mục hoặc tập tin trong bài làm của nhóm) 63 HÌNH 17 – Mối liên hệ giữa likelihood trung bình và số bước huấn luyện .64 vii KHOA CNTT – ĐH KHTN Danh sách các hình HÌNH 18 – Phương pháp góm nhóm âm vị dựa vào cây quyết định âm học .68 HÌNH 19 – Buộc trạng thái theo phương pháp Data-driven-clustering 69 HÌNH 20 – Sự phụ thuộc của kết quả nhận dạng vào ngưỡng phân nhóm các trạng thái của HMM 69 viii KHOA CNTT – ĐH KHTN Danh sách các bảng DANH SÁCH CÁC BẢNG BẢNG 1 – Phân chia nguyên âm theo độ nâng của lưỡi 6 BẢNG 2 – Ảnh hưởng của số bước lặp huấn luyện đến kết quả nhận dạng 64 BẢNG 3 – Kết quả nhận dạng các tiếng là chữ số đọc liên tục 72 BẢNG 4 – Kết quả nhận dạng từ đơn .73 ix [...]... cứu dành cho lĩnh vực nhận dạng trở nên mang ý – nghĩa quan trọng Công việc nghiên cứu này có ý nghĩa riêng biệt trên từng ngôn C N TT ngữ (Vì mỗi ngôn ngữ đều có đặc điểm riêng, ngoài những điểm chung) Vì vậy, muốn xây dựng tốt hệ nhận dạng tiếng nói tiếng Việt, trước tiên chúng ta phải nghiên cứu ngữ âm tiếng Việt để biết được đặc điểu âm học của Tiếng Việt trong từng địa phương Từ đó, xây dựng hệ... bộ vượt bậc Tuy nhiên, hầu hết các công trình vẫn còn thực hiện ở trong phòng thí nghiệm, đặc biệt là đối với các thứ tiếng ít phổ biến như Tiếng Việt của chúng ta H Ý tưởng về xây dựng các hệ thống nhận dạng tiếng nói đã có từ những năm Đ 50 của thế kỷ 20 và đến nay đã đạt được nhiều kết quả đáng kể Có 3 hướng tiếp cận – chính cho nhận dạng tiếng nói: Tiếp cận Âm học: Hướng tiếp cận này dựa vào các... những thành tố của đơn vị có nghĩa H 1.5.3 Tách âm vị và xác định âm vị trên chuỗi sóng âm Số lượng từ trong mỗi ngôn ngữ đều rất lớn Xây dựng hệ nhận dạng theo từ Đ có khả năng phân biệt số lượng từ lớn đó quả là một thách thức Thay vào đó, người – ta nghĩ ra cách xây dựng hệ nhận dạng dựa trên hướng tiếp cận âm vị Theo đó, chỉ cần nhận dạng khoảng vài chục âm vị sẽ có thể nhận dạng được toàn bộ từ... giới thiệu về tiền xử lý tiếng nói và một số phương pháp trích đặc trưng được sử dụng trong nhận dạng tiếng nói K H O A CHƯƠNG 4: Giới thiệu thuật giải embedded training Đây là quá trình xây dựng mô hình HMM tự động cho các âm vị từ kho dữ liệu không gán nhãn âm vị CHƯƠNG 5: Quá trình thực hiện chương trình nhận dạng tiếng nói của nhóm Kết quả nhận dạng và giới thiệu chương trình demo xiii Sơ lược về... cung cấp cho chương trình K H TN học một nguồn dữ liệu có nhiều mẫu được đã phân loại thành nhiều lớp và có gán nhãn (nhãn cho biết mỗi mẫu thuộc lớp nào) Nguồn dữ liệu này phải được phân lớp và gán nhãn chính xác hoàn toàn để máy học Tuy nhiên, do không thể tách âm vị một cách chính xác, nguồn dữ liệu âm vị đưa vào khó đạt được mức độ chính xác, kết quả là việc huấn luyện giảm hiệu suất, làm cho hiệu... định đặc điểm của âm tố một cách trực tiếp không thông qua bộ máy phát âm; tiêu chí phân loại đơn giản,… 1.3.2 Các đặc trưng âm học Sự phân loại các âm tố về mặt âm học đã được xây dựng dựa trên âm phổ Các máy phân tích âm phổ cho chúng ta các phổ đồ (phổ hình), qua đó các âm tố thể hiện rõ các đặc trưng âm học: cao độ, cường độ, trường độ 6 Sơ lược về ngữ âm tiếng Việt Để biểu diễn phổ tiếng nói tại... nhãn âm vị không chính xác: thay vì đánh nhãn âm vị, chúng ta sẽ đánh nhãn âm tiết, đồng thời – cho biết các âm vị cấu thành âm tiết đó Như vậy, dữ liệu mẫu cung cấp cho quá C N TT trình học là các âm tiết Thuật toán học được sử dụng để tách âm vị là Embedded training Kết quả thu được là các mô hình HMM cho từng âm vị Do mỗi dãy âm vị được chọn tương đương với một âm tiết, công việc đánh nhãn âm vị... ngữ dao động từ khoảng 20 đến 60) Và đây cũng chính là hướng tiếp cận đúng đắn cho nhận dạng tiếng nói tiếng Việt Tuy nhiên, người ta lại gặp một khó khăn khác, đó là tách âm vị và xác định âm vị trên chuỗi sóng âm: Cho một dãy tín hiệu tiếng nói đã thu sẵn Nhiệm vụ của chúng ta là tìm ranh giới của tất cả các âm vị và cho biết các âm vị đó là âm vị gì K H O A Khoan hãy nói đến khả năng thực hiện công... vector quan sát O=o1,o2,…,oT , với ot là vector đặc trưng cho chuỗi sóng âm tại t Xác suất mà hàm thống kê nói trên tính là xác suất vector đặc trưng ot đạt trạng thái j tại thời điểm t K H O A Xác suất này gọi là xác suất quan sát hay xác suất output và nó đặc trưng cho tập tham số thứ hai của HMM: bj (ot)=P(ot|st=j), (t=1,2,…,T; j=1,2,…,n) Đặt B={bj (ot)} Tổng quát mô hình HMM có thể khởi tạo tại... nhích lại gần nhau, làm cho lối ra của Đ luồng không khí bị thu hẹp; luồng không khí đi qua khe hẹp này cọ xát vào thành – của bộ máy phát âm Ví dụ: Các phụ âm [f], [v], [s], [z], [h] Phụ âm rung: tạo thành khi các khí quan dễ rung động (như đầu lưỡi, lưỡi C N TT con hay môi) nhích lại gần nhau tạo thành một khe hở rất hẹp hay một chỗ tắc yếu, luồng không khí đi ra mạnh làm cho các khí quan ấy rung . NHIÊN KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN CÔNG NGHỆ TRI THỨC ĐẶNG THÁI DƯƠNG – 0012535 HÀ GIANG HẢI – 0012544 NHẬN DẠNG TIẾNG NÓI TIẾNG VIỆT THEO HƯỚNG
