BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUỐC TẾ HỒNG BÀNG PHẠM KIM PHƯỢNG Tên đề tài luận văn: ĐIỀU KHIỂN THIẾT BỊ BẰNG GIỌNG NÓI VỚI RASPBERRY PI Chuyên ngành Mã số học viên : : Khoa học máy tính 126011019 LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC : TS BÙI VĂN MINH TP HỒ CHÍ MINH – NĂM 2016 CHUẨN Y CỦA HỘI ĐỒNG BẢO VỆ LUẬN VĂN Luận văn tựa đề: “Điều khiển thiết bị giọng nói với Raspberry Pi 2”, công trình Phạm Kim Phượng thực nộp nhằm thỏa phần yêu cầu tốt nghiệp thạc sĩ chuyên ngành Khoa học máy tính Chủ tịch Thư ký Phản biện Phản biện Uỷ viên Giảng viên hướng dẫn TS Bùi Văn Minh TP HCM, ngày tháng năm 2016 2 LÝ LỊCH CÁ NHÂN: Họ tên: Phạm Kim Phượng Sinh ngày: 16 tháng 02 năm 1984 Nơi sinh: Tiền Giang Tốt nghiệp THPT trường THPT Trần Khai Nguyên, Quận 5, TPHCM, năm 2012 Tốt nghiệp đại học trường Đại Học Sư Phạm TPHCM, năm 2007 Từ năm 2007 đến nay: Làm việc trường THPT Trần Khai Nguyên, Quận 5, TPHCM Địa liên lạc: 43/59 B Dạ Nam, P2, Quận 8, TPHCM Email: phamphuong0216@gmail.com Điện thoại: 0907 850 083 3 LỜI CAM ĐOAN Tác giả cam đoan luận văn này: “Điều khiển thiết bị giọng nói với thiết bị nhúng Raspberry Pi 2” nghiên cứu tác giả Ngoại trừ tài liệu tham khảo trích dẫn luận văn này, tác giả cam đoan toàn luận văn chưa công bố hay sử dụng để nhận cấp nơi khác Luận văn chưa nộp để nhận cấp trường đại học sở đào tạo khác Mặc dù cố gắng, hạn chế người viết mặt kiến thức, kinh nghiệm, thời gian, trang thiết bị tài liệu nên nội dung hình thức không tránh khỏi thiếu sót Tác giả mong nhận góp ý chân thành từ thầy cô bạn đọc để luận văn hoàn thiện TP.HCM, ngày tháng năm 2016 Tác giả luận văn Phạm Kim Phượng 4 LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời biết ơn sâu sắc tới TS Bùi Văn Minh, thầy tận tình hướng dẫn, định hướng, giúp đỡ động viên em suốt thời gian nghiên cứu thực luận văn Thầy giúp đỡ em tiếp cận với khoa học, tri thức xã hội đạt thành công lĩnh vực nghiên cứu Em xin bày tỏ lòng biết ơn sâu sắc tới thầy cô giáo khoa Công nghệ thông tin – Viện đào tạo sau đại học – Trường Đại học Quốc tế Hồng Bàng Các thầy cô nhiệt tình hướng dẫn tạo điều kiện cho em học tập nghiên cứu suốt thời gian qua Tôi xin cám ơn đến bạn lớp cho ý kiến đóng góp đáng giá, mở nhiều hướng tiếp cận làm phong phú khả thực tế khóa luận Cuối xin gửi lời cảm ơn tới tất thành viên gia đình, người bên động viên tạo điều kiện cho thực tốt khóa luận TP.HCM, ngày tháng năm 2016 Tác giả luận văn Phạm Kim Phượng 5 TÓM TẮT Sự phát triển khoa học kỹ thuật ngày nhanh góp phần nâng cao suất lao động Đặc biệt đời phát triển công nghệ nhằm tạo tự động hóa, tiện lợi xã hội công nghiệp Theo luồng phát triển đó, dự án nhà thông minh (SmartHome) đời, góp phần tiện lợi cho sống đại Gần đây, nghiên cứu nhận dạng giọng nói dần ứng dụng vào lĩnh vực Ở số nước thề giới, việc điều khiển giọng nói nghiên cứu, ứng dụng vào đời sống sản xuất đời vài năm trở lại Như MỸ ứng dụng để điều khiển robotcam y khoa Riêng nước ta lĩnh vực Do cần có đầu tư để nghiên cứu theo kịp công nghệ để phục vụ cho nhu cầu xã hội Thấy khả phát triển nhu cầu tìm hiểu điều khiển giọng nói thân người yêu thích mong muốn sử dụng công nghệ này, bắt tay vào thực nghiên cứu đề tài: “Điều khiển thiết bị giọng nói sử dụng thiết bị Raspberry Pi” CHƯƠNG 1: TỔNG QUAN 1.1 : Giới thiệu Trình bày lý chọn đề tài, mục tiêu nghiên cứu nội dung yêu cầu nghiên cứu Qua trình bày xu hướng ứng dụng nhu cầu thực tiễn số thiết bị điện điều khiển thông qua giọng nói với Raspberry Pi 1.2: Tổng quan tài liệu Trình bày tổng quan bước thực chọn thiết bị, phần mềm cài đặt, lý thuyết xử lý tiếng nói công nghệ liên quan từ chọn giải pháp thực cho luận văn CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Khái niệm âm Giới thiệu âm nhiễu âm qua trình xử lý nhận dạng tiếng nói 2.2 Tổng quan xử lý tiếng nói Tổng quan xử lý tiếng nói 2.3 Xử lý tín hiệu số xử lý tiếng nói Giới thiệu thuật toán xử lý tín hiệu số xử lý tiếng nói 2.4 Nhận dạng tiếng nói Giới thiệu nhận dạng tiếng nói với từ riêng lẻ câu CHƯƠNG 3: TỔNG QUAN THIẾT KẾ VÀ THỰC HIỆN ĐIỀU KHIỂN THIÊT BỊ BẰNG GIỌNG NÓI Giới thiệu cách nhận dạng giọng nói, tổng hợp âm tảng thực luận văn CHƯƠNG 4: ĐIỀU KHIỂN VÀ LẮP ĐẶT THIẾT BỊ Xây dựng chức hệ thống có, từ việc điều khiển thủ công đến điều khiển giọng nói việc tương tác hỗ trợ lẫn chế độ điều khiển thủ công điều khiển giọng nói CHƯƠNG 5: KẾT QUẢ ĐẠT ĐƯỢC VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI Trình bày tổng kết lại kết đạt luận văn, mặt hạn chế hướng phát triển đề tài tương lai để tạo sản phẩm hoàn chỉnh ứng dụng rộng rãi với mô hình điều khiển thiết bị điện thông qua giọng nói MỤC LỤC CHƯƠNG 1: TỔNG QUAN 14 1.1 GIỚI THIỆU 14 1.1.1 Lý chọn đề tài, lĩnh vực nghiên cứu 14 1.1.2 Những nghiên cứu thực máy tính nhúng Raspberry Pi câu hỏi, giả thiết nghiên cứu đề tài 15 1.1.3 Mục tiêu nghiên cứu đối tượng nghiên cứu, giới hạn phạm vi nghiên cứu: 19 1.1.4 Những nội dung yếu cần nghiên cứu 19 1.2 TỔNG QUAN TÀI LIỆU 20 1.2.1 Raspberry Pi ? 20 1.2.2 Các phiên Raspberry Pi [23] 20 1.2.3 Các hệ điều hành cho máy tính nhúng Raspberry Pi 27 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 31 2.1 KHÁI NIỆM VỀ ÂM THANH 31 2.1.1 Khái niệm âm thanh: 31 2.1.2 Các hiệu ứng âm thanh: 32 2.1.3 Nguyên lý chuyển đổi A/D: 33 2.1.4 Điều chế xung biên: 34 2.1.5 Lấy mẫu lý tưởng: 35 2.1.6 Định lý Nyquist tượng chồng phổ: 37 2.1.7 Lấy mẫu thực tế: 38 2.1.8 Lượng tử hoá: 40 2.1.9 Mã hoá: 45 2.1.10 Dither: 46 2.1.11 Các tần số lấy mẫu chuẩn: 49 2.1.12 Chức tiền nhấn: 50 2.2 TỔNG QUAN VỀ XỬ LÝ TIẾNG NÓI 51 2.2.1.Tổng quan xử lý tiếng nói 51 2.2.2 Cấu trúc ngôn ngữ nói 55 2.3 XỬ LÝ TÍN HIỆU SỐ TRONG XỬ LÝ TIẾNG NÓI 59 2.3.1 Xử lý tín hiệu số 59 2.3.2 Phép biến đổi Fourier 60 2.3.3 Phép biến đổi Fourier rời rạc 60 2.3.4 Các lọc số cửa sổ 62 2.3.5 Biểu diễn tín hiệu tiếng nói: 62 2.3.6 Mã hóa tiếng nói 66 2.4 NHẬN DẠNG TIẾNG NÓI 70 2.4.1 Các hệ thống nhận dạng tiếng nói 70 2.4.2 Mạng Neuron nhân tạo (Artificial Neural Network- ANN) 77 CHƯƠNG 3: TỔNG QUAN, THIẾT KẾ VÀ THỰC HIỆN ĐIỀU KHIỂN THIẾT BỊ ĐIỆN BẰNG GIỌNG NÓI 83 3.1 Nhận dạng giọng nói ? 83 3.2 Tổng hợp âm ? 84 3.3 Nền tảng thực 84 3.4 Giới thiệu Jasper 84 CHƯƠNG 4: ĐIỀU KHIỂN VÀ LẮP ĐẶT THIẾT BỊ 86 4.1 Thiết kế điều khiển 86 4.2 Lắp đặt thiết bị điện 86 4.3 Cơ chế hoạt động: 89 4.4 Sử dụng thư viện 90 4.5 Thiết kế điều khiển 91 4.6 Sơ đồ kết nối 92 CHƯƠNG 5: KẾT QUẢ ĐẠT ĐƯỢC VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI 97 5.1 Kết đạt 97 5.2 Thuận lợi: 97 5.3 Khó khăn 97 5.4 Hạn chế 97 5.5 Hướng phát triển đề tài 97 10 Thẻ nhớ 16gb class 10 ổ cứng Raspi Case nhựa Đựng Raspi LCD 5inch Màn hình Kích vật hdmi Relay 5v dụng điện cao áp Usb sound 2.0 Chuyển jack 3.5 sang usb Mic jack 3.5 Loa jack 3.5 Đèn led siêu sáng Dây cắm điện Dây chuyền tín hiệu/điện 87 Breadboard Điện trở Dây HDMI Cáp mạng Kết nối RJ45 mạng mạng lan Bảng vật liệu cần có 88 4.3 Cơ chế hoạt động: Hình 8.2 : Cơ chế hoạt động phần mềm (1): Micro (2): Google Voi API nhận nhiệm vụ chuyển giọng nói sang văn (3): So sánh nội dung đưa vào với thư viện từ khóa lập trình trước (4): Thực thi lệnh nội dung đưa vào giống với từ khóa lập trình (5): Google Speech API chuyển văn thực thi thành lời nói Phần mềm mô tả sử dụng Google Voice speech APIs: - B1: Các lệnh giọng nói từ người dùng nhận microphone - B2: Sau chuyển đổi sang văn cách sử dụng Google voice API - B3: Văn so sánh với lệnh xác định trước thư viện từ khóa lập trình trước - B4: Nếu văn phù hợp với từ khóa thư viện lệnh liên kết với thực thi 89 Ta sử dụng hệ thống hệ thống tương tác giọng nói với thiết bị cách làm cho Raspberry Pi đáp ứng với lệnh ta thông qua speech Điều thể đạt cách sử dụng Google speech API, chuyển đổi văn thành lời nói Hình 8.2 sơ đồ khối hiển thị cho hoạt động phần mềm nhận dạng giọng nói Raspberry Pi Giới thiệu Google Voice API (STT - Speech To Text) Google Voice API cho phép chuyển đổi âm sang văn cách áp dụng mô hình mạng thần kinh (Neural Network) mạnh mẽ Có thể ghi lại văn người sử dụng thông qua microphone, cho phép lệnh điều khiển thông qua giọng nói, chép tập tin âm Để sử dụng Google Voice API, ta cần có tài khoản Google Voice cài đặt pygooglevoice để dùng Python giao tiếp với Google Voice 4.4 Sử dụng thư viện Sử dụng thư viện Jasper 90 4.5 Thiết kế điều khiển  Quy trình xử lý giọng nói phát âm luận văn  Tạo đối tượng nhận dạng giọng nói tổng hợp giọng nói  Sử dụng thư viện nhận dạng giọng nói, Tổng hợp giọng nói Hình 8.3: Mô hình thiết kế điều khiển (1): Quạt (2): Đèn (3): Cấp nguồn cho Raspberry Pi (5V) (4): Cấp nguồn cho thiết bị điện (220V) Bước 1: Cắm đèn, quạt vào Port (Port Port 2) Bước 2: Cấp nguồn cho Raspberry Pi 5V Bước 3: Cấp nguồn cho đèn, quạt 220V Bước 4: Sử dụng giọng nói điều khiển qua Microphone 91 4.6 Sơ đồ kết nối (2) (1) (4) (3) Hình 8.4 Sơ đồ kết nối (1): Đèn (220v) (2): Phích cấm điện (cấp nguồn 220V) (3): Relay (4): Raspbery Pi Cách thức hoạt động relay ( rờ le ) Relay (Rờ le) ? Relay (rờ le) công tắc điện tử tự động có hai trạng thái đóng mở (1) (2) (5) (3) (4) (5) Hình 8.5 Relay (1) 10A - 250VAC: Cường độ dòng điện tối đa qua tiếp điểm rơ-le với hiệu điện