Đang tải... (xem toàn văn)
Công nghệ xử lý ảnh ngày nay không còn quá xa lạ với các thiết bị côngnghệ hiện đại ngày nay. Nhƣng việc ứng dụng công nghệ này vào trong thực tiểncuộc sống ngày càng trở nên quan trọng và cần thiết hơn hết. Vì vậy, luận văn sẽthực hiện việc ứng dụng thuật toán xử lý ảnh vào trong thiết bị cảnh báo ngủ gậttrên xe ô tô với mục đích đƣa công nghệ vào thực tiển nhằm giúp ngƣời tham giagiao thông đƣợc an toàn cũng nhƣ hạn chế các tai nạn đáng tiếc xảy ra.Nhƣng việc chọn lựa thuật toán để ứng dụng công nghệ xử lý ảnh rất đa dạng.Luận văn đã sử dụng LabVIEW với các thuật toán với các hàm truyền nhằm táchảnh, phân tích ảnh và cuối cùng là xử lý nhiễu nhằm phát hiện ra các dấu hiệu dẫnđến hiện tƣợng ngủ gật của con ngƣời trong khi đang lái xe và đƣa ra biện phápcảnh báo phù hợp.
BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ GIAO THÔNG VẬN TẢI TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI TP.HCM - oOo ĐỖ TÂN KHOA NGHIÊN CỨU, THIẾT KẾ HỆ THỐNG CẢNH BÁO NGỦ GẬT TRÊN XE Ô TÔ LUẬN VĂN THẠC SĨ KỸ THUẬT TP HCM 12- 2013 BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ GIAO THÔNG VẬN TẢI TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI TP.HCM - oOo ĐỖ TÂN KHOA NGHIÊN CỨU, THIẾT KẾ HỆ THỐNG CẢNH BÁO NGỦ GẬT TRÊN XE Ô TÔ CHUYÊN NGÀNH: KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA MÃ SỐ: 60520216 LUẬN VĂN THẠC SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN MINH THẠNH TP HCM 12- 2013 LỜI CAM ĐOAN Tôi tên là: ĐỖ TÂN KHOA Học viên lớp: Cao học khóa 2010-2012 Chuyên ngành: Kỹ thuật điều khiển Tự động hóa Trường Đại Học Giao Thông Vận Tải TP.HCM Tôi xin cam đoan công trình nghiên cứu riêng Các số liệu, kết nêu Luận văn trung thực chưa công bố công trình khác Tôi xin cam đoan giúp đỡ cho việc thực Luận văn cảm ơn thông tin trích dẫn Luận văn rõ nguồn gốc Học viên thực Luận văn Đỗ Tân Khoa LỜI CÁM ƠN Trong trình thực luận văn, gặp nhiều khó khăn, nhờ hướng dẫn tận tình TS Nguyễn Minh Thạnh, hoàn thành luận văn thời gian quy định Để hoàn thành luận văn này, xin bày tỏ lòng biết ơn sâu sắc TS Nguyễn Minh Thạnh, thầy người tận tâm hết lòng học viên, hướng dẫn nhiệt tình cung cấp cho tài liệu vô quý giá thời gian thực luận văn Xin chân thành cám ơn tập thể thầy cô giáo trường Đại Học Giao Thông Vận Tải TP Hồ Chí Minh, giảng dạy truyền đạt kiến thức cho tôi, giúp học tập nghiên cứu trình học cao học trường Xin chân thành cảm ơn Ban giám hiệu, Phòng quản lý khoa học - Đào tạo sau đại học trường Đại Học Giao Thông Vận Tải TP Hồ Chí Minh, giúp đỡ, tạo điều kiện thuận lợi cho trình học tập làm luận văn cao học trường Xin chân thành cảm ơn anh, chị đồng nghiệp hỗ trợ, giúp đỡ cho trình thực luận văn Xin chân thành cảm ơn anh, chị học viên cao học ngành “Tự động hóa” đóng góp ý kiến cho trình thực luận văn TP Hồ Chí Minh, tháng 12 năm 2013 Người Thực Đỗ Tân Khoa MỤC LỤC Tên đề mục Trang Lời cam đoan .1 Lời cảm ơn Mục lục Danh mục từ viết tắt Danh mục bảng biểu .7 Danh mục sơ đồ, hình ảnh Chƣơng 1: Giới thiệu chung 11 1.1 Đặt vấn đề 11 1.2 Tính cấp thiết luận văn 11 1.3 Nguyên nhân dấu hiệu trạng thái ngủ gật 12 1.4 Mục tiêu luận văn .13 1.5 Nội dung nghiên cứu 13 1.6 Phương pháp luận 13 1.7 Phương pháp nghiên cứu 14 1.8 Nội dung luận văn 14 Chƣơng 2: Tổng quan LabVIEW 15 2.1 LabVIEW gì? 15 2.2 Các ứng dụng LabVIEW 17 2.3 Toolkits thu thập hình ảnh NI Vision Acquisition Software 20 2.4 Toolkits xử lý ảnh 23 2.4.1 Vision Development Module (VDM) 23 2.4.2 Module Vision Assistant 24 2.4.3 Vision Builder for Automated Inspection (VBAI) 28 Chƣơng 3: Xử lý ảnh thuật toán điều khiển 30 3.1 Khái niệm xử lý ảnh 30 3.2 Các phương pháp xử lý ảnh 31 3.3 Xử lý ảnh LabVIEW 35 3.4 Lý thuyết điều khiển PID 35 3.4.1 Khái niệm 35 3.4.2 Hiệu chỉnh thông số điều khiển PID dùng phương pháp Ziegler- Nichols 37 Chƣơng 4: Thiết kế hệ thống cảnh báo ngủ gật xe ô tô 39 4.1 Tổng quan hệ thống 39 4.2 Các thiết bị hệ thống 40 4.2.1 Thiết bị ngõ vào 40 4.2.2 Thiết bị xử lý tính hiệu ngõ 41 4.3 Thiết kế vị trí lắp đặt 57 4.4 Thiết kế mô hình 59 Chƣơng 5: Xây dựng mô hình hệ thống cảnh báo ngủ gật xe ôtô 60 5.1 Thiết kế mô hình 61 5.2 Kết lập trình 61 5.3 Nhận xét 64 Chƣơng 6: Kết luận hƣớng phát triển luận văn 65 6.1 Kết đạt 65 6.2 Hạn chế luận văn 65 6.3 Hướng phát triển luận văn 65 Tài liệu tham khảo DANH MỤC CÁC TỪ VIẾT TẮT ADC Analog to Digital Converter DAC Digital to Analog Converter LabVIEW Laboratory Virtual Instrumentation Engineering Workbend NI National Instruments NHTSA National Highway Traffic Safety Administration PID Proportional Integral Derivative Controller PWM Pulse Width Modulation VDM Vision Development Module VBAI Vision Builder for Automated Inspection VISA Virtual Instrument Software Architecture DANH MỤC CÁC BẢNG BIỂU Trang Bảng 3.1: Ảnh hưởng tham số KP,KI,KD 37 Bảng 3.2: Thông số K điều khiển tỉ lệ 38 Bảng 4.1: Mô tả chân USB HDL 9090 42 Bảng 4.2: Bảng tổng hợp kết khảo sát vị trí lắp đặt webcam 58 Bảng 4.3: Bảng tổng hợp kết khảo sát loại cảnh báo 58 DANH MỤC CÁC LƢU ĐỒ, HÌNH ẢNH Hình 2.1: Giao diện LabVIEW Trang 15 Hình 2.2: Hàm truyền LabVIEW 16 Hình 2.3: Giao diện điều khiển LabVIEW 16 Hình 2.4: Hệ thống đọc code tự động dây chuyền sản xuất Hình 2.5: Hệ thống quét lưới để phân tích dòng chảy cho sản phẩm nhựa Hình 2.6: Hệ thống phân loại sản phẩm sản xuất công ty Bosch 17 18 18 Hình 2.7: Lưu đồ xử lý ảnh LabVIEW 19 Hình 2.8: Sơ đồ kết nối khối xử lý ảnh LabVIEW 19 Hình 2.9: Thực hàm Vision Acquisition 20 Hình 2.10: Quá trình thu nhận ảnh Vision Acquisition 21 Hình 2.11: Chọn camera thư mục chứa ảnh 21 Hình 2.12: Lựa chọn phương pháp thu thập ảnh 22 Hình 2.13: Cài đặt thông số thu nhận ảnh 22 Hình 2.14: Thiết lập tín hiệu đầu vào/ra 23 Hình 2.15: Các công cụ VDM 24 Hình 2.16: Thực hàm Vision Assistant 25 Hình 2.17: Giao diện module Vision Assistant 25 Hình 2.18: Xử lý ảnh đầu vào 26 Hình 2.19: Kết sau xử lý ảnh đầu vào không gian đỏ 27 Hình 2.20: Chọn lựa tín hiệu đầu 28 Hình 2.21: Giao diện VBAI 28 Hình 2.22: Ứng dụng VBAI hệ thống xử lý sản phẩm 29 Hình 3.1: Sơ đồ trình xử lý ảnh 30 52 Hình 4.21: Đảo chiều động Ứng dụng 2: Xây dựng hàm truyền PID cho động Sau hoàn thành lại bƣớc kết nối, kiểm tra thiết bị nhƣ hình 4.14 hình 4.15 ta bắt đầu thiết kế khâu cho động Bộ điều khiển PID (PID Ctrl) đƣợc đóng gói Thuật toán điều khiển PID nhƣ sau: Hình 4.22: Thuật toán điều khiển PID Xây dựng giao diện ngƣời dùng chƣơng trình điều khiển vị trí động DC MOTOR phần mềm LabVIEW 53 Hình 4.23: Giao diện ngƣời dùng điều khiển vị trí DC MOTOR Thiết lập thông số KP, KI, KD điều khiển PID nhằm đảm bảo thời gian độ: Hình 4.24: Thông số cho điều khiển PID điều khiển vị trí DC MOTOR 54 Bƣớc đầu tăng hệ số Kp=13, xuất lố nhỏ sai số tĩnh Tiếp tục tăng hệ số KI=0.0001, sai số tĩnh bị triệt tiêu nhƣng độ vƣợt lố tồn Sau để giảm thiểu lố tác giả tăng KD=0 Trƣờng hợp sai số tĩnh bị triệt tiêu xảy lý thuyết, thực tế nhiều nguyên nhân nhƣ chất lƣợng động cơ, encoder, đƣờng truyền tín hiệu vài nguyên nhân khác mà tồn sai lệch tƣơng đối giá trị đáp ứng giá trị đặt Để khắc phục đƣợc nhƣợc điểm cần phải nâng cao chất lƣợng thành phần hệ thống, tối ƣu hóa thuật toán điều khiển v.v Xây Dựng thuật toán điều khiển tốc độ động DC MOTOR nhằm ổn định tốc độ cho động Hình 4.25: Chƣơng trình điều khiển tốc độ động sử dụng PID 55 Xây dựng giao diện ngƣời dùng chƣơng trình điều khiển tốc độ động DC MOTOR: Hình 4.26: Giao diện ngƣời dùng điều khiển tốc độ DC MOTOR Thiết lập thông số KP, KI, KD điều khiển PID nhằm đảm bảo thời gian độ ổn định tốc độ cho động cơ: Hình 4.27: Thông số cho điều khiển PID điều khiển tốc độ DC MOTOR 56 Ứng dụng 3: Xây dựng hàm truyền ngõ cảnh báo âm Tƣơng tự với việc cài đặt cho ứng dụng PID hay xử lý hình ảnh ta lại tiếp tục xây dựng đƣợc hàm truyền với tính ngỏ cảnh báo tín hiệu âm Hình 4.28: Hàm truyền ngõ cảnh báo màu đỏ Sau thực với màu đỏ ta thực với màu xanh lá, xanh dƣơng màu vàng Với tín hiệu hàm xử lý ta lấy ứng dụng hai Hình 4.29: Chƣơng trình đọc tên màu sắc Sau đó, ta tiếp tục xây dựng giao diện chƣơng trình đọc tên màu sắc 57 Hình 4.30: Giao diện đọc tên màu sắc 4.3 Thiết kế vị trí lắp đặt Nhằm mục đích kiểm tra giám sát dấu hiệu, trạng thái ngủ gật ngƣời tài xế tham gia lƣu thông đƣờng Việc chọn lựa vị trí đặt webcam quan sát vô quan trọng Dƣới không gian xe ô tô tài xế ngƣời thiết kế có vị trí lắp đặt nhƣ hình: Hình 4.31: Vị trí lắp đặt webcam thực tế 58 Từ ngày 1/12/2012 đến ngày 10/12/2012, theo nhƣ phiếu khảo sát gần 145 tài xế hãng xe taxi Mai Linh, Vinasun số tài xế chở hàng hóa địa bàn quận 2, quận Thủ Đức thu đƣợc bảng tổng hợp vị trí mà tài xế chọn lựa nhƣ sau: Bảng 4.2: Bảng tổng hợp kết khảo sát vị trí lắp đặt webcam VỊ TRÍ PHÙ HỢP SỐ PHIẾU TỈ LỆ VỊ TRÍ VỊ TRÍ VỊ TRÍ VỊ TRÍ 62 81 42,75% 55,86% 1,37% 0% Dựa vào bảng số liệu 4.2 ý kiến từ tài xế lâu năm nghề chọn vị trí số vị trí làm thực nghiệm mô hình Vì theo hầu hết tài xế vị trí số thƣờng không an toàn, dễ rớt đặt biệt che tầm nhìn ngƣời tài xế dễ gây tai nạn giao thông Ngoài việc thiết kế đặt vị trí phù hợp khảo sát việc tài xế tham gia lƣu thông muốn có tín hiệu cảnh báo nhƣ phù hợp Bảng tổng hợp kết khảo sát: Bảng 4.3: Bảng tổng hợp kết khảo sát loại cảnh báo LOẠI CẢNH BÁO KHI BUỒN NGỦ CHUÔNG SỐ PHIẾU TỈ LỆ ĐÈN CHUÔNG VÀ CHỌN LỰA ĐÈN KHÁC 74 32 35 51,03% 22,06% 24,13% 2,75% Trong trƣờng hợp tài xế thƣờng lựa chọn nhạc chuông cảnh báo đèn cảnh báo đèn thƣờng không gây đƣợc ý với tài xế ngủ say 59 giấc, làm ngƣời tập trung gây hốt hoảng tƣởng có xe đến Vì vậy, dựa vào việc khảo sát chọn lựa hƣớng giải việc chọn vị trí lắp đặt nhƣ vị trí tín hiệu cảnh báo chuông (âm cảnh báo) 4.4 Thiết kế mô hình Nhƣ thực tế ta cần đáp ứng yêu cầu sau: Phát đƣợc dấu hiệu ngủ gật Cảnh báo ngƣời tài xế ngủ gật Quan sát bám theo chuyển động ngang khuôn mặt ngƣời tài xế Từ tất vấn đề mô hình đƣợc thiết kế theo quy trình hoạt động nhƣ sau: WEBCAM LABVIEW CHUÔNG BÁO Hình 4.32: Quy trình hoạt động mô hình Quy trình hoạt động cụ thể: Bƣớc 1: Webcam bắt đầu dò tìm khuôn mặt Ngƣời tài xế lên xe Khi động tìm vị trí khuôn mặt ngƣời tài xế thuật toán lập trình tìm khuôn mặt ngƣời tài xế kết thúc Bƣớc 2: Webcam bắt đầu dò tìm ánh mắt - Nếu phát dấu hiệu ngủ gật tài xế (thời gian từ 1,5 đến giây) chuông cảnh báo nhắc nhở vang lên - Nếu ngƣời tài xế xoay khuôn mặt qua vị trí khác động điều khiển chân đế webcam xoay bám theo khuôn mặt đối tƣợng 60 CHƢƠNG THIẾT KẾ HÀM TRUYỀN HỆ THỐNG CẢNH BÁO NGỦ GẬT TRÊN XE ÔTÔ Hình 5.1: Trạng thái ngủ gật ngƣời tham gia giao thông 5.1 Thiết kế mô hình Mô hình gồm có thiết bị đƣợc phân thành khối cụ thể nhƣ sau: MÁY TÍNH CARD USB 9090 WEBCAM BỘ NGUỒN ĐỘNG CƠ DC LOA CẢNH BÁO Hình 5.2: Thiết bị phần cứng mô hình 61 Máy tính: Thực việc kết nối tất thiết bị phần cứng lại với thông qua phần mềm điều khiển lập trình LabVIEW Máy tính giúp cho ngƣời thiết kế quan sát đƣợc kết kiểm tra Card USB 9090: hỗ trợ việc kết nối tất thiết bị phần cứng lại với Webcam: nhiệm vụ webcam thu tín hiệu hình ảnh cho máy tính xử lý theo yêu cầu ngƣời thiết kế Bộ nguồn: cung cấp tất nguồn điện cho thiết bị điều khiển, vận hành Trong mô hình xe thực nên ta sử dụng nguồn thực tế ta dùng nguồn điện xe ô tô Loa cảnh báo: tín hiệu ngõ cuối mô hình Trong mô hình để tránh nhiều thiết bị nên sử dụng loa laptop để thay loa rời bên Mô hình thực tế Hình 5.3: Mô hình thực tế 5.2 Kết lập trình Kết lập trình điều khiển động quay theo khuôn mặt ngƣời Để giúp cho webcam tự động tìm khuôn mặt ngƣời tài xế thiết kế hàm truyền sử dụng điều khiển PID nhằm giúp cho động điều khiển góc quay cho webcam nhanh 62 Hình 5.4: Sơ đồ thiết kế điều khiển PID cho động DC Sau thiết kế xong điều khiển PID cho hệ thống việc kết hợp thuật toán xử lý ảnh webcam thay đổi góc nhìn đến đối tƣợng quan trọng Do cần phải xây dựng lại hàm truyền độc lập kết hợp xử lý hình ảnh tốc độ động DC dò tìm đối tƣợng Nhƣng công việc khó bám đối tƣợng ngƣời tài xế quay góc Hình 5.5: Hàm truyền điều khiển động bám đối tƣợng 63 Khi động bám đối tƣợng việc xử lý hình ảnh dấu hiệu ngủ gật, thời gian ngủ gật khâu định độ xác mô hình Lúc để kiểm tra đối tƣợng ta tập trung vào việc xử lý ánh mắt tài xế lái xe có dấu hiệu khác thƣờng Hình 5.6: Hình ảnh ngƣời có dấu hiệu ngủ gật Hình 5.7: Hình ảnh sau xử lý Sau động bám đƣợc đối tƣợng ta cần xử lý vấn đề cảnh báo để ngƣời tham gia giao thông thoát khỏi trạng thái ngủ gật 64 Hình 5.8: Hàm truyền cảnh báo âm Nhƣ việc kết hợp hàm truyền việc xử lý dấu hiệu ngủ gật nhƣ cảnh báo ngủ gật đƣợc thực 5.3 Nhận xét Trong trình thực mô hình phần cứng phần mềm, tránh khỏi khó khăn kiến thức giới hạn Nhƣng nhờ giúp đỡ giáo viên hƣớng dẫn bạn đồng nghiệp, hoàn thành đƣợc yêu cầu đặt đề tài Tuy nhiên, bƣớc đầu mô có xảy sai số hay bị nhiễu, nhƣng khắc phục đƣợc hệ thống hoạt động tƣơng đối ổn định Thông qua đề tài này, đƣợc cung cấp thêm nhiều kiến thức xử lý ảnh LabVIEW điều thiết bị v.v… giúp ích cho công việc Đồng thời tài liệu tham khảo bổ ích cho bạn sinh viên học tập nghiên cứu xử lý ảnh 65 KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU PHÁT TRIỂN 6.1 Kết đạt Trong đề tài này, thực công đoạn công việc trình kiểm soát người tài xế tham gia giao thông có dấu hiệu ngủ gật Nên mô hình có kết cụ thể sau: - Thiết kế hàm truyền xử lý ảnh điều khiển vị trí động với phần mềm LabVIEW - Đem đến cho người nghiên cứu góc nhìn thuật toán có độ xác cao nhằm giảm giá thành cho việc đầu tư trang thiết bị 6.2 Hạn chế luận văn Tuy nhiên, để hoàn thiện hệ thống cảnh báo ngủ gật cho tài xế tham gia giao thông phải cần nhiều thời gian để nghiên cứu Khi thiết kế hàm truyền chưa tích hợp thêm lý thuyết điều khiển cấp cao Fuzzy hay Neuron, để tích hợp vào hệ thống nâng cao tính đáp ứng mô hình 6.3 Hướng phát triển luận văn - Trong thời gian tới, có dự định xây dựng thêm hàm truyền với lý thuyết điều khiển cấp cao để tạo nên ổn định cho hệ thống - Ngoài ra, muốn nâng cao tính công nghệ cách tích hợp với hệ thống hộp đen xe ô tô lưu lại thông tin lưu lại đoạn phim người tài xế ngủ gật - Thời gian vừa qua cố gắng tìm dòng webcam có khả ghi hình vào buổi tối để hạ giá thành sản phẩm so với camera hành trình có thị trường Với thời gian giới hạn kiến thức hạn chế, trình thực đề tài không tránh khỏi sai sót Tôi mong góp ý từ thầy cô, bạn bè đồng nghiệp bạn sinh viên TÀI LIỆU THAM KHẢO Tiếng việt Hồ Viết Bình (2009), Giáo trình tự động hóa trình sản xuất, Nhà xuất đại học quốc gia, Thành phố Hồ Chí Minh Nguyễn Thị Phương Hà (2009), Lý thuyết điều khiển đại, Nhà xuất đại học quốc gia, Thành phố Hồ Chí Minh Nguyễn Thị Phương Hà, Huỳnh Thái Hoàng (2005), Lý thuyết điều khiển tự động, Nhà xuất đại học quốc gia, Thành phố Hồ Chí Minh TS Nguyễn Bá Hải (2009), LabVIEW bản, Nhà xuất đại học quốc gia, Thành phố Hồ Chí Minh Nguyễn Doãn Phước (2007), Lý thuyết điều khiển nâng cao, Nhà xuất khoa học kỹ thuật T.S Đỗ Năng Toàn, TS Phạm Việt Bình (2007), Giáo trình môn học xử lý ảnh, nhà xuất giáo dục, Thái Nguyên Tiếng Anh National Instrument (2011), NI Vision Builder for Automated Inspection Tutorial National Instrument (2004) , NI Vision Assistant Tutorial National Instrument (2009), User Guide: NI-IMAQ for USB Camera, 10 National Instrument (2009), NI Vision Builder for Automated Inspection Development Toolkit Tutorial 11 https://decibel.ni.com/content/docs 12 http://forums.ni.com/t5/LabVIEW 13 http://www.nhtsa.gov/ 14 http://ni.com