Đang tải... (xem toàn văn)
NGHIÊN CỨU CÁC KỸ THUẬT CAMERA CALIBRATION VÀ ỨNG DỤNG XÁC ĐỊNH KHOẢNG CÁCH GIỮA CÁC ĐỐI TƯỢNG TRONG KHÔNG GIAN 3D
1 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG - - NGUYỄN THỊ THẮM NGHIÊN CỨU CÁC KỸ THUẬT CAMERA CALIBRATION VÀ ỨNG DỤNG XÁC ĐỊNH KHOẢNG CÁCH GIỮA CÁC ĐỐI TƯỢNG TRONG KHÔNG GIAN 3D Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2012 Cơng trình hồn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: TS Huỳnh Hữu Hưng Phản biện 1: PGS TSKH Trần Quốc Chiến Phản biện 2: TS Nguyễn Mậu Hân Luận văn ñược bảo vệ trước Hội ñồng chấm luận văn tốt nghiệp thạc sĩ ngành Khoa học máy tính họp Đại học Đà Nẵng vào ngày 15 tháng 12 năm 2012 Có thể tìm hiểu luận văn tại: - Trung tâm Thông tin - Học liệu, Đại học Đà Nẵng - Trung tâm Học liệu, Đại học Bách Khoa, Đại học Đà Nẵng 3 MỞ ĐẦU Tính cấp thiết ñề tài Các hệ thống sử dụng camera với mục đích giám sát, nhận dạng, an ninh, ñiều khiển ngày phổ biến ñược sử dụng rộng rãi Vấn ñề xác ñịnh ñúng khoảng cách đối tượng khơng gian 3D góp phần tăng tính xác việc phát hiện, điều khiển hành vi hệ thống Tuy nhiên, số phương pháp tính khoảng cách đối tượng không gian 3D hệ thống camera bộc lộ số hạn chế định Do đó, giải pháp ñặt là: lựa chọn kỹ thuật phù hợp để tính xác khoảng cách đối tượng khơng gian 3D Hiện nay, có nhiều kỹ thuật ñược áp dụng ñể xác ñịnh khoảng cách đối tượng khơng gian 3D, kỹ thuật có mạnh hạn chế riêng Hiệu chỉnh camera (camera calibration) kỹ thuật ñang ñược triển khai sử dụng hệ thống lớn nhiều tính ưu việt giúp đẩy nhanh tốc độ hiệu việc xác ñịnh khoảng cách đối tượng khơng gian 3D Đó lý mà tơi chọn nghiên cứu thực đề tài “Nghiên cứu kỹ thuật camera calibration ứng dụng xác định khoảng cách đối tượng khơng gian 3D” hướng dẫn TS Huỳnh Hữu Hưng 4 Mục tiêu nghiên cứu Đề tài nghiên cứu thuật tốn phát đối tượng, kỹ thuật hiệu chỉnh camera từ tính khoảng cách ñối tượng chuyển ñộng từ liệu video, làm sở để xây dựng chương trình hỗ trợ với chức sau: - Phát ñối tượng ñang chuyển động - Tính khoảng cách đối tượng khơng gian 3D Bên cạnh đề tài cung cấp nhìn tồn diện vai trị khả ứng dụng công nghệ xử lý ảnh vào thực tế ñời sống xã hội Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu Trong luận văn này, liệu ñược xử lý ñoạn video ñược quay từ camera tĩnh ghi lại với chuẩn AVI (Audio Video Interleave) Phạm vi nghiên cứu Nghiên cứu thuật tốn phát đối tượng chuyển ñộng, kỹ thuật hiệu chỉnh camera ứng dụng xác ñịnh khoảng cách ñối tượng không gian 3D Phương pháp nghiên cứu Phương pháp nghiên cứu lý thuyết - Tìm hiểu cách lập trình với thư viện OpenCV - Tìm hiểu phương pháp phát ñối tượng dựa màu sắc 5 - Tìm hiểu phương pháp lọc nhiễu - Tìm hiểu kỹ thuật hiệu chỉnh camera ứng dụng ñể xác ñịnh khoảng cách đối tượng chuyển động khơng gian 3D Phương pháp nghiên cứu thực nghiệm - Tiến hành phân tích cài đặt: thuật tốn phát ñối tượng chuyển ñộng dựa màu sắc, kỹ thuật hiệu chỉnh camera, từ xác định khoảng cách ñối tượng chuyển ñộng - Đánh giá kết ñạt ñược Ý nghĩa khoa học thực tiễn Ý nghĩa khoa học - Kết nghiên cứu làm tài liệu tham khảo cho việc tìm hiểu thuật tốn phát đối tượng dựa màu sắc, ứng dụng kỹ thuật hiệu chỉnh camera ñể xác ñịnh khoảng cách đối tượng khơng gian 3D - Ứng dụng thành công công nghệ xử lý ảnh vào thực tế - Tạo tiền ñề cho nghiên cứu tương lai Ý nghĩa thực tiễn - Giao thông vận tải: Dựa vào liệu camera thu ñược ñể xác ñịnh lỗi vi phạm khoảng cách tối thiểu cho phép ñối tượng tham gia giao thơng, đặc biệt hệ thống đường hầm 6 - Y tế: Sử dụng hệ thống camera ñể giám sát hoạt ñộng uống thuốc, giám sát hành vi ăn tối người cao tuổi, từ có thông báo kịp thời cho nhân viên y tế - Cơng nghiệp sản xuất tự động: ứng dụng điều khiển robot dựa công nghệ xử lý ảnh, nhận biết u cầu người điều khiển thơng qua màu sắc Bố cục luận văn Nội dung luận văn ñược chia thành phần sau: - Mở ñầu - Chương 1: Nghiên cứu tổng quan - Chương 2: Các kỹ thuật hiệu chỉnh camera thị giác máy tính - Chương 3: Ứng dụng kỹ thuật camera calibration xác định khoảng cách đối tượng khơng gian 3D - Kết luận hướng phát triển CHƯƠNG NGHIÊN CỨU TỔNG QUAN 1.1 TỔNG QUAN VỀ CAMERA SỐ 1.1.1 Khái niệm camera số Camera thiết bị ghi hình ghi lại hình ảnh khoảng thời gian lưu trữ liệu hình ảnh 7 1.1.2 Phân loại camera Có cách phân loại camera: kỹ thuật hình ảnh, đường truyền, tính sử dụng a Phân loại theo kỹ thuật hình ảnh b Phân loại theo kỹ thuật đường truyền c Phân loại theo tính sử dụng 1.1.3 Hệ thống camera quan sát 1.2 TỔNG QUAN VỀ VIDEO 1.2.1 Khái niệm video 1.2.2 Video số (digital video) a Tín hiệu video số b Ưu nhược ñiểm video số c Chuẩn video số AVI 1.3 PHƯƠNG PHÁP PHÁT HIỆN ĐỐI TƯỢNG 1.3.1 Tổng quan phát ñối tượng Phát ñối tượng chuyển động video tốn ñược nghiên cứu rộng rãi có nhiều ứng dụng sống Đó xácminh diện đối tượng chuỗi ảnh định vị xác Các hệ thống theo vết ñối tượng thường bắt ñầu trình phát đối tượng 8 1.3.2 Giới thiệu mơ hình màu Có nhiều mơ hình màu khác dùng để biểu diễn màu sắc máy tính như: RGB, HSV, HSL, HIS Trong đó, RGB HSV hai mơ hình màu thơng dụng 1.3.3 Mơ hình màu RGB Mơ hình màu RGB (red, green, blue) gồm màu ñỏ, màu xanh cây, màu xanh biển, ánh sáng ñược tổ hợp theo nhiều phương thức khác ñể tạo hàng loạt màu Hình 1.1 Mơ hình màu RGB 1.3.4 Mơ hình màu HSV Hình 1.2 Khơng gian màu HSV 9 HSV (hue, saturation, value) viết tắt hue (màu sắc), saturation (độ bão hịa), value (giá trị) Hình 1.3 Hình nón ngược biễu diễn mơ hình màu HSV Thực chất khơng gian HSV biến đổi khơng gian RGB Khơng gian HSV mơ tả lệnh lập phương RGB quay ñỉnh Black H (Hue) góc quay trục V (value) qua hai đỉnh Black White 1.3.5 Chuyển từ màu RGB sang HSV 1.3.6 Mơmen ảnh (image moment) 1.3.7 Thuật tốn phát đối tượng dựa vào màu sắc 10 1.3.8 Cài ñặt thuật tốn phát đối tượng dựa vào màu sắc Hình 1.4 Quả bóng màu xanh kết phát 1.4 PHƯƠNG PHÁP LỌC NHIỄU 1.4.1 Tổng quan phương pháp lọc nhiễu 1.4.2 Cải thiện ảnh (Lọc không gian) a Các thao tác lân cận b Quá trình lọc không gian c Lọc không gian làm mịn (Smoothing spatial filters) 1.4.3 Lọc trung vị (Median filter) a Giới thiệu b Định nghĩa c Cách dùng 11 Hình 1.5 Nhiễu lọc nhiễu CHƯƠNG CÁC KỸ THUẬT HIỆU CHỈNH CAMERA TRONG THỊ GIÁC MÁY TÍNH 2.1 GIỚI THIỆU KỸ THUẬT CAMERA CALIBRATION Camera calibration phương pháp tính tốn thực nghiệm nhằm tìm tham số camera để tái tạo khơng gian 3D cảnh, vật thể thực tế ảnh mà camera ghi lại Để có tham số đó, tính tốn chủ yếu dựa vào mơ hình camera thơng dụng nay: mơ hình Pinhole camera 2.2 PINHOLE CAMERA 2.2.1 Tổng quan 2.2.2 Mơ hình hình học Pinhole camera a Tham số bên ngồi 12 b Tham số bên Hình 2.1 Mơ hình camera Pinhole thơng qua hai hệ tọa ñộ 2.2.3 Phép chiếu chuyển ñổi camera Pinhole 2.3 CÁC HỆ THỐNG THU NHẬN TRONG KHÔNG GIAN BA CHIỀU 2.3.1 Hình học epipolar 2.3.2 Hệ thống thu nhận ba chiều kinh điển (Canonical Stereoscopic System) 13 Hình 2.2 Hệ thống camera kinh ñiển Hệ thống camera kinh ñiển với ñộ dài tiêu cự f, khoảng cách sở b Sự khác biệt tọa ñộ xl xr ñược gọi ñộ lệch ngang ñiểm pl pr Hình 2.3 Camera stereo kinh điển 2.3.3 Độ lệch trường hợp chung 2.4 Tổng quan Stereo Vision 2.4.1 Tổng quan Stereo vision kỹ thuật sử dụng hai camera ñể ño khoảng cách ñối tượng Cấu hình ñơn giản (cấu hình stereo 14 chuẩn) sử dụng hai camera thẳng hàng cách theo phương ngang (Hình 2.7) Hình Cấu hình chuẩn hệ thống hai camera Sử dụng camera stereo này, thu hình ảnh đối tượng hai vị trí khác nhau: ảnh bên trái ảnh bên phải ñối tượng (sự chênh lệch) Các ảnh camera phân tích ñể tìm ñiểm chung Sử dụng quy tắc tam giác ñồng dạng ñộ lệch ñiểm chung ñể xác ñịnh khoảng cách (ñộ sâu) so với camera 2.4.2 Khoảng cách trục Y 2.5 PHƯƠNG PHÁP CALIBRATION CHUẨN Camera calibration (hiệu chỉnh camera) trình tìm kiếm tham số bên tham số bên ngồi camera Các phương pháp calibration kinh điển dựa mơ hình calibration đặc biệt, tức ta biết ñược kích thước vị trí ñối tượng hệ tọa ñộ ñịnh Các ñặc trưng khác (chẳng hạn góc, đường ) tách từ ảnh mơ hình hiệu chỉnh camera 15 Thơng thường, đối tượng lựa chọn để hiệu chỉnh camera phải có tính bật để dễ đo vị trí Chẳng hạn, bàn cờ đơn giản hình sau: Hình 2.5 Bàn cờ làm mơ hình camera calibration Hình 2.6 Hệ tọa độ mơ hình camera calibration 2.6 TỰ HIỆU CHỈNH (SELF- CALIBRATION) 2.7 HIỆU CHỈNH STEREO 16 CHƯƠNG ỨNG DỤNG KỸ THUẬT CAMERA CALIBRATION XÁC ĐỊNH KHOẢNG CÁCH GIỮA CÁC ĐỐI TƯỢNG TRONG KHÔNG GIAN 3D 3.1 TỔNG QUAN VỀ BÀI TOÁN XÁC ĐỊNH KHOẢNG CÁCH GIỮA CÁC ĐỐI TƯỢNG 3D CHUYỂN ĐỘNG QUA CAMERA Xác ñịnh khoảng cách ñối tượng chuyển ñộng qua camera bước quan trọng phát triển ứng dụng thị giác máy tính Nó có nhiều ứng dụng lĩnh vực như: Giao thông vận tải, y tế, cơng nghiệp sản xuất tự động 3.2 CÁC PHƯƠNG PHÁP XÁC ĐỊNH KHOẢNG CÁCH GIỮA CÁC ĐỐI TƯỢNG TRONG KHƠNG GIAN 3D Hiện có nhiều phương pháp xác ñịnh khoảng cách ñối tượng không gian 3D 3.2.1 Khoảng cách Euclid 3.2.2 Khoảng cách từ ñiểm ñến mặt phẳng 3.3 ỨNG DỤNG KỸ THUẬTCAMERA CALIBRATION 3.3.1 Các ứng dụng camera calibration Từ việc tính tốn đặc điểm vật qua ảnh, ta tái tạo lại cảnh 3D vật, nhận dạng vật Chúng ta ứng dụng kỹ thuật camera calibration để cài đặt chương trình tự ñộng xử lý công việc yêu cầu phải thông qua hình ảnh 17 a Tự động nhận dạng biển số xe (Automatic license plate recognition) Hình 3.1 Nhận dạng biển số xe b Phát mặt người dựa đặc trưng Haar-Like Hình 3.2 Phát mặt người dựa vào ñặc trưng Haar-Like 18 c Xác ñịnh tọa ñộ tĩnh Hình 3.3 Xác ñịnh tọa ñộ tĩnh cầu Wanan (Busan, Hàn Quốc) d Đo giao động thực Hình 3.4 Thiết bị ño dao ñộng cầu 3.3.2 Ứng dụng kỹ thuật camera calibration tính khoảng cách Chương trình xác ñịnh khoảng cách ñối tượng chuyển ñộng lấy liệu từ ñoạn video quay lại từ camera tĩnh, ghi lại 19 với chuẩn AVI Điều kiện ánh sáng bình thường, khơng q tối q sáng, khơng thay đổi Sau có liệu đầu vào chương trình xử lý đoạn video để lấy tất khung hình (frame) Tiếp đó, từ khung hình có được, ta tiến hành phát đối tượng, tìm tọa ñộ trọng tâm ñối tượng quy ñổi tọa độ thực dựa vào kỹ thuật hiệu chỉnh camera (camera calibration) Cuối cùng, tính khoảng cách ñối tượng 3D Video ñầu vào Xử lý ñoạn video ñể lấy tất khung ảnh (Frame) Phát ñối tượng Xác ñịnh khung bao tọa ñộ tâm ñối tượng Xác ñịnh khoảng cách đối tượng Hình 3.5.Biểu đồ xử lý tốn xác định khoảng cách 3.3.3 Một số chức Phát đối tượng theo màu sắc, vẽ hình chữ nhật bao đối tượng Tâm đối tượng tâm hình chữ nhật bao ñối tượng 20 Load Image Dùng inRange() xác ñịnh khu vực chứa ñối tượng theo ngưỡng màu Chuyển ảnh thu ñược sang nhị phân Khử nhiễu lọc trung vị Dùng cvFindContour() xác ñịnh vùng liên thơng Dùng cvBoundingRect() vẽ hình chữ nhật bao contour Khu vực có hình bao lớn đối tượng Hình 3.6 Phát đối tượng theo màu sắc ... 3.2 CÁC PHƯƠNG PHÁP XÁC ĐỊNH KHOẢNG CÁCH GIỮA CÁC ĐỐI TƯỢNG TRONG KHÔNG GIAN 3D Hiện có nhiều phương pháp xác định khoảng cách đối tượng khơng gian 3D 3.2.1 Khoảng cách Euclid 3.2.2 Khoảng cách. .. nghiên cứu thực ñề tài ? ?Nghiên cứu kỹ thuật camera calibration ứng dụng xác ñịnh khoảng cách đối tượng khơng gian 3D? ?? hướng dẫn TS Huỳnh Hữu Hưng 4 Mục tiêu nghiên cứu Đề tài nghiên cứu thuật. .. kỹ thuật phù hợp để tính xác khoảng cách đối tượng khơng gian 3D Hiện nay, có nhiều kỹ thuật áp dụng ñể xác ñịnh khoảng cách ñối tượng khơng gian 3D, kỹ thuật có mạnh hạn chế riêng Hiệu chỉnh camera
