TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN ======***====== I V N THẮNG ỨNG DỤNG XỬ LÝ ẢNH TRONG TH O I Đ I TƯ NG CHU N ĐỘNG KHÓA LUẬN T T NGHIỆP ĐẠI HỌC Chuyên ngành: Tin học HÀ NỘI – 2014 TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN ======***====== I V N THẮNG ỨNG DỤNG XỬ LÝ ẢNH TRONG TH O I Đ I TƯ NG CHU N ĐỘNG KHÓA LUẬN T T NGHIỆP ĐẠI HỌC Chuyên ngành: Tin học Người hướng dẫn khoa học: Th S ƯU TH HÀ NỘI – 2014 CH HƯ NG ỜI CẢM N Trong suốt trình học tập làm khóa luận, em nhận giúp đỡ, tạo điều kiện thầy, cô giáo khoa Công nghệ thơng tin Bên cạnh giúp đỡ nhiều người thân, bạn bè để em có kết ngày hôm Trước hết em xin tỏ lòng kính trọng cảm ơn Th.S Lưu Thị Bích Hương tận tình bảo, hướng dẫn cho em hồn thành khóa luận Xin cảm ơn thầy, cô giáo khoa Công nghệ thông tin – trường Đại học Sư phạm Hà Nội 2, bạn lớp K36 – CN Tin tận tình giúp đỡ, giới thiệu tài liệu, sách tham khảo để khóa luận hồn thành thời hạn Cuối lòng biết ơn đến quan tâm, chăm sóc tạo điều kiện gia đình để tập trung vào việc học tập hồn thành khóa luận Do thời gian thực không nhiều nên khóa luận khơng tránh khỏi thiếu sót Rất mong nhận đóng góp thầy giáo bạn để khóa luận hồn thiện Em xin chân thành cảm ơn! Hà Nội, tháng 05 năm 2014 Sinh viên BÙI VĂN THẮNG i ỜI CAM ĐOAN Tên em là: BÙI VĂN THẮNG Sinh viên lớp: K36 – CN Tin học, khoa công nghệ thông tin Trường Đại học Sư phạm Hà Nội Em xin cam đoan: Đề tài: “Ứng dụng xử lý ảnh theo dõi đối tượng chuyển động” nghiên cứu riêng em, hướng dẫn cô ThS Lưu Thị Bích Hương Khóa luận hồn tồn khơng chép tác giả khác Nếu sai em xin hoàn toàn chịu trách nhiệm Hà Nội, tháng 05 năm 2014 Người cam đoan BÙI VĂN THẮNG ii MỤC ỤC LỜI CẢM ƠN i CAM ĐOAN LỜI ii MỤC LỤC .iii DANH MỤC HÌNH VẼ v MỞ ĐẦU CHƯƠNG 1: CƠ THUYẾT SỞ LÝ 1.1 Xử lý ảnh 1.2 Các vấn đề xử lý ảnh 1.2.1 Một số khái niệm 1.2.2 Thu nhận ảnh 1.2.3 Biểu diễn ảnh 1.2.4 Khử nhiễu 1.2.5 Nắn chỉnh biến dạng 1.2.6 Chỉnh mức xám 1.2.7 Phân tích ảnh 1.2.8 Nhận dạng 1.2.9 Nén ảnh 10 1.3 Các phép biến đổi ảnh .11 1.3.1 Biến đổi Fourier .13 1.3.2 Biến đổi Hotelling 14 1.4 Toán tử xử lý điểm ảnh 18 1.4.1 Xử lí điểm ảnh ánh xạ biến đổi .18 1.4.2 Lược đồ mức xám (histogram) .19 1.4.3 Biến đổi lược đồ xám .20 CHƯƠNG 2: XỬ LÝ ẢNH TRONG THEO DÕI ĐỐI TƯỢNG CHUYỂN ĐỘNG 21 2.1 Khái niệm 21 2.2 Video .22 2.2.1 Color .23 2.2.2 Texture .23 2.2.3 Shape 24 2.2.4 Chuyển động (Motion) .24 2.3 Theo dõi đối tượng 24 2.3.1 Chính xác hố đối tượng tương ứng (Object matching) 25 2.3.2 Xử lý nhập nhằng – Occlusion .26 2.3.3 Dự đoán chuyển động 27 2.4 Bài toán theo dõi đối tượng chuyển động .29 2.4.1 Bài toán 29 2.4.2 Giải toán 31 2.4.3.1 Khối xác hoá đối tượng tương ứng 33 2.4.3.2 Khối xử lý nhập nhằng đối tượng .35 2.4.3.3 Khối dự đoán chuyển động đối tượng 36 CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM 42 3.1 Phát biểu toán 42 3.2 Xây dựng chương trình thực nghiệm 43 3.2.1 Xây dựng chương trình 43 3.2.2 Thiết kế chương trình .44 3.2.3 Thực nghiệm 45 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .50 TÀI LIỆU THAM KHẢO 52 DANH MỤC HÌNH VẼ Hình 1.1: Quá trình xử lý ảnh .4 Hình 1.2: Các bước hệ thống xử lý ảnh Hình 1.3: Hệ tọa độ màu RGB Hình 1.4: Điểm láng giềng láng giềng .7 Hình 1.5: Ảnh thu nhận ảnh mong muốn .8 Hình 1.6: Phép biến đổi ảnh 11 Hình 1.7: Lược đồ mức xám ảnh 20 Hình 2.1: Sơ đồ mơ tả tiến trình xử lý hệ thống 21 Hình 2.2: Cấu trúc phân cấp video .22 Hình 2.3: Minh họa việc chuyển đổi lia .23 Hình 2.4: Bốn khung hình khác song có biểu đồ màu .23 Hình 2.5: Tổng quan khối xử lý toán theo vết đối tượng 25 Hình 2.6: Minh hoạ xác hoá đối tượng .26 Hình 2.7: Ví dụ theo vết có nhập nhằng .27 Hình 2.8: Theo vết đối tượng ứng dụng hệ thống giám sát .28 Hình 2.9: Mơ hình toán cần giải theo dõi đối tượng 29 Hình 2.10: Mơ hình Module xác hoá đối tượng xử lý nhập nhằng 32 Hình 2.11: Mơ hình module xử lý dự đốn chuyển động đối tượng 33 Hình 2.12: Mơ hình hố thuật tốn xác hố đối tượng tương ứng 34 Hình 2.13: Mơ hình đối tượng kết hợp với 35 Hình 2.14: Dự đốn chuyển động đối tượng dựa vào mơ hình SSD - MS 37 Hình 3.1: Form giao diện hệ thống 44 Hình 3.2: Form giao diện thực nghiệm chương trình .44 Hình 3.3: Thực xử lý đưa vết chuyển động đối tượng 45 Hình 3.4: Thực xử lý bao khít đối tượng chuyển động 46 Hình 3.5: Thực xử lý bao đối tượng khối chữ nhật nhỏ 47 Hình 3.6: Thực xử lý bao đối tượng hộp chữ nhật lớn, thực đếm số đối tượng chuyển động 48 MỞ ĐẦU Lý chọn đề tài Ngày nay, thuật ngữ hệ thống giám sát camera ngày trở nên phổ biến dần trở thành quen thuộc với chúng ta, người sống thời đại mới, thời đại kinh tế tri thức, thành tựu rực rỡ cơng nghệ thơng tin đóng vai trò chủ đạo Ra đời từ năm 1960 qua q trình hồn thiện phát triển, ngày hệ thống giám sát tự động hệ thống trợ giúp đắc lực cho người thực theo dõi, giám sát Với tốn giám sát giao thơng, hệ thống giám sát cho biết số lượng phương tiện lưu thông qua đoạn đường, đưa thông tin tốc độ chuyển động, đường đối tượng theo dõi Một hệ thống giám sát phát đám cháy, tự động cảnh báo cháy nơi quan sát theo dõi Trong thời đại phát triển cao công nghệ tự động, nhu cầu hệ thống giám sát theo dõi ngày trở nên cấp thiết đặc biệt lĩnh vực an ninh, quân Chính việc nghiên cứu xây dựng hệ thống giám sát hình ảnh với hiệu tính tin cậy cao mục tiêu nhiều nhà khoa học Ý thức lợi ích mà hệ thống giám sát thông minh mang lại, em chọn đề tài khóa luận là: “Ứng dụng xử lý ảnh theo dõi đối tượng chuyển động” để từ áp dụng giải tốn theo dõi giám sát giao thông – vấn đề bách Mục đích, đối tượng nghiên cứu Mục đích nghiên cứu: Tìm hiểu, khảo sát thực nghiệm ứng dụng hệ thống giám sát, theo dõi đối tượng chuyển động Dựa số thực nghiệm việc sử dụng camera quan sát để phát hiện, theo dõi đối tượng chuyển động xây dựng chương trình minh họa Đối tượng nghiên cứu: Đối tượng chuyển động ghi lại camera theo dõi phòng kín nhiễu điều kiện ngồi trời có nhiều nhiễu Nhiệm vụ, yêu cầu Đề tài khóa luận: “Ứng dụng xử lý ảnh theo dõi đối tượng chuyển động” đặt với nhiệm vụ, yêu cầu: - Nghiên cứu tổng quan toán theo dõi đối tượng chuyển động vấn đề đặt hệ thống giám sát - Trình bày số kỹ thuật giải vấn đề sở vận dụng hoàn thiện phương pháp có cho vấn đề đặt - Cài đặt thực nghiệm giải toán theo dõi đối tượng chuyển động Phương pháp nghiên cứu a Nghiên cứu qua việc đọc sách, báo tài liệu liên quan nhằm xây dựng sở lý thuyết đề tài biện pháp cần thiết để giải vấn đề đề tài b Tham khảo ý kiến chuyên gia để thiết kế chương trình phù hợp với thực tiễn c Thông qua quan sát thực tế, yêu cầu sở lý luận nghiên cứu kết đạt qua phương pháp Ý nghĩa khoa học thực tiễn đề tài Theo dõi tự động hướng nghiên cứu phát triển lĩnh vực nhận dạng xử lý ảnh, tạo cách tiếp cận cho phần mềm thiết kế chuyên dụng cho thiết bị theo dõi tự động Nó mang lại nhiều tiện ích hiệu cho người sử dụng, đặc biệt hiệu kinh tế, tiết kiệm nhiều thời gian công sức việc theo dõi đối tượng chuyển động Cấu trúc khóa luận Ngồi phần mở đầu kết luận, khóa luận bao gồm chương sau: Thực thể liên kết với độ đo ma trận thống kê Rt mơ hình quan sát thiết lập số nhỏ c Cập nhật mơ hình mục tiêu Cập nhật mơ hình vấn đề chủ chốt theo vết đối tượng Thuật toán mean – shift làm giảm đáng kể xuất đối tượng thay đổi theo thời gian Trong trường hợp biểu đồ màu thu từ việc định nghĩa mục tiêu từ tương quan khung hình với quan sát đối tượng theo vết Để trì hiệu theo dõi mean – shift kịch bản, thiết phải cập nhật mơ hình theo vết đối tượng Cập nhật mơ hình giúp theo dõi thực tốt điều kiện ảnh lộn xộn xuất đối tượng thay đổi Trong hệ thống khoảng cách Bhattacharyya, khoảng cách mơ hình mục tiêu mơ hình vị trí dự đốn thơng qua Kalman Filer Quá trình cập nhật định nghĩa là: qt1 qt  e [1 p(qt , p( xˆ ,sˆ))] p(xˆ, sˆ) Trong  hệ số thực dương, tốc độ cập nhật mơ hình  có giá trị phổ biến thực nghiệm 10 d Tổng kết thuật toán SSD - MS Thuật toán tổng kết sau Đưa mơ hình màu tham chiếu trước qt-1 dự đốn trạng thái trước ( xˆt 1 , sˆt 1 ) với thống kê pt 1 : lỗi - Khoảng cách tính dựa vào SSD ssd - Khoảng cách với MS, khởi tạo ut mơ hình màu tham chiếu q t 1 , thu khoảng cách cuối u t - Ước lượng chung chuyển động liên quan thông qua ảnh thu tỉ lệ  t - Sử dụng khoảng tỉ lệ u t e t , cập nhật trạng thái Kalman filter, đưa ( xˆ , sˆ ) với thống kê p t lỗi - Cập nhật mô hình màu để thu qt Trạng thái ban đầu ( xˆ1 , sˆ1 ) = 1, mơ hình màu tương ứng q1 = p( xˆ1 , sˆ1 ) CHƯ NG 3: CHƯ NG TRÌNH THỬ NGHIỆM Phát biểu toán Hệ thống theo dõi thiết bị quan sát sử dụng nhiều sống hàng ngày Bài toán theo dõi đối tượng chuyển động công việc đưa chuỗi hành vi đối tượng chuyểng động thời gian từ khung hình thu Thủ tục đưa thông tin đối tượng theo dõi đường đối tượng, tốc độ hay hướng chuyển động đối tượng Hệ thống theo dõi giúp dự đốn hành động đối tượng mô tả hành động chúng, với đầu vào đầu tốn sau: Đầu vào tốn: Hình ảnh thu từ camera cài đặt sẵn đoạn video Chương trình cài đặt thực phát đối tượng chuyển động với video tĩnh, liệu thực nghiệm phát đối tượng chuyển động là:  Camera ghi lại đoạn hình ảnh nhiễu (trong phòng nhỏ): Có đối tượng có nhiều đối tượng chuyển động  Camera ghi lại đoạn hình ảnh nhiều nhiễu (ngồi trời): Có đối tượng có nhiều đối tượng chuyển động Đầu toán: Phát đối tượng chuyển động camera ghi hình đoạn video Yêu cầu toán:  Thực nghiệm việc áp dụng thuật toán xử lý khác cho module phát đối tượng chuyển động  Thực nghiệm module phát đối tượng chuyển động môi trường giám sát theo dõi khác  Thực nghiệm theo dõi đối tượng cụ thể: Thực nghiệm xác hóa đối tượng, xử lý nhập nhằng đối tượng chuyển động 3.2 Xây dựng chương trình thực nghiệm 3.2.1 Xây dựng chương trình Xây dựng chức sau cho chương trình theo dõi đối tượng chuyển động:  Xây dựng sử dụng thư viện xử lý ảnh Aforge.Imaging, thư viện toán học Aforge.Math  Lớp Difference thực việc xử lý trừ ảnh hai ảnh đưa vào  Lớp Threshold định nghĩa, thực việc đưa ngưỡng xử lý  Lớp Erosion xây dựng để làm mịn, lọc nhiễu minh họa cho khối xử lý làm Một số chức nhằm phát đối tượng chuyển động:  Lớp MotionDetector1: Thực xử lý đưa vết chuyển động đối tượng dựa thuật toán chênh lệch tạm thời  Lớp MotionDetector2: Thực xử lý bao khít đối tượng chuyển động  Lớp MotionDetector3: Thực xử lý bao đối tượng khối chữ nhật nhỏ  Lớp MotionDetector4: Thực xử lý bao đối tượng hộp chữ nhật lớn, thực đếm số đối tượng chuyển động  Các lớp kế thừa giao diện ImotionDetetor Việc xử lý phát vùng ảnh thực dựa hai mơ hình:  Mơ hình chênh lệch tạm thời  Mơ hình ảnh 3.2.2 Thiết kế chương trình Hình 3.1: Form giao diện hệ thống Hình 3.2: Form giao diện thực nghiệm chương trình 3 Thực nghiệm a Lớp MotionDetector1: Thực xử lý đưa vết chuyển động đối tượng dựa thuật toán chênh lệch tạm thời điều kiện nhiễu có đối tượng chuyển động Hình 3.3: Thực xử lý đưa vết chuyển động đối tượng b Lớp MotionDetector2: Thực xử lý bao khít đối tượng chuyển động điều kiện có nhiều nhiễu Hình 3.4: Thực xử lý bao khít đối tượng chuyển động c Lớp MotionDetector3: Thực xử lý bao đối tượng khối chữ nhật nhỏ Hình 3.5: Thực xử lý bao đối tượng khối chữ nhật nhỏ d Lớp MotionDetector4: Thực xử lý bao đối tượng hộp chữ nhật lớn, thực đếm số đối tượng chuyển động Hình 3.6: Thực xử lý bao đối tượng hộp chữ nhật lớn, thực đếm số đối tượng chuyển động Đánh giá kết thực nghiệm: - Trong điều kiện quan sát nhiễu, chương trình đưa xác đối tượng chuyển động Bằng cách sử dụng số phương pháp bao quanh đối tượng chuyển động, chương trình đưa xác vùng đối tượng chuyển động kèm với chức đếm số lượng đối tượng chuyển động khung hình Tuy nhiên chương trình chưa thực loại bỏ bóng vật thể cách hiệu Do hình bao đối tượng chưa bao khít đối tượng Các thuộc tính vật thể như: trọng tâm khối, diện tích vùng vật thể khơng xác ảnh hưởng trực tiếp đến kết đầu module phát đối tượng chuyển động đầu vào module phân loại theo dõi đối tượng - Các đối tượng chuyển động chậm, thay đổi, phương pháp chênh lệch tạm thời tỏ hiệu việc vết đối tượng chuyển động Song phương pháp đạt hiệu cao với đoạn phim quan sát đối tượng chuyển động nhanh, thay đổi nhiều - Với phương pháp dựa mơ hình ảnh nền, việc phát đối tượng qua thực nghiệm ta thấy chúng phù hợp với nhiều hoàn cảnh Phương pháp đặt hiệu tốt trường hợp đối tượng chuyển động chậm, thay đổi Hơn phương pháp cho phép ta dễ dàng bao đối tượng hình bao để dễ dàng thể vùng đối tượng chuyển động với thuộc tính KẾT UẬN VÀ HƯỚNG PHÁT TRI N Trong thời gian nghiên cứu khóa luận “Ứng dụng xử lý ảnh theo dõi đối tượng chuyển động”, em nắm bắt kiến trúc chung hệ thống giám sát video với kiến thức trình việc xử lý hình ảnh Đó là: Phát đối tượng chuyển động, phân loại đối tượng theo dõi đối tượng Từ em cài đặt tiến hành thực nghiệm đưa số đánh giá cho phương pháp lựa chọn kết em đạt chưa đạt (hướng phát triển) tổng kết lại đây: Các kết đạt được: - Nghiên cứu tổng quan toán theo dõi đối tượng chuyển động vấn đề đặt hệ thống theo dõi chuyển động - Trình bày số kỹ thuật giải vấn đề, đưa giải pháp giải vấn đề sở vận dụng hồn thiện phương pháp có cho vấn đề đặt - Cài đặt, thực nghiệm giải toán phát đối tượng chuyển động Hạn chế: Bên cạnh kết đạt được, có vấn đề hạn chế, là: - Chưa xây dựng hoàn thiện hệ thống giám sát, em giải khâu cốt lõi hệ thống xử lý hình ảnh giám sát - Điều kiện quan sát, thiết bị kỹ thuật có ảnh hưởng đến đầu vào toán nên kết đạt chưa đạt tốt Hướng phát triển tương lai: - Hoàn thiện lại module phát theo dõi đối tượng chuyển động Đồng thời xây dựng module phân loại đối tượng hướng đến hoàn thiện tồn hệ thống giám sát - Tích hợp q trình xử lý hình ảnh giám sát vào hệ thống giám sát, cụ thể là: Bài toán giám sát giao thông - Nghiên cứu cải tiến kỹ thuật giải toán nhằm đạt hiệu tính xác cao TÀI IỆU THAM KHẢO [1] Nguyễn Đăng Bình Nhận dạng liệu chuỗi, mơn Khoa học máy tính, Khoa Cơng nghệ thơng tin, Trường Đại học Khoa học Huế-2010 [2] Đỗ Năng Toàn Một số kỹ thuật phát hiện, bám sát đối tượng ứng dụng, Viện Công nghệ Thông Tin, Viện Khoa học Công nghệ Việt Nam [3] Thế Thị Hường Kỹ thuật trừ ảnh ứng dụng Khoá luận tốt nghiệp Đại học 2005, Đại học Công nghệ - Đại học Quốc gia Hà Nội [4] Nguyễn Thị Lan Hương Phát hiện, phân loại theo dõi đối tượng chuyển động hệ thống giám sát thơng minh Khóa luận tốt nghiệp Đại học 2006, Đại học Công nghệ - Đại học Quốc gia Hà Nội [5] http://nguyendangbinh.org/LyThuyetNhanDang/ [6] http://opencv.org/ [7] https://code.google.com [8] http://www.codeproject.com/ ... 1: Cơ sở lý thuyết Nêu vấn đề xử lý ảnh phép toán ứng dụng toán theo dõi đối tượng chuyển động Chương 2: Xử lý ảnh theo dõi đối tượng chuyển động Trình bày vấn đề cần giải hệ thống theo dõi, giới... Thực xử lý đưa vết chuyển động đối tượng 45 Hình 3.4: Thực xử lý bao khít đối tượng chuyển động 46 Hình 3.5: Thực xử lý bao đối tượng khối chữ nhật nhỏ 47 Hình 3.6: Thực xử lý bao đối tượng. .. nghiên cứu: Đối tượng chuyển động ghi lại camera theo dõi phòng kín nhiễu điều kiện ngồi trời có nhiều nhiễu Nhiệm vụ, yêu cầu Đề tài khóa luận: Ứng dụng xử lý ảnh theo dõi đối tượng chuyển động