ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG  VŨ ĐÌNH THANH NGHIÊN CỨU MỘT SỐ KỸ THUẬT GIÁM SÁT ĐỐI TƯỢNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2012 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG  VŨ ĐÌNH THANH NGHIÊN CỨU MỘT SỐ KỸ THUẬT GIÁM SÁT ĐỐI TƯỢNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS Đỗ Năng Toàn Thái Nguyên - 2012 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ` LỜI CAM ĐOAN Em xin cam đoan toàn bộ nội dung bản luận văn này là do em tự sƣu tầm, tra cứu và sắp xếp cho phù hợp với nội dung yêu cầu của đề tài. Nội dung luận văn này chƣa từng đƣợc công bố hay xuất bản dƣới bất kỳ hình thức nào và cũng không đƣợc sao chép từ bất kỳ một công trình nghiên cứu nào. Tất cả phần ứng dụng đều do em tự thiết kế và xây dựng, trong đó có sử dụng một số thƣ viện chuẩn và các thuật toán đƣợc các tác giả xuất bản công khai và miễn phí trên mạng Internet. Nếu sai em xin hoàn toàn chịu trách nhiệm. Thái Nguyên, ngày tháng năm 2012 Ngƣời cam đoan Vũ Đình Thanh Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ` LỜI CẢM ƠN Trong quá trình làm luận văn vừa qua, dƣới sự giúp đỡ và chỉ bảo nhiệt tình của PGS. TS Đỗ Năng Toàn – Viện Công nghệ thông tin – Viện khoa học Việt Nam, luận văn của tôi đã đƣợc hoàn thành. Mặc dù đã cố gắng không ngừng cùng với sự tận tâm của thầy hƣớng dẫn nhƣng do thời gian và khả năng vẫn còn hạn chế nên luận văn khó tránh khỏi những thiếu sót. Để hoàn thành luận văn này, em xin bày tỏ lòng biết ơn sâu sắc đến PGS. TS Đỗ Năng Toàn – ngƣời thầy đã tận tình giúp đỡ em trong suốt quá trình làm luận văn. Em cũng xin bày tỏ lòng biết ơn đến ban lãnh đạo và các thầy giáo, cô giáo trong Trƣờng Đại học Công Nghệ Thông Tin & Truyền Thông Đại Học Thái Nguyên đã giúp đỡ, tạo điều kiện tốt nhất cho em học tập và thực hiện luận văn này. Thái Nguyên, ngày tháng năm 2012 Tác giả Vũ Đình Thanh Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn i ` MỤC LỤC Trang Mục lục i Các ký hiệu viết tắt ii Danh mục bảng biểu vi Danh mục hình ảnh v PHẦN MỞ ĐẦU 1 CHƢƠNG 1. KHÁI QUÁT VỀ XỬ LÝ VIDEO VÀ GIÁM SÁT ĐỐI TƢỢNG 3 1.1. Khái quát về xử lý Video 3 1.1.1. Sơ lƣợc về Video 3 1.1.2. Các dạng Video 4 1.1.2.1. Video tƣơng tự 4 1.1.2.2. Video số 4 1.1.3. Các chuẩn video 5 1.2. Phát hiện và giám sát đối tƣợng 11 1.2.1. Phát hiện đối tƣợng chuyển động 11 1.2.1.1. Phép trừ nền 12 1.2.1.2. Các phƣơng pháp tĩnh 13 1.2.1.3. Sự khác biệt theo thời gian 14 1.2.1.4. Optical Flow 15 1.2.1.5. Phát hiện sự thay đổi ánh sáng và bóng 15 1.2.2. Giám sát đối tƣợng 16 1.2.3. Ứng dụng giám sát đối tƣợng trong thực tế 16 CHƢƠNG 2. MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ GIÁM SÁT ĐỐI TƢỢNG 20 2.1. Phát hiện nổi trội 20 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ii ` 2.1.1. Mô hình trừ nền có khả năng thích ứng 20 2.1.2. Mô hình hỗn hợp Gaussian tƣơng thích 22 2.1.3. Sự khác biệt theo thời gian 25 2.2. Phát hiện và giám sát các đối tƣợng dời đi và các đối tƣợng bị loại bỏ 26 2.3. Phát hiện các vùng liên tục 29 2.4. Phƣơng pháp SURF 29 2.4.1. Ảnh tích hợp (integral image) 29 2.4.2. Phát hiện Fast-Hessian 30 2.4.3. Biểu diễn không gian tỷ lệ 32 2.4.4. Định vị điểm quan tâm 33 2.4.5. Bộ mô tả điểm quan tâm và so khớp 34 2.4.5.1. Gán hƣớng 35 2.4.5.2. Bộ mô tả dựa trên tổng các đặc trƣng Haar wavelet. 36 2.4.5.3. Lập chỉ mục và so khớp 39 CHƢƠNG 3. CHƢƠNG TRÌNH THỬ NGHIỆM 40 3.1. Bài toán 40 3.2. Phân tích và thiết kế 41 3.3. Chƣơng trình thử nghiệm giám sát đối tƣợng 45 3.3.1. Cài đặt chƣơng trình 46 3.3.2. Giao diện của chƣơng trình 46 TÀI LIỆU THAM KHẢO 49 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iii ` CÁC KÝ HIỆU VIẾT TẮT Cụm từ viết tắt Mô tả viết tắt Ý nghĩa NTSC National Television System Committee Hệ thống truyền hình quốc tế SURF Speed Up Robust Feature Đẩy mạnh tính tăng BG Background Màu nền sau FG Foreground Màu nền nguồn MPEG Moving Pictures Expert Group Nhóm chuyên gia điện ảnh RGB Red Green Blue Màu đỏ, màu xanh lá cây, màu xanh da trời ITU International Telecommunication Union Tổ chức liên minh viễn thông quốc tế SIF Standard Input Format Định dạng chuẩn đầu ra CIF Common Intermediate Format Định dạng trung gian MC Motion Compensation Chuyển động bù SIFT Scale Invariant Feature Tranforms Tính năng tỷ lệ bất biến Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iv ` DANH MỤC CÁC BẢNG Bảng Mô tả Bảng 1.1 Các tiêu chuẩn của Video số Bảng 1.2 Một số ràng buộc của MPEG-1 Bảng 1.3 Mô tả kiểu CIF và QCIF Lƣợc đồ 1.1 Lƣợc đồ chung cho các thuật toán xử lý video Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn v ` DANH MỤC CÁC HÌNH ẢNH Hình Mô tả Hình 1.1 Ví dụ về sự khác biệt theo thời gian Hình 1.2 Một số thiết bị camera giám sát Hình 1.3 Hệ thống giám sát giao thông Hình 1.4 Sơ đồ và hệ thống giám sát của doanh nghiệp Hình 2.1 Ảnh (a) là ƣớc lƣợng nền cơ sở, ảnh (b) thu đƣợc ở bƣớc tiếp theo. Ảnh (c) thể hiện bản đồ điểm ảnh nổi trội phát hiện đƣợc bằng cách sử dụng phép trừ nền. Hình 2.2 Hai cách nhìn khác nhau về một ví dụ xử lý điểm Hình 2.3 Phân biệt các đối tƣợng dời đi và biến mất Hình 2.4 Các xấp xỉ đạo hàm bậc hai của hàm Gaussian Hình 2.5 Thể hiện dạng hình chóp của không gian tỷ lệ Hình 2.6 Biểu đồ tỷ lệ phát hiện Hình 2.7 Những điểm quan tâm đƣợc phát hiện Hình 2.8 Phép lọc Haar wavelet để tính toán đặc trƣng Hình 2.9 Gán hƣớng cho các cho các Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn vi ` điểm quan tâm Hình 2.10 Chi tiết của ảnh Graffiti thể hiện kích thƣớc của cửa sổ bộ mô tả hƣớng ở các tỷ lệ khác nhau. Hình 2.11 Để xây dựng bộ mô tả Hình 2.12 Các mục mô tả của miền con Hình 2.13 So khớp giứa hai điểm quan tâm có độ tƣơng phản khác nhau Hình 3.1 Sơ đồ mô tả các tiến trình xử lý của hệ thống Hình 3.2 Trƣớc và sau khi xử lý dựa trên ngƣỡng Hình 3.3 Lƣu đồ thuật toán phát hiện sự chuyển động Hình 3.4 Giao diện của chƣơng trình Hình 3.5 Ảnh gốc và Ảnh chuyển động đƣợc bám sát Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn [...]... tài nghiên cứu một số kỹ thuật giám sát đối tượng Toàn bộ đề tài gồm bố cục nhƣ sau: Chương 1: Khái quát về xử lý video và giám sát đối tượng Trong chƣơng này trình bày về một số dạng chuẩn video hiện nay và phát hiện, giám sát đối tƣợng chuyển động dựa vào các phƣơng pháp khác nhau Ứng dụng vấn đề giám sát đối tƣợng trong thực tế hiện nay Chương 2: Một số vấn kỹ thuật phát hiện và giám sát đối tượng. .. với đối tƣợng ảnh gốc và đối tƣợng đã giám sát đƣợc từ đó rút ra kết luận Ngày nay nhu cầu kiểm soát, giám sát thông tin trong một tổ chức, một đối tƣợng hoặc trên các phạm vị rộng hơn là nhu cầu cần thiết, ngày càng đặt ra gắt gao với các tổ chức, doanh nghiệp… Việc theo dõi và giám sát đối tƣợng là một trong những nhu cầu cần thiết 1.2.3 Ứng dụng giám sát đối tƣợng trong thực tế Ngày nay vấn đề giám. .. pixel x 240 dòng và 30 khung hình/s Sau đây là một số ràng buộc đối với MPEG-1: Số pixel lớn nhất trên một dòng 720 Số dòng lớn nhất trên một ảnh 576 Số ảnh trong một giây 30 Số MB trên một ảnh 396 Số MB trên một giây 9900 Tốc độ bit tối đa Kích thƣớc bộ đệm giải nén tối đa 1.86 Mbps 376.832 bits Bảng 1.2 Một số ràng buộc của MPEG-1 Chuẩn Video MPEG-2 MPEG-2 là một phiên bản mở rộng của MPEG-1 để cung cấp... giám sát đối tƣợng đƣợc ứng dụng rất nhiều trong đời sống hàng ngày Cùng với đà phát triển của công nghệ và khoa học kỹ thuật Công nghệ giám sát mới cũng luôn có những phát triển vƣợt bậc Các hệ thống giám sát không dừng lại ở những chức năng giám sát thông thƣờng mà còn đảm nhiệm rất nhiều những tính năng thông minh ƣu việt khác Ngoài việc đảm nhiệm những tính năng chính vốn có của một hệ thống giám sát. .. trình bày một số kỹ thuật phát hiện và giám sát đối tƣợng Từ đó trích rút ra các đặc trƣng của đối tƣợng ở các frame của video và ` Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2 so sánh khớp Chương 3: Chương trình thử nghiệm Xây dựng chƣơng trình mô phỏng quá trình giám sát đối tƣợng chuyển động dựa trên các file video có sẵn hoặc camera thích hợp trên máy tính ` Số hóa... tin hình ảnh Quá trình giám sát đối tƣợng là quá trình ghi nhận tất cả các sự thay đổi của đối tƣợng (thời gian, hình ảnh…) Từ đó sẽ đƣa ra đƣợc các thông tin cần thiết về đối tƣợng đó Chẳng hạn khi chúng ta có một đối tƣợng là một ảnh gốc, trên đối tƣợng ảnh gốc có một số đặc chƣng nhất định Sau đó đối tƣợng ảnh gốc này di chuyển cả về góc, ánh sáng… thì quá trình giám sát phải ghi nhận lại toàn bộ... thành y hệt nhƣ cách bổ sung thêm 2 frame khác nhau 2.2 Phát hiện và giám sát các đối tƣợng dời đi và các đối tƣợng bị loại bỏ Khả năng phát hiện sự dời đi và loại bỏ của các đối tƣợng là vấn đề sống còn của một số ứng dụng giám sát Phát hiện các đối tƣợng dời đi nhƣ hành lý không có chủ trong các sân bay hoặc một chiếc xe đỗ trƣớc một tòa nhà an ninh nhạy cảm là rất quan trọng Những hoạt động đó có... thống giám sát mới hiện nay còn có khả năng phân tích, ` Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 17 xử lý dữ liệu hình ảnh từ camera để đƣa ra những quyết định, thông báo cần thiết cho ngƣời dùng, tối ƣu hóa một hệ thống giám sát tự động, mang những thuận tiện chƣa từng có Sau đây là một số ứng dụng của giám sát đối tƣợng:  Camera tự động phát hiện và bám theo đối. .. HTTP theo kiểu stream Hình 1.2: Một số thiết bị camera giám sát  Hệ thống giám sát giao thông tự động Hệ thống gồm camera đặt tại đƣờng giao thông nối với máy tính Chuỗi ảnh thu đƣợc bởi camera đƣợc số hóa và truyền về máy tính theo thời gian thực Máy tính phân tích, biến đổi, phát hiện các phƣơng tiện tham gia giao thông, nhận dạng ảnh đối tƣợng đeo bám và giám sát đối tƣợng giúp đƣa ra thông tin... sát Từ đó bộ phận an ninh có thể dễ dàng tìm ra ngƣời đã ra vào ra khu vực giám sát tại thời điểm xác định nếu cần thiết Ngoài ra hệ thống còn có thể phát cảnh báo nếu có ai đi vào khu vực hạn chế ` Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 20 Chƣơng 2 MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ GIÁM SÁT ĐỐI TƢỢNG 2.1 Phát hiện nổi trội Ta sử dụng phối hợp các mô hình nền và các . đề tài nghiên cứu một số kỹ thuật giám sát đối tượng Toàn bộ đề tài gồm bố cục nhƣ sau: Chương 1: Khái quát về xử lý video và giám sát đối tượng Trong chƣơng này trình bày về một số dạng. bóng 15 1.2.2. Giám sát đối tƣợng 16 1.2.3. Ứng dụng giám sát đối tƣợng trong thực tế 16 CHƢƠNG 2. MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ GIÁM SÁT ĐỐI TƢỢNG 20 2.1. Phát hiện nổi trội 20 Số hóa bởi Trung. hiện, giám sát đối tƣợng chuyển động dựa vào các phƣơng pháp khác nhau. Ứng dụng vấn đề giám sát đối tƣợng trong thực tế hiện nay. Chương 2: Một số vấn kỹ thuật phát hiện và giám sát đối tượng.