ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ  TRẦN THỊ HOÀN NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP PHÁT HIỆN CHUYỂN ĐỘNG TRONG VIDEO VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ Hà Nội - 2009 MỤC LỤC MỞ ĐẦU Chương 1-TỔNG QUAN VỀ XỬ LÝ VIDEO VÀ PHÁT HIỆN ĐỐI TƯỢNG CHUYỂN ĐỘNG 1.1 Tổng quan xử lý Video 1.1.1 Sơ lược Video 1.1.2 Các dạng Video 1.1.2.1 Video tương tự 1.1.2.2 Video số 1.1.3 Các chuẩn video 1.2 Một số vấn đề xử lý Video 1.2.1 Phát đối tượng chuyển động Video 1.2.1.1 Phép trừ 10 1.2.1.2 Các phương pháp tĩnh 10 1.2.1.3 Sự khác biệt theo thời gian 11 1.2.1.4 Optical Flow 12 1.2.2 Phân loại đối tượng video 12 1.2.2.1 Phân loại dựa theo hình dạng 13 1.2.2.2 Phân loại dựa theo chuyển động 13 1.2.3 Phát ánh sáng 14 1.2.4 Đánh dấu đối tượng 14 Chương 2-PHÁT HIỆN, ĐÁNH DẤU VÀ PHÂN LOẠI ĐỐI TƯỢNG CHUYỂN ĐỘNG TRONG VIDEO 16 2.1 Phát đối tượng 16 2.1.1 Phát trội 18 2.1.1.1 Mơ hình trừ có khả thích ứng 18 2.1.1.2 Mơ hình hỗn hợp Gaussian tương thích 20 2.1.1.3 Sự khác biệt theo thời gian 22 2.1.2 Bước hậu xử lý điểm ảnh 23 2.1.2.1 Phát bóng thay đổi ánh sáng đột ngột 24 2.1.3 Phát vùng liên tục 29 2.1.4 Bước hậu xử lý vùng 29 2.1.5 Trích rút đặc trưng đối tượng 30 2.2 Đánh dấu đối tượng 30 2.2.1 Tham chiếu tương tự với đối tượng 32 2.2.2 Điều khiển chồng chéo đối tượng 36 2.2.2.1 Phát đối tượng bị che khuất 37 2.2.2.2 Phát đối tượng tách 37 2.2.2.3 Lược đồ sở tham chiếu tương ứng 37 2.2.3 Phát đối tượng dời đối tượng biến 39 2.3 Phân loại đối tượng 41 2.3.1 Phân loại dựa mẫu hình chiếu 41 2.3.2 Cơ sở liệu mẫu hình chiếu 42 2.3.3 Ma trận phân loại 45 2.3.4 Sự bảo toàn theo thời gian 46 Chương 3- ỨNG DỤNG 48 3.1 Một số ứng dụng công nghệ phần mềm 49 3.1.1 Ứng dụng phần mềm nhúng (Embedded Software) 49 3.1.1.1 Khái niệm phần mềm nhúng 49 3.1.1.2 Mục đích phần mềm nhúng 49 3.1.1.3 Tính chất phần mềm nhúng 49 3.1.1.4 Lợi ích phần mềm nhúng 49 3.1.1.5 Ứng dụng xử lý video 49 3.1.2 Xây dựng phần mềm điều khiển 50 3.2 Cài đặt số phương pháp phát đánh dấu đối tượng 50 3.2.1 Giao diện chương trình 50 3.2.2 Các menu 51 3.2.3 Một số hình ảnh phát đánh dấu đối tượng chuyển động 52 KẾT LUẬN 54 TÀI LIỆU THAM KHẢO 55 PHỤ LỤC 60 MỞ ĐẦU Trong kỷ nguyên công nghệ thông tin nay, với phát triển nhanh chóng cơng nghệ chế tạo thiết bị phần cứng ngày đại, tinh vi ngành cơng nghệ phần mềm không ngừng mở rộng để phù hợp với yêu cầu thực tế Trong phải kể đến phát triển thiết bị thu nhận hình ảnh từ giới thực, chẳng hạn hệ thống giám sát camera, song hành với vấn đề liên quan đến việc giám sát Thách thức cho cơng nghệ phần mềm lĩnh vực việc xử lý hình ảnh thu nhận từ hệ thống giám sát Giám sát vấn đề nhiều nhà nghiên cứu quan tâm đặc biệt ứng dụng thiết thực cho đời sống xã hội Chẳng hạn hệ thống giám sát hành vi khả nghi tội phạm, khủng bố địa điểm nhạy cảm phủ Hệ thống giám sát viện bảo tàng, lưu trữ để chống trộm cắp di vật trưng bày Hệ thống giám sát tượng bất bình thường, vi phạm pháp luật, tai nạn điểm giao thơng Hệ thống giám sát phịng chống hỏa hoạn Các hệ thống giám sát siêu thị, cửa hàng, cơng ty để chống trộm cắp,… Thách thức cho ngành công nghệ phần mềm đưa giải pháp nhằm xây dựng hệ thống giám sát tối ưu nhằm giúp người phát xác kịp thời tượng bất thường để có biện pháp xử lý nhanh chóng nhằm tránh thiệt hại đáng tiếc cho xã hội Dữ liệu thu từ hệ thống camera giám sát thường lưu trữ dạng video Như công việc nghiên cứu vấn đề liên quan đến việc xử lý video Hiện giới có nhiều cơng trình nghiên cứu xử lý video có nhiều ứng dụng đáng kể lĩnh vực Tuy nhiên, so với yêu cầu thực tế chưa đủ Ở Việt Nam, xử lý Video vấn đề mẻ Thực tế cho thấy rằng, xã hội phát triển mạnh, yêu cầu thiết bị công nghệ cao Như vậy, xử lý video mảnh đất màu mỡ cho trung tâm nghiên cứu, công ty đầu tư vào Nhất giai đoạn hệ thống nhúng phát triển mở kỷ nguyên cho ngành công nghệ phần mềm Giám sát tự động hướng có nhiều triển vọng phát triển lĩnh vực nhận dạng xử lý ảnh chiều Đồng thời, hướng cho mảng phần mềm thiết kế chuyên dụng cho thiết bị giám sát tự động Việc phát đối tượng chuyển động video nhờ kỹ thuật xử lý ảnh, sở đốn nhận số hành vi đối tượng việc làm có ý nghĩa khoa học thực tiễn Nhất hoàn cảnh Việt Nam chưa có nhiều nghiên cứu ứng dụng theo hướng Xuất phát từ thực tế đó, việc nghiên cứu đưa phương pháp để xử lý video vô thiết thực Được hướng dẫn PGS.TS Đỗ Năng Tồn tơi tiến hành nghiên cứu đề tài “Nghiên cứu số phương pháp phát đối tượng chuyển động video ứng dụng” Trong khuôn khổ luận văn này, mục tiêu tơi tìm hiểu bước phát hiện, đánh dấu, phân loại đối tượng chuyển động video so sánh mẫu để đưa kết luận tương ứng Sau nghiên cứu kỹ phương pháp đưa ra, tiến hành đánh giá ưu nhược phương pháp mạnh dạn đưa số biện pháp khắc phục nhằm làm cho hệ thống hoạt động tối ưu với hệ thời gian thực Các vấn đề cần giải phạm vi luận văn bao gồm: - Nghiên cứu tổng quan video phát đối tượng chuyển động - Nghiên cứu đề xuất số hướng khắc phục nhược điểm việc phát hiện, đánh dấu, phân loại đối tượng chuyển động tạo kho sở liệu mẫu - Cài đặt số phương pháp phát hiện, đánh dấu đối tượng chuyển động dựa theo phương pháp nêu Chương - TỔNG QUAN VỀ XỬ LÝ VIDEO VÀ PHÁT HIỆN ĐỐI TƯỢNG CHUYỂN ĐỘNG 1.1 Tổng quan xử lý Video 1.1.1 Sơ lược Video Ngày nay, khơng phủ nhận thành tựu mà ngành cơng nghệ thơng tin mang lại Trong đó, đa phương tiện khía cạnh quan trọng với nhiều ứng dụng thiết thực nhằm làm cho xã hội ngày phát triển hơn, văn minh Nhưng với phát triển không ngừng công nghệ thông tin, chưa đủ Vẫn cần nhiều nghiên cứu liên quan đến khía cạnh Trong phải kể đến lĩnh vực quan trọng đa phương tiện, Video xử lý video Video tái tạo ảnh tự nhiên theo không gian thời gian hai, thực chất dãy ảnh liên tục theo thời gian nhằm mô chuyển động Việc dùng ảnh liên tục để mô tả chuyển động theo thời gian xuất gần kỉ Năm 1834 nhà toán học William George Horner phát minh cách mơ tả Sau đó, hàng loạt nghiên cứu khác triển khai có ứng dụng đáng kể Năm 1887, Hannubal Good phát minh phim ảnh vấn đề ảnh chuyển động quan tâm đặc biệt lợi ích kinh tế mà mang lại Năm 1895, hệ thống camera/Projector với chuẩn phim (35mm chiều rộng, 24 khung hình giây) phát triển Louis Lumiére Sự chuẩn hóa video tương tự năm đầu thập niên 1950 (NTSC) năm cuối 1960 (SECAM PAL) làm cho ảnh chuyển động xuất khắp nơi, với thiết bị vơ tuyến dùng rộng rãi cho mục đích giải trí, hệ thống ứng dụng cơng nghệ phát chuyển động tiếp tục phát triển Vào năm 1990, tổ chức chuẩn hóa tổ chức ISO-IEC (International Organization for Standard – International Electrotechnical Commission) đưa chuẩn MJPEG cho video kĩ thuật số, tổ chức chuẩn ITU-T (International Telecommunication Union) đưa chuẩn H.261 số chuẩn liên quan khác Đi kèm với thiết bị tin học giá rẻ tạo nên phát triển bùng nổ cho ứng dụng đa phương tiện 1.1.2 Các dạng Video 1.1.2.1 Video tương tự NTSC Video: Đây dạng Video tương tự với 525 dòng khung hình, 30 khung hình giây, qt cách dịng, chia làm hai trường (mỗi trường 262.5 dịng), có 20 dịng dự trữ cho thơng tin điều khiển thời điểm bắt đầu trường PAL Video: Dạng Video có 625 dịng khung hình, 25 khung hình giây, quét cách dòng Khung gồm hai trường chẵn lẽ, trường bao gồm 312.5 dòng 1.1.2.2 Video số Một số tiêu chuẩn Video số lấy theo tiêu chuẩn CCIR (Consultative Committee for International Radio) Bảng1.1 Các tiêu chuẩn Video số CCIR 601525/60 NTSC CCIR 601625/50 PAL/SECAM CIF QCIF Độ phân giải độ chói 720x480 360x576 352x288 176x144 Độ phân giải màu sắc 360x480 360x576 176x144 88x72 Lấy mẫu màu 4:2:2 4:2:2 4:2:0 4:2:0 Số trường /s 60 50 30,15,10,7.5 30,15,10,7.5 Cách dòng Cách dòng Liên tục Liên tục Cách quét 1.1.3 Các chuẩn video Các chuẩn tổ chức chuẩn ISO-IEC (International Organization for StandardInternational Electrotechnical Commission) đưa bao gồm: Chuẩn MJPEG MJPEG (Motion JPEG) tên gọi lớp quy cách video, frame video phạm vi kết hợp lại dãy video số nén lại cách độc lập ảnh JPEG MJPEG sử dụng hình thái nén dựa phép biến đổi cosin rời rạc Phép toán chuyển đổi frame video nguồn từ miền thời gian xác định vào miền tần số Một mơ hình tri giác dựa theo cách không chặt chẽ vào hệ thống trực quan người để loại bỏ thơng tin có tần số cao, ví dụ chuyển đổi cách xác theo cường độ màu sắc Trong miền chuyển đổi, việc xử lý rút gọn thông tin gọi lượng tử Trong đó, lượng tử phương pháp làm giảm nhóm tỷ lệ lớn (với xẩy khác nhóm) vào nhóm nhỏ hơn, miền chuyển đổi thuận tiện cho việc biểu diễn ảnh hệ số có tần số cao, góp phần làm giảm ảnh hệ số khác với đặc tính có giá trị nhỏ với hệ số nén cao Các hệ số lượng tử sau xếp dãy đóng gói vào đầu tuyến bit Gần việc thi hành tất phần mềm chuẩn MJPEG cho phép người dùng điểu khiển tỉ lệ nén (như tham biến tùy ý khác), cho phép người sử dụng để trao đổi ngoại tuyến tệp có kích thước nhỏ Trong ứng dụng nhúng (miniDV, sử dụng tương tự pha trộn nén biến đổi cosine rời rạc), Các tham biến lựa chọn trước thiết lập cho ứng dụng Chuẩn Video MPEG-1 MPEG-1 chuẩn phát triển thừa nhận năm 1992 để lưu trữ dạng nén thô Video dạng CIF kết hợp với audio khoảng 1.5 Mbps (các tỉ lệ nén tách biệt 26:1 6:1) nhiều môi trường lưu trữ số khác VCD , DAT, Winchester, đĩa quang, cáp, vệ tinh số truyền số với ứng dụng hệ thống đa phương tiện trực tuyến Chuẩn MPEG-1 gọi ISO/IEC-11172 bao gồm phần sau: Các hệ thống (lưu trữ đồng hóa video, audio liệu khác nhau) Video (nén video) Audio (nén audio) Kiểm tra đắn (kiểm tra xác việc thực chuẩn) Các phần mềm sở (chẳng hạn phần mềm mã hóa giải mã) Cụ thể chuẩn MPEG-1 cho Video sau Không gian màu MPEG-1 Trước mã hóa video thành MPEG-1, khơng gian màu chuyển đổi thành Y‟CbCr (Y‟=Luma, Cb = Thành phần màu Blue, Cr = thành phần màu Red) Luma bao gồm độ sáng độ phân giải lưu trữ tách biệt theo thành phần (màu, màu sắc, giai đoạn) phân biệt thành phần Red Blue Các đặc tính MPEG-1  Là tiêu chuẩn tổng quát cú pháp, hỗ trợ ước lượng chuyển động, dự đoán bù chuyển động, dùng thuật tốn mã hóa rời rạc cosine  Khơng định nghĩa thuật toán xác định cụ thể mà thiết kế mã hóa linh hoạt  Khả phục vụ ảnh khác nhau, hoạt động thiết bị, tốc độ khác  Truy cập ngẫu nhiên dựa điểm truy cập độc lập  Tìm nhanh xem qt dịng bit mã hóa, hiển thị khung chọn  Trễ mã hóa giải mã hợp lý (1s), gây ấn tượng tốt cho truy cập video đơn cơng MPEG-1 xét tín hiệu Video lũy tiến Sử dụng không gian màu (Y, Cr, Cb) thừa nhận theo kiến nghị CCIR 601 Trong SIF (Standard Input Format) MPEG kênh 352 pixel x 240 dịng 30 khung hình/s Sau số ràng buộc MPEG-1: Bảng 1.2 Một số ràng buộc MPEG-1 Số pixel lớn dòng 720 Số dòng lớn ảnh 576 Số ảnh giây 30 Số MB ảnh 396 Số MB giây 9900 Tốc độ bit tối đa Kích thước đệm giải nén tối đa 1.86 Mbps 376.832 bits Chuẩn Video MPEG-2 MPEG-2 phiên mở rộng MPEG-1 để cung cấp phạm vi rộng ứng dụng với tốc độ bit độ phân giải khác (2-20Mbps) Các đặc tính MPEG-2 sử dụng rộng rãi định dạng tín hiệu vơ tuyến kỹ thuật số, tín hiệu tín hiệu vệ tinh, tín hiệu hữu tuyến, vơ tuyến Nó định dạng cho phim ảnh số chương trình khác lưu DVD số đĩa từ tương tự MPEG-2 chuẩn quốc tế cịn có tên gọi khác ISO/IEC 13818 Chuẩn MPEG-2 cho video tương tự chuẩn MPEG-1 Chuẩn Video MPEG-4 MPEG-4 phát triển cho tốc độ bit thấp từ 4.8 đến 68 kbps, nhiên sau nâng tốc độ lên đáng kể - Video: 5kbps đến 10 Mbps - Audio: 2kbps đến 64 kbps Dạng chuẩn nhằm hỗ trợ phát triển riêng cho đối tượng khác tạo khả thích nghi, linh động để cải thiện chất lượng dịch vụ như: tivi số, đồ họa trình diễn, World Wide Web, videophone mở rộng chúng MPEG-4 gọi chuẩn ISO/IEC 14496 Chuẩn Video MPEG-7 Được thừa nhận thành tiêu chuẩn quốc tế tháng 7/2001 MPEG-7 đề xuất cho việc tìm kiếm, chọn lựa, quản lý phân tích thơng tin đa phương tiện, khơng tập trung vào ứng dụng cụ thể, tiêu chuẩn mã hóa thực cho Audio, Video hay multimedia MPEG-7 dạng phát triển lên từ phiên MPEG-1 phát triển MPEG-7 cung cấp tập hợp đầy đủ cơng cụ chuẩn hóa để mơ tả nội dung đa phương tiện Cả người dùng hệ thống tự động xử lý hệ âm thực thuộc phạm vi MPEG-7 Ngoài ra, tổ chức chuẩn ITU-T (International Telecommunication Union) đưa số chuẩn cho Video sau: Chuẩn H.120 H.120 chuẩn cho việc mã hóa video kĩ thuật số đưa vào năm 1984 H.120 chạy với tốc độ 1544kbit/s cho NTSC 2048 cho PAL Chuẩn Video H.261 H.261 phát triển cho dịch vụ truyền hình hội nghị Video phone qua ISDN tốc độ px64kbps/s (p=1, 2, …,30), H.261 làm sở cho chuẩn nén sau MPEG 1, H.261 sử dụng dạng thức trung gian CIF (Common Intermediate Format) với tốc độ bit thấp hơn, sử dụng dạng có tốc độ nhỏ ¼ QCIF (Quadrature) Với tốc độ 30 khung hình/s tốc độ liệu CIF 37.3 Mbps, QCIF 9.35 Mbps Tốc độ thấp giảm số khung hình/s Tín hiệu video phân thành lớp, lớp có header để định nghĩa tham số sử dụng mã hóa tạo dịng bit Lớp ảnh phân thành ... theo cần thiết ứng dụng sử dụng theo phương pháp sử dụng giải pháp 16 Chương - PHÁT HIỆN, ĐÁNH DẤU VÀ PHÂN LOẠI ĐỐI TƯỢNG CHUYỂN ĐỘNG TRONG VIDEO 2.1 Phát đối tượng Tổng quan phát hiện, phân loại... Cài đặt số phương pháp phát hiện, đánh dấu đối tượng chuyển động dựa theo phương pháp nêu 3 Chương - TỔNG QUAN VỀ XỬ LÝ VIDEO VÀ PHÁT HIỆN ĐỐI TƯỢNG CHUYỂN ĐỘNG 1.1 Tổng quan xử lý Video 1.1.1... tài ? ?Nghiên cứu số phương pháp phát đối tượng chuyển động video ứng dụng? ?? Trong khuôn khổ luận văn này, mục tiêu tơi tìm hiểu bước phát hiện, đánh dấu, phân loại đối tượng chuyển động video so sánh