ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ VŨ TUẤN ANH THEO DÕI ĐỐI TƯỢNG DỰA TRÊN GIẢI THUẬT DI TRUYỀN VÀ TỐI ƯU HOÁ BẦY ĐÀN Hà Nội – 11/2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ VŨ TUẤN ANH THEO DÕI ĐỐI TƯỢNG DỰA TRÊN GIẢI THUẬT DI TRUYỀN VÀ TỐI ƯU HỐ BẦY ĐÀN Ngành: Cơng nghệ thơng tin Chun ngành: Công nghệ phần mềm Mã Số: 60 48 01 03 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN: PGS TS PHẠM NGỌC HÙNG Hà Nội – 11/2016 i MỤC LỤC LỜI CẢM ƠN ii LỜI CAM ĐOAN iii DANH MỤC HÌNH VẼ iv DANH MỤC THUẬT NGỮ v CHƯƠNG 1: ĐẶT VẤN ĐỀ CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Phân hoạch mờ 2.2 Giải thuật di truyền 2.3 Giải thuật tối ưu bầy đàn 14 CHƯƠNG 3: ÁP DỤNG GIẢI THUẬT DI TRUYỀN VÀ TỐI ƯU BẦY ĐÀN TRONG BÀI TOÁN THEO DÕI ĐỐI TƯỢNG 18 3.1 Histogram màu 19 3.2 Phát đối tượng dựa giải thuật di truyền tối ưu bầy đàn 20 3.3 Theo dõi đối tượng 26 CHƯƠNG 4: CÀI ĐẶT THỬ NGHIỆM 32 4.1 Công cụ hỗ trợ 32 4.2 Dữ liệu thử nghiệm 34 4.3 Kết thử nghiệm 35 CHƯƠNG 5: KẾT LUẬN 41 TÀI LIỆU THAM KHẢO 43 ii LỜI CẢM ƠN Trước tiên xin dành lời cảm ơn chân thành sâu sắc đến thầy giáo, PGS TS Phạm Ngọc Hùng – người hướng dẫn, khuyến khích, bảo tạo cho điều kiện tốt từ bắt đầu hồn thành cơng việc Tôi xin dành lời cảm ơn chân thành tới thầy cô giáo khoa Công nghệ thông tin, trường Đại học Cơng nghệ, ĐHQGHN tận tình đào tạo, cung cấp cho kiến thức vô quý giá tạo điều kiện tốt cho suốt trình học tập, nghiên cứu trường Đồng thời xin cảm ơn tất người thân u gia đình tơi tồn thể bạn bè người giúp đỡ, động viên vấp phải khó khăn, bế tắc Cuối cùng, xin chân thành cảm ơn đồng nghiệp Viện hàng không vũ trụ giúp đỡ, tạo điều kiện thuận lợi cho học tập nghiên cứu chương trình thạc sĩ Đại học Cơng nghệ, ĐHQGHN iii LỜI CAM ĐOAN Tôi xin cam đoan luận văn thạc sĩ công nghệ thông tin “Theo dõi đối tượng dựa giải thuật di truyền tối ưu hố bầy đàn” cơng trình nghiên cứu riêng tôi, không chép lại người khác Trong toàn nội dung luận văn, điều trình bày cá nhân tổng hợp từ nhiều nguồn tài liệu Tất nguồn tài liệu tham khảo có xuất xứ rõ ràng hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Hà Nội, ngày 15 tháng 10 năm 2016 Vũ Tuấn Anh iv DANH MỤC HÌNH VẼ Hình 2.1 Sơ đồ chung giải thuật di truyền 10 Hình 3.1 Các bước giải thuật theo dõi đối tượng 18 Hình 3.2 Chuỗi chứa c vectơ 21 Hình 3.3 Minh hoạ lại ghép điểm cắt 23 Hình 3.4 Bố trí lân cận điểm ảnh 25 Hình 3.5 Sơ đồ bước giải thuật theo vết đối tượng 29 Hình 4.1 Giao diện làm việc với Matlab 33 Hình 4.2 Cấu trúc cơng cụ thử nghiệm GAObjectTracking 34 Hình 4.3 Khung hình thử nghiệm 35 Hình 4.4 Ảnh phân vùng màu 35 Hình 4.5 Ảnh nhị phân đường 36 Hình 4.6 Ảnh nhị phân đường sau lọc 36 Hình 4.7 Ảnh nhị phân phương tiện giao thơng 37 Hình 4.8 Ảnh nhị phân phương tiện giao thông sau lọc 37 Hình 4.9 Bao đối tượng trích xuất 38 Hình 4.10 Biểu diễn ảnh gốc 38 v DANH MỤC THUẬT NGỮ Từ viết tắt Từ đầy đủ Ý nghĩa GA Genetic Algorithm Giải thuật di truyền PSO Particle Swarm Optimization Tối ưu bầy đàn GMM Gaussian Mixen Model Mơ hình trộn Gauss SVM Support Vector Machine Máy hỗ trợ vectơ NN Neural Network Mạng nơ-ron Multiple Object Tracking Độ xác theo dõi Accuracy đa đối tượng UAV Unmanned Aerial Vehicle Máy bay khơng người lái AI Artificial intelligence Trí tuệ nhân tạo MOTA CHƯƠNG 1: ĐẶT VẤN ĐỀ Trong thập niên đầu kỷ 21, học máy nghiên cứu phát triển mạnh mẽ, đánh dấu bước ngoặt quan trọng thay đổi tảng nghiên cứu Trí tuệ nhân tạo Học máy liên quan đến việc xây dựng chương trình máy tính tự động thu thập tri thức, cải thiện khả thơng qua kinh nghiệm, việc nghiên cứu nguyên lý trình học [1] Các kết công nghệ học máy thể qua ứng dụng đa dạng thực tế lĩnh vực như: xử lý ngôn ngữ tự nhiên, thị giác máy tính, tìm kiếm nhận dạng, robotics, khai phá liệu, v.v Thị giác máy tính, lĩnh vực nghiên cứu liên ngành, liên quan đến việc nghiên cứu lĩnh vực khoa học công nghệ hệ thống máy móc có khả nhìn hiểu hệ thống thị giác người [2] Đây lĩnh vực quan tâm nghiên cứu rộng rãi vài thập niên gần ứng dụng thực tế đa dạng Một số ứng dụng kể đến là: tự động hóa dây chuyền sản xuất cơng nghiệp, viễn thám, giám sát giao thông, bảo mật sinh trắc học, y học, an ninh, web 3D, giải trí, v.v Vấn đề phát hiện, nhận dạng, phân tách hiểu ngữ nghĩa đối tượng ảnh/video nghiên cứu rộng rãi trong lĩnh vực thị giác máy tính hàng thập kỷ qua [2] Các nghiên cứu nhanh chóng phát triển nhờ tiến số lĩnh vực liên quan như: việc phát triển mơ hình tốn học phức tạp, nghiên cứu chun sâu nhận thức tri giác (cognitive vision), lực hệ thống tính tốn, giải thuật thơng minh, đòi hỏi kiểm thử liệu lớn Tuy nhiên vấn đề mẻ Việt Nam thiếu thiết bị hỗ trợ nghiên cứu làm chủ công nghệ Và hướng phát triển mở nhiều hứa hẹn đồng thời nhiều thách thức Hiện Việt Nam hệ thống theo dõi – giám sát hầu hết không tự động, chủ yếu dựa vào người Tuy nhiên tương lai không xa, kinh tế khoa học kỹ thuật phát triển hệ thống giám sát phát triển theo Với mong muốn tham gia vào hướng nghiên cứu giúp hệ thống giám sát đạt hiệu cao giảm chi phí người chúng tơi thực đề tài “Theo dõi đối tượng dựa giải thuật di truyền tối ưu hoá bầy đàn” Vấn đề phát đối tượng nghiên cứu có nhiều ứng dụng sống Các đối tượng phát nhờ thông tin khung hình ảnh Có nhiều hướng tiếp cận để giải vấn đề Các tác giả Alper Yilmaz, Omar Javed Mubarak Shah phân loại hướng tiếp cận trình bày [3] Có thể phân loại giải thuật phát đối tượng thành hướng tiếp cận như: phát điểm quan trọng (interest point detector) [4] [5], phân đoạn ảnh (segmentation) [6] [7] [8], mơ hình (background modeling) [9] [10] [11] phân loại có giám sát (supervised classifier) [12] [13] Việc lựa chọn phương pháp áp dụng phải dựa vào tình cụ thể, trường hợp có ảnh không thay đổi việc phát đối tượng chuyển động phương pháp trừ Các giải thuật trình bày sau Hướng giải xây dựng mơ hình nền, sau sử dụng mơ hình với khung hình để rút vật thể chuyển động Để tiếp cận cần phải xây dựng mơ hình Có nhiều phương pháp xây dựng dựa mơ hình tác giả Anurag Mittal [12] dùng mơ hình ước lượng mật độ nhân thích ứng (Adaptive Kernel Density Estimation) cho kết tốt nhiên khó khăn khơng gian lưu trữ, tính tốn phức tạp, tốc độ không đáp ứng thời gian thực Stauffer sử dụng mơ hình trộn Gaussian (Mixture of Gaussian) [14] để xây dựng mơ hình nền, nhằm phát đối tượng chuyển động, xác định xem đối tượng có đối tượng ta cần phát hay khơng Đây khó khăn cần khắc phục Trong lĩnh vực phát phần đầu người Wei Qu, Nidhal Bouaynaya Dan Schonfeld [15] đề hướng tiếp cận cách kết hợp mơ hình màu da với mơ hình màu tóc (skin and hair color model) Những màu phát dựa vào mơ hình Gauss Sau cách áp dụng phương pháp so khớp mẫu (template matching) để đạt mục đích phát phần đầu người đáp ứng thời gian thực Khó khăn hướng tiếp cận thường gặp việc thu thập liệu huấn luyện màu da màu tóc, độ xác dể bị ảnh hưởng độ sáng mơi trường Việc phát đối tượng thực phương pháp học máy Các phương pháp kể đến như: mạng nơ-ron (Neural Network), định (Decision Tree), máy hỗ trợ vectơ (Support Vector Machine - SVM) Điểm chung phương pháp phải trải qua giai đoạn huấn luyện tập liệu Tập liệu phải đủ lớn, bao quát hết trạng thái đối tượng Sau đặc trưng rút trích liệu huấn luyện Việc lựa chọn đặc trưng sử dụng đóng vai trị quan trọng ảnh hưởng đến hiệu phương pháp học máy Một số đặc trưng thường sử dụng như: đặc trưng màu sắc, đặc trưng góc cạnh, đặc trưng histogram, v.v Sau có đặc trưng, ta đánh nhãn lớp cụ thể cho đặc trưng để sử dụng việc huấn luyện Trong trình huấn luyện, phương pháp học máy sinh hàm để ánh xạ đặc trưng đầu vào tương ứng với nhãn lớp cụ thể Sau huấn luyện xong phương pháp học máy dùng để phân lớp cho đặc trưng Đặc điểm phương pháp độ xác cao Tuy nhiên gặp phải khó khăn việc thu thập liệu huấn luyện ban 31 Với vị trí đối tượng Khi ta có vận tốc đối tượng cập nhật công thức (3.14) (3.14) Và độ không chắn vận tốc cập nhật công thức (3.15) | | (3.15) 32 CHƯƠNG 4: CÀI ĐẶT THỬ NGHIỆM Phần luận văn trình bày cách thức cài đặt kết thử nghiệm đạt Luận văn tập trung vào nhận dạng theo dấu đối tượng cụ thể phương tiện giao thông từ ảnh thu từ thiết bị bay UAV, drone Đây đối tượng phổ biến có nhiều ứng dụng thực tế an ninh quốc phịng (ví dụ, giám sát giao thơng tự động) Các thử nghiệm tương tự dễ dàng mở rộng đối tượng khác 4.1 Công cụ hỗ trợ Các thử nghiệm luận văn cài đặt sử dụng ngôn ngữ môi trường Matlab, chi tiết Bảng 4.1 Bảng 4.1 Cấu hình mơi trường thử nghiệm Cấu hình Phần cứng Hệ điều hành Chi tiết Dell Optiplex 7020, CPU Intel Core i7-4790 @ 8×3.60Ghz, RAM DDR3 16GB Window SP1 Professional 64-bit Ngôn ngữ & môi trường Matlab 2013a 64-bit MATLAB1 phần mềm cung cấp mơi trường tính tốn số lập trình có tính trực quan cao, cơng ty MathWorks thiết kế MATLAB cho phép tính tốn số với ma trận, vẽ đồ thị hàm số hay biểu đồ thơng tin, thực thuật tốn, tạo giao diện người dùng liên kết với chương trình máy tính viết nhiều ngơn ngữ lập trình khác https://www.mathworks.com/products/?s_tid=gn_ps 33 Hình 4.1 Giao diện làm việc với Matlab Hiện nay, MATLAB có đến hàng ngàn lệnh hàm tiện ích Ngồi hàm cài sẵn ngơn ngữ, MATLAB cịn có lệnh hàm ứng dụng chuyên biệt hộp công cụ (Toolbox), để mở rộng môi trường MATLAB nhằm giải tốn thuộc phạm trù riêng Các cơng cụ quan trọng tiện ích cho người dùng tốn sơ cấp, xử lý tín hiệu số, xử lý ảnh, xử lý âm thanh, ma trận thưa, logic mờ, v.v Trong luận văn, cài đặt công cụ theo dõi đối tượng sử dụng giải thuật di truyền (gọi GAObjectTracking – Hình 4.2) Đầu vào cơng cụ đoạn video chứa đối tượng cần theo dõi Đầu tiên, đoạn video giải mã, giải nén thành khung hình liên tiếp Với bước này, sử dụng hàm VideoReader() hỗ trợ “Audio and Video Toolbox” Matlab, giúp giải mã phần lớn định dạng video phổ biến như: AVI (Audio Video Interleave), MP4 (MPEG-4 Part 14), WMV(Windows Media Video) v.v Tiếp theo, tơi tiến hành trích rút đặc trưng histogram màu dựa công cụ xử lý ảnh Matlab Sau đó, đặc trưng đưa vào mơ-đun phát đối 34 tượng Như trình bày chương 3, tơi đề xuất hai hướng tìm phân đoạn đối tượng tối ưu giải thuật di truyền tối ưu bầy đàn Trong công cụ GAObjectTracking tiến hành cài đặt tối ưu phát đối tượng sử dụng giải thuật di truyền Đối với hướng sử dụng phương pháp tối ưu bầy đàn, thời gian nghiên cứu có hạn nên tơi chưa thể cài đặt thử nghiệm thành công Đây hướng phát triển giúp hoàn thiện đề tài tương lai Đầu mô-đun phát đối tượng danh sách đối tượng chứa khung hình Danh sách đưa vào đối sánh theo dõi mô-đun theo dõi đối tượng Các đối tượng theo dõi đánh dấu hiển thị trực quan giao diện Matlab Video VideoReader Trích xuất HC (Matlab) Phát đối tượng sử dụng GA Theo dõi đối tượng Hiển thị Hình 4.2 Cấu trúc công cụ thử nghiệm GAObjectTracking 4.2 Dữ liệu thử nghiệm Dữ liệu tiến hành thử nghiệm từ thiết bị bay UAV quay đoạn đường cao tốc Dữ liệu lưu vào máy định dạng AVI nén, với thông số sau: - Chuẩn nén Cinepak Codec - Kích thước AVI 56.5MB - Thời gian đoạn phim 13 phút 07 giây - Tốc độ khung hình 30fps - Kích thước khung hình điểm ảnh 35 4.3 Kết thử nghiệm Hình 4.3 Khung hình thử nghiệm Trong bước phân vùng ảnh, tham số công thức (2.4) để tính tốn độ tương tự màu sắc chọn 0.0001 0.2 Số lượng cụm chọn số vòng lặp tối đa 50 Xác suất lai ghép đột biến 20% Hình 4.4 ảnh sau phân vùng với giải thuật phân vùng tham số Hình 4.4 Ảnh phân vùng màu Với cách tiếp cận trích rút đối tượng trình bày phần trước, sử dụng phân phối để phân tách đối tượng đường phương tiện giao thông Trong trường hợp này, cụm đường chọn phương tiện giao thơng coi “nhiễu” Hình 4.5 ảnh nhị phân chứa đối tượng đường 36 Hình 4.5 Ảnh nhị phân đường Ảnh nhị phân đường lọc lọc hình thái học mở rộng để thu đối tượng đường liền mạch (theo kinh nghiệm thành phần cấu trúc đặt 5) Kết thao tác hình thái học hình 4.6 Hình 4.6 Ảnh nhị phân đường sau lọc Để trích xuất phương tiện giao thơng từ ảnh hình 4.5, ta tiến hành trừ hình 4.5 cho hình 4.6 Hình 4.7 kết trích xuất phương tiện giao thơng phép trừ 37 Hình 4.7 Ảnh nhị phân phương tiện giao thơng Thao tác hình thái học tiếp tục sử dụng với ảnh phương tiện giao thông để thu đối tượng phương tiện giao thơng hồn chỉnh hình 4.8 Hình 4.8 Ảnh nhị phân phương tiện giao thông sau lọc Các cạnh đối tượng phương tiện giao thơng trích xuất sử dụng giải thuật tìm đường bao trình bày phần kết hình 4.9 38 Hình 4.9 Bao đối tượng trích xuất Để minh hoạ cho tính xác, đường bao đối tượng phương tiện giao thơng trích xuất ghép vào ảnh màu gốc Hình 4.10 Trong hình ghép đường màu đỏ bao đối tượng Có thể quan sát từ Hình 4.10 phần lớn đường bao khớp xác với phương tiện giao thơng Hình 4.10 Biểu diễn ảnh gốc Để đánh giá độ xác việc theo dấu đối tượng Ta tiến hành đánh giá kết theo độ xác theo dõi đa đối tượng (Multiple Object Tracking Accuracy - MOTA) [27] ∑ ∑ (4.1) 39 đó, , số lượt theo dõi trượt (misses), sai tích cực (false positives) so khớp sai (mismatches) tương ứng với khung hình , tổng số đối tượng có khung hình Độ đo MOTA coi tổng hợp ba độ lỗi: tỉ lệ trượt (misses rate - ̅), tỉ lệ sai tích cực (false positives rate - ̅̅̅̅ ) tỉ lệ so khớp sai (mismatches rate – ̅̅̅̅̅̅̅) ̅ ∑ ∑ (4.2) ̅̅̅̅ ∑ ∑ (4.3) ∑ (4.4) ̅̅̅̅̅̅̅ ∑ Bảng 4.2 Kết theo dõi đối tượng theo độ đo MOTA STT Đánh giá Kết ̅ 5.73% ̅̅̅̅ 5.78% ̅̅̅̅̅̅̅ 2.53% 85.96% Kết theo dõi đối tượng tính theo độ đo MOTA, tỉ lệ trượt, tỉ lệ sai tích cực tỉ lệ so khớp sai ghi nhận Bảng 4.2 Tỉ lệ trượt thể phần trăm đối tượng có thực tế khơng theo dõi Tỉ lệ sai tích cực thể phần trăm đối tượng xuất theo dõi khơng có thực tế Tỉ lệ so khớp sai thể phần trăm số lần đối tượng bị thay đổi sai so với khung hình trước Bảng 4.2 cho thấy 40 chương trình thử nghiệm cho kết tốt, lỗi theo dõi trượt, theo dõi sai tích cực so khớp sai tương đối nhỏ (