BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ NGÔ ĐỨC VĨNH KỸ THUẬT XỬ LÝ VÙNG QUAN SÁT VÀ PHÁT HIỆN BẤT THƯỜNG CỦA CÁC ĐỐI TƯỢNG TRONG HỆ THỐNG CAMERA GIÁM SÁT Chuyên ngành: Cơ sở Toán học cho Tin học Mã số: 62.46.01.10 TĨM TẮT LUẬN ÁN TIẾN SĨ TỐN HỌC Hà Nội – 2016 Cơng trình hồn thành tại: Học viện Khoa học Công nghệ, Viện Hàn Lâm Khoa học Công nghệ Việt Nam Người hướng dẫn khoa học: PGS.TS Đỗ Năng Toàn Phản biện 1: Phản biện 2: Phản biện 3:: Luận án bảo vệ trước Hội đồng chấm luận án cấp Học viện Họp tại: Vào hồi …… …… ngày … tháng … năm …… Có thể tìm hiểu luận án tại:  Thư viện Quốc gia Việt Nam  Thư viện Học viện Khoa học Công nghệ, Viện Hàn lâm Khoa học Công nghệ Việt Nam MỞ ĐẦU Tính cấp thiết luận án Ngày nay, hệ thống camera giám sát trở nên phổ biến sử dụng rộng rãi nhiều lĩnh vực Đối với hệ thống camera giám sát thủ công truyền thống, luồng video quan sát giám sát viên thời gian thực, cho phép họ can thiệp nhanh chóng có kiện quan tâm phát Việc xử lý trực tiếp tất luồng video khó khăn số lượng camera triển khai nhiều với lượng lớn liệu thu nhận từ chúng, điều dẫn đến khả bỏ sót cảnh quan trọng camera tăng lên Chính vậy, vấn đề giám sát tự động nhiệm vụ hàng đầu hệ thống giám sát camera nhằm hỗ trợ tối đa người việc điều khiển, giám sát, giảm thiểu sai sót khơng đáng có, đồng thời qua giải phóng sức lao động giám sát viên Các hệ thống hồn tồn tự động hệ thống có khả thực nhiệm vụ giám sát mức độ khác khơng có can thiệp người, từ tác vụ bậc thấp như: phát chuyển động tới tác vụ bậc cao phát kiện, hành vi Một vấn đề cần giải hệ thống giám sát có nhiều camera xuất biến đối tượng từ camera sang camera khác, hay gọi chuyển tiếp camera Chuyển tiếp camera trình định chuyển giao đối tượng di chuyển từ camera tới camera khác bước quan trọng để có theo dõi liên tục đối tượng với hành trình hệ thống giám sát có nhiều camera Đã có nhiều cơng trình nghiên cứu nhằm giải tốn theo dõi liên tục đối tượng di chuyển qua camera, phần lớn nghiên cứu tập trung vào việc tìm cách thiết lập tương ứng đối tượng camera với camera khác, thực chất đối sánh đối tượng nằm vùng giao trường quan sát camera môi trường 2D Việc xây dựng chế nhằm xác định thời điểm camera lựa chọn chuyển tiếp để theo dõi liền mạch vấn đề nghiên cứu Việc chuyển tiếp camera thường u cầu khối lượng tính tốn lớn phải thực thao tác như: xác định thời điểm camera nhận chuyển tiếp, bàn giao đối tượng Bởi vậy, để nâng cao hiệu suất hoạt động hệ thống, việc thường xuyên chuyển đổi camera cần giảm thiểu, vấn đề cần đầu tư nghiên cứu nhiều hơn, chi tiết trình bày chương luận án Mục tiêu nghiên cứu Luận án tập trung nghiên cứu vấn đề sau:  Thứ nhất: Hệ thống camera giám sát toán liên quan;  Thứ hai: Các kỹ thuật chuyển tiếp camera hệ thống camera giám sát với nhiều camera;  Thứ ba: Các kỹ thuật phát bất thường giám sát video Những đóng góp luận án Có thể khái quát kết luận án sau:  Đề xuất kỹ thuật phân vùng giám sát cố định cho camera hệ thống camera giám sát dựa quan hệ hình học thị trường quan sát camera, giúp giảm thiểu số lần tính tốn chuyển tiếp camera thơng qua việc giảm thiểu cạnh đa giác quan sát vùng giao camera hệ thống OVL Kỹ thuật đề xuất công bố Chuyên san Tạp chí Cơng nghệ thơng tin Truyền thơng năm 2014  Đề xuất cách tiếp cận giải việc chuyển tiếp camera dựa việc tính tốn va chạm đối tượng chuyển động với đường ranh giới ảo, kỹ thuật đề xuất công bố Tạp chí Khoa học Cơng nghệ, Viện Hàn lâm Khoa học Công nghệ Việt Nam năm 2013  Đề xuất kỹ thuật giải việc chuyển tiếp camera thông qua việc lựa chọn camera, nhằm giảm thiểu số lần chuyển tiếp camera giám sát đối tượng Kỹ thuật đề xuất trình bày đăng Kỷ yếu Hội nghị Quốc Gia “Nghiên cứu ứng dụng Công nghệ thông tin – FAIR” năm 2013  Đề xuất kỹ thuật phát chuyển động bất thường dựa vào quỹ đạo chuyển động đối tượng Kỹ thuật đề xuất cho phép thao tác quỹ đạo khơng hồn chỉnh, đáp ứng yêu cầu triển khai thời gian thực Kỹ thuật đề xuất cơng bố Chun san Tạp chí Công nghệ thông tin Truyền thông năm 2015 Bố cục luận án Luận án bao gồm phần mở đầu, kết luận chương nội dung Chương 1: Tổng quan chuyển tiếp camera phát bất thường hệ thống camera giám sát Các vấn đề chung giám sát tự động hệ thống camera giám sát, với toán liên quan khảo sát trình bày chương Chương 2: Một số kỹ thuật xử lý vùng quan sát chuyển tiếp camera Đề xuất kỹ thuật xử lý vùng quan sát việc giải toán chuyển tiếp camera nhằm mục đích giảm thiểu thao tác tính tốn chuyển tiếp camera, từ giúp nâng cao hiệu hoạt động hệ thống camera giám sát Chương 3: Phát bất thường dựa vào quỹ đạo giám sát video Trình bày tóm lược hướng tiếp cận, kỹ thuật áp dụng giải toán phát bất thường giám sát video, từ đề xuất kỹ thuật phát bất thường giám sát video dựa vào phân tích quỹ đạo chuyển động đối tượng CHƯƠNG 1: TỔNG QUAN VỀ CHUYỂN TIẾP VÀ PHÁT HIỆN BẤT THƯỜNG TRONG CÁC HỆ THỐNG CAMERA GIÁM SÁT 1.1 Hệ thống camera giám sát tự động Trong phần này, luận án giới thiệu tổng quan hệ thống camera giám sát tự động với vấn đề chúng 1.2 Chuyển tiếp camera phát bất thường Phần này, luận án trình bày kỹ thuật, hướng tiếp cận giải hai tốn hệ thống camera giám sát tự động, là: chuyển tiếp camera phát bất thường giám sát video 1.3 Kết luận vấn đề nghiên cứu Trong chương này, luận án trình bày nét tổng quan chung hệ thống camera giám sát tự động với vấn đề liên quan Bên cạnh đó, luận án giới thiệu số tiếp cận việc theo vết đối tượng với hệ thống giám sát có nhiều camera, đặc biệt tập trung trình bày hướng tiếp cận có giải toán chuyển tiếp camera phát bất thường hệ thống camera giám sát, hai tốn có tầm quan trọng ứng dụng nhiều thực tế CHƯƠNG 2: MỘT SỐ KỸ THUẬT XỬ LÝ VÙNG QUAN SÁT TRONG CHUYỂN TIẾP CAMERA Trong chương này, luận án trình bày ba đề xuất liên quan đến trả lời câu hỏi: Chuyển tiếp camera thực camera nhận chuyển giao, đề xuất luận án tập trung vào việc giảm thiểu việc tính tốn chuyển tiếp camera hệ thống camera giám sát, từ nâng cao hiệu suất hoạt động hệ thống 2.1 Giới thiệu 2.2 Phân vùng giám sát 2.2.1 Giới thiệu Trong phần này, luận án đề xuất kỹ thuật phân chia vùng quan sát hệ thống camera thành vùng không giao cắt môi trường 2D (Hình 2.1.b) (a) Phân vùng giám sát mơi trường 1D (b) Phân vùng giám sát môi trường 2D Hình 2.1 Một số hình thức phân vùng giám sát 2.2.2 Giao cắt hai đa giác Định nghĩa 2.1 [đa giác quan sát] Đa giác quan sát camera hình chiếu vùng quan sát camera xuống mặt phẳng 2D Định nghĩa 2.2 [Điểm giao cắt hai đa giác quan sát] Cho hai đa giác quan sát A, B Khi điểm gọi điểm giao cắt hai đa giác A, B giao cạnh đa giác A với cạnh đa giác B không đỉnh A B Định nghĩa 2.3 [Giao cắt đơn] Cho hai đa giác quan sát A, B Khi đó, A, B gọi giao cắt đơn nếu: Phần giao A B đa giác lồi phần lại đa giác sau loại bỏ phần giao đa giác (b) (a) (c) Hình 2.2 Các trường hợp giao hai đa giác a) Hai đa giác không giao nhau; b) Hai đa giác giao thuộc loại Giao cắt đơn; c) Hai đa giác giao không giao cắt đơn Mệnh đề 2.1 A, B hai đa giác quan sát A, B giao cắt đơn Khi số lượng điểm giao cắt A B không 2.2.3 Phân chia vùng quan sát hệ thống camera 2.2.3.1 Phân vùng giao hai đa giác Mệnh đề 2.2 [Chia cắt hai đa giác] Cho A, B hai đa giác quan sát A, B giao cắt đơn, tồn hai điểm giao cắt đường nối hai điểm giao cắt đường chia cắt mà đa giác sau chia có số cạnh nhỏ (Hình 2.4) Hình 2.22 Chia cắt phần giao hai đa giác 2.2.3.2 Phân vùng quan sát hệ thống giám sát gồm nhiều camera Với khu vực giám sát triển khai có n camera tĩnh, với thơng tin vùng quan sát camera, đa giác quan sát camera chồng chéo lên thuộc loại giao cắt đơn Thực phân vùng giám sát hệ thống thành tập đa giác quan sát camera, tập đa giác không giao Hàm partitionTwoPolygon: Thực phân vùng hai đa giác giao cho số cạnh đa giác sau chia nhỏ  Vào: A=(A[1], A[2], , A[n]); B=(B[1], B[2], , B[m]); A[i], B[j] đỉnh  Ra: hai đa giác X Y, thỏa mãn: 𝑨 ∪ 𝑩 = 𝑿 ∪ 𝒀 𝑨 ∪ 𝑿 ∩ 𝒀 = ∅; 𝑿 ⊆ 𝑨; 𝒀 ⊆ 𝑩;  Giả mã hàm partitionTwoPolygon (A, B: polygon) { Tìm hiệu P(P[1], P[2], , P[t]) = A\B Tìm hai giao điểm P[h], P[k] (h< k< t) cặp cạnh phần giao A B For i = to h 𝑋 = 𝑋 ∪ 𝑃[𝑖]; For i = k to t 𝑋 = 𝑋 ∪ 𝑃[𝑖]; Y = B – X; A = X; B = Y;} Thuật toán PartitionFOV  Vào: Vùng quan sát hệ thống 𝑷 = {𝑷[𝟏], 𝑷[𝟐], , 𝑷[𝒏]} (với n nguyên dương) Trong đó, 𝑷[𝒊] = {𝑽𝟏 , 𝑽𝟐 , 𝑽𝒕 }, với Vk (xk,yk) đỉnh đa giác có tọa độ (xk, yk), đỉnh theo thứ tự kim đồng hồ  Ra: Q=(Q[1], Q[2], , Q[n]) thỏa mãn: P  in1 Q[i ] ; đó: 𝐐[𝐢] ∩ 𝐐[𝐣] = ∅ (∀𝒊, 𝒋 ∈ 𝟏 𝒏) 𝐐[𝐢] ∈ 𝐏[𝐢](∀𝒊 ∈ 𝟏 𝒏)  Giả mã thuật tốn Nhập thơng tin vùng quan sát n camera: P[i] (i=1 n) Q[]={0}; Q[1]=P[1]; i=1; j=1; While (i  n){ i=i+1; T=P[i]; k=1; While (k 𝑑max ) then Abnormal=true; j=j+1; End while;  Đánh giá độ phức tạp tính tốn Có thể thấy rằng, với giá trị j (𝑗 ≤ 𝑢𝑚𝑎𝑥), ta cần tìm d giá trị độ tương tự nhỏ quỹ đạo T* với quỹ đạo thứ j k tuyến đường Tổng quát số lần thực việc tìm d là: 𝑢𝑚𝑎𝑥 × 𝑢𝑚𝑎𝑥 × 𝑘, độ phức tạp tính tốn thuật tốn ADBSTR O(𝑢𝑚𝑎𝑥 × 𝑘) 23 3.5 Thực nghiệm Nhằm kiểm chứng kỹ thuật đề xuất, tiến hành thực nghiệm, với liệu quỹ đạo Piciarelli xây dựng năm 2008, liệu thu nhận từ camera giám sát Kết thực nghiệm cho thấy, kỹ thuật đề xuất phát bất thường đối tượng chưa hoàn thành quỹ đạo chuyển động Điều có ý nghĩa áp dụng hệ thống thực chế độ thời gian thực 3.6 Kết luận chương Chương này, luận án đề xuất kỹ thuật phát bất thường dựa phân đoạn đường đại diện tuyến đường Kỹ thuật đề xuất dựa tính chất tuyến đường có ảnh hưởng định đối tượng di chuyển tuyến đường Bằng cách kết hợp việc sử dụng độ đo tương tự phân đoạn đường đại diện tuyến đường, kỹ thuật đề xuất phát bất thường đối tượng chưa hoàn thành quỹ đạo chuyển động Kỹ thuật đề xuất công bố Chun san Tạp chí Cơng nghệ thơng tin Truyền thông năm 2015 KẾT LUẬN CỦA LUẬN ÁN Nghiên cứu hệ thống camera giám sát tự động ln nhận nhiều quan tâm tính ứng dụng chúng thực tiễn Trong vấn đề chuyển tiếp camera nhằm theo dõi liên tục đối tượng chúng di chuyển qua vùng quan sát camera phát chuyển động bất thường toán quan trọng hệ thống camera giám sát Luận án trình bày vấn đề tổng quan hệ thống camera giám sát với cơng trình nghiên cứu liên quan giải toán chuyển tiếp camera phát bất thường hệ thống camera giám sát 24 Trên sở khảo sát, thực nghiệm, luận án đề xuất đạt kết sau:  Đề xuất kỹ thuật phân vùng giám sát cố định cho camera hệ thống camera giám sát dựa quan hệ hình học thị trường quan sát camera Kỹ thuật đề xuất giúp giảm số lần tính tốn chuyển tiếp camera thơng qua việc giảm thiểu cạnh    đa giác quan sát vùng giao camera hệ thống OVL Đề xuất kỹ thuật chuyển tiếp camera dựa vào đường ranh giới ảo, kỹ thuật đề xuất giúp xác định xác thời điểm thực chuyển tiếp camera, việc tính tốn va chạm đối tượng chuyển động với đường ranh giới ảo môi trường 3D Đề xuất kỹ thuật chọn lựa camera thực chuyển tiếp, kỹ thuật đề xuất dựa vào hướng di chuyển đối tượng giúp giảm thiểu số lần thực chuyển tiếp hệ thống camera giám sát, thơng qua nâng cao hiệu suất thực hệ thống Đề xuất kỹ thuật phát chuyển động bất thường dựa vào phân đoạn đường đặc trưng tuyến đường Kết cho thấy kỹ thuật đề xuất phát bất thường đối tượng chưa hoàn thành quỹ đạo chuyển động, tức đối tượng chưa khỏi cảnh quay, điều có ý nghĩa hệ thống giám sát thực thời gian thực Vấn đề nghiên cứu tiếp theo:   Nghiên cứu phát chuyển động bất thường dựa vào quỹ đạo, thông qua kỹ thuật xử lý ảnh quỹ đạo chuyển động đối tượng thu nhận sau giai đoạn theo vết đối tượng Nghiên cứu phát triển ứng dụng vào toán cụ thể DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN Ngô Đức Vĩnh, Đỗ Năng Toàn, Hà Mạnh Toàn (2010), “Một tiếp cận phát mặt người trợ giúp camera”, Tạp chí Khoa học Cơng nghệ, ĐH Cơng nghiệp Hà Nội, ISSN 1859 – 3585, số 3.2010, tr 20 – 24 Ngơ Đức Vĩnh, Đỗ Năng Tồn (2013) “Một cách tiếp cận giải việc chuyển tiếp camera hệ thống giám sát tự động”, Tạp chí Khoa học công nghệ, Viện hàn lâm Khoa học Công nghệ Việt Nam, tập 51, số 3, 2013, tr 279 – 292 Ngơ Đức Vĩnh, Đỗ Năng Tồn (2013) “Một thuật toán lựa chọn camera hệ thống giám sát tự động” Kỷ yếu Hội nghị khoa học Quốc gia lần thứ VI: Nghiên cứu ứng dụng CNTT (FAIR 2013), tr 341 – 347 Ngơ Đức Vĩnh, Đỗ Năng Tồn (2014) “Một kỹ thuật phân chia vùng quan sát camera hệ thống giám sát tự động” Chun san cơng trình nghiên cứu, phát triển ứng dụng Công nghệ thông tin Truyền thơng, Tạp chí Cơng nghệ thơng tin truyền thông, tập V – 1, số 12 (32), tr 53 - 60 Ngô Đức Vĩnh, Đỗ Năng Tồn (2015) “Một thuật tốn phát bất thường dựa vào quỹ đạo giám sát video” Chuyên san cơng trình nghiên cứu, phát triển ứng dụng Cơng nghệ thơng tin Truyền thơng, Tạp chí Cơng nghệ thông tin truyền thông, kỳ 3, tập V – 1, số 14 (34), tr.5 - 12 Duc Vinh Ngo, Nang Toan Do, Luong Anh Tuan Nguyen (2016) "Anomaly Detection in Video Surveillance: A Novel Approach Based on Sub-Trajectory", The 15th IEEE International Conference on Electronics, Information, and Communication (ICEIC 2016), Jan – 2016, pp 272-275 ... LÝ VÙNG QUAN SÁT TRONG CHUYỂN TIẾP CAMERA Trong chương này, luận án trình bày ba đề xuất liên quan đến trả lời câu hỏi: Chuyển tiếp camera thực camera nhận chuyển giao, đề xuất luận án tập trung... vùng quan sát camera phát chuyển động bất thường toán quan trọng hệ thống camera giám sát Luận án trình bày vấn đề tổng quan hệ thống camera giám sát với cơng trình nghiên cứu liên quan giải toán... cục luận án Luận án bao gồm phần mở đầu, kết luận chương nội dung Chương 1: Tổng quan chuyển tiếp camera phát bất thường hệ thống camera giám sát Các vấn đề chung giám sát tự động hệ thống camera