NGHIÊN CỨU PHƯƠNG PHÁP ĐẾM XE Ô TÔ SỬ DỤNG MÔ HÌNH HỖN HỢP GAUSSIAN VÀ LUỒNG QUANG HỌC Ngô Quốc Tạo1, Nguyễn Văn Căn2, Huỳnh Văn Huy3 (1)Viện Công nghệ Thông tin, Viện Khoa học Công nghệ Việt Nam Email: nqtao@ioit.ac.vn (2) Trường Đại học Kỹ thuật - Hậu cần CAND Email: nguyenvancan@gmail.com (3) Trường Trung cấp chuyên nghiệp Bà Rịa Email: huynhvanhuy@gmail.com Tóm tắt - Nhiều phương pháp phát hiện, phân loại theo dõi đối tượng chuyển động video giao thông phát triển năm gần Mục đích viết trình bày phương pháp đếm số lượng xe vùng quan sát gồm: Thứ nhất, tiến hành cải tiến phương pháp mô hình hỗn hợp Gaussian thích ứng tốt với thay đổi ánh sáng động Thứ hai, kết hợp phương pháp phát đối tượng chuyển động phương pháp hỗn hợp Gaussian thích ứng, làm khung hình phương pháp loại bỏ bóng theo dõi, đếm số lượng đối tượng dựa luồng quang học Chúng tiến hành thử nghiệm đếm xe với phương pháp đề xuất tập liệu video thu từ số tuyến đường Hà Nội phụ cận Kết thu tương đối xác với mật độ xe thấp đường cao tốc Keywords: Gaussian Mixture Model (GMM), Optical Flow, Computer Vision, Car Counting Giới thiệu Các ứng dụng khác giám sát video, thu nhận chuyển động quang học đa phương tiện điều cần đến mô hình sau phát đối tượng chuyển động Cách tốt để thu nhận lưu trữ ảnh đối tượng chuyển động nào, môi trường thực khó Hơn nữa, luôn thay đổi điều kiện thực tế thay đổi ánh sáng, đối tượng đến rời khỏi cảnh Đếm số lượng phương tiện (xe ô tô) đường mang lại nhiều kết ứng dụng nhiều lĩnh vực có giám sát giao thông Lược đồ chung phương pháp đếm số lượng xe tham gia giao thông đường thể hình Video frames Mô hình phát xe Xử lý tập phát Theo dõi, xác thực Đếm số lượng Hình Lược đồ chung trình thực thuật toán đếm số lượng xe Trong lược đồ, có ba khối xử lý chính, liên quan đến phương pháp tiếp cận phát hiện, phân loại theo dõi - Mô hình phát xe: hầu hết nghiên cứu sử dụng phương pháp mô hình trừ để phát đối tượng chuyển động - Xử lý tập phát được: bao gồm phương pháp loại bỏ nhiễu, phát biên, loại bỏ bóng, phân hoạch khối chuyển động - Theo dõi, xác thực: sử dụng luồng quang học để theo dõi hướng chuyển động, sử dụng đường biên so khớp mẫu để phân loại Trong phần tiếp theo: mục trình bày tổng quan phương pháp mô hình hóa phát đối tượng, cải tiến phương pháp GMM thành phương pháp GMM thích ứng để phù hợp với thay đổi ánh sáng động; mục trình bày phương pháp theo dõi luồng quang học; mục trình bày số giải thuật sử dụng phương pháp đề nghị; mục trình bày kết thực nghiệm bàn luận; mục kết luận hướng nghiên cứu Phương pháp trừ Có hàng trăm nghiên cứu gần nhằm phát triển phương pháp trừ nền, chia thành nhánh khác (mục 2.1), nhiên, số hướng tiếp cận nhiều phương pháp hỗn hợp Gaussian ưu điểm phù hợp với ứng dụng trời 2.1 Một số mô hình trừ Cách tốt để thu nhận lưu trữ ảnh đối tượng chuyển động nào, môi trường thực khó Hơn nữa, điều kiện thực tế thay đổi thay đổi ánh sáng, đối tượng đến rời khỏi cảnh Để giải vấn đề này, nhiều phương pháp mô hình phát triển [8,9] phân loại thành loại sau: Mô hình bản: sử dụng giá trị trung bình [10] bình quân [11] phân tích lược đồ xám cho toàn thời gian [12] Mô hình thống kê: sử dụng Gauss đơn[13] hỗn hợp Gauss[14] tính toán mật độ lõi [15] Các biến thống kê sử dụng để phân loại điểm ảnh điểm tiền cảnh Mô hình mờ: sử dụng giá trị trung bình mờ[16] hỗn hợp mờ loại Gauss[17] Phát tiền cảnh sử dụng tích hợp Sugeno [18] tích hợp Choquet[19] Phát tiền cảnh thực logic mờ tham khảo [5] Phân cụm nền: điểm ảnh khung hình phân cụm theo thời gian xuất Các điểm ảnh xem xét xếp loại ghép vào cụm theo tiêu chí đặt Cách tiếp cận phân cụm có sử dụng thuật toán K-mean [3] sử dụng Codebook [6] Mô hình mạng nơ ron: Mô hình biểu diễn trị trung bình hệ số mạng nơ ron đào tạo N khung Mạng huấn luyện để phân loại điểm ảnh tiền cảnh Mô hình Wavelet: Mô hình định nghĩa vùng thời gian, sử dụng hệ số biến đổi wavelet rời rạc (DWT) [2] Ước tính nền: Nền ước tính cách sử dụng lọc Mỗi điểm ảnh ảnh lệch đáng kể so với giá trị dự đoán khai báo Bộ lọc lọc Wiener [20], lọc Kalman[21] lọc Tchebychev [22] Bảng Phân loại số phương pháp mô hình Loại Mô hình Mô hình thống kê Mô hình logic mờ Sự phân cụm Mô hình mạng nơ ron Mô hình Wavelet Tính toán Phương pháp, Tác giả (Năm xuất bản) [Tài liệu] Trung bình, Lee (2002) [10] Trung vị, Mac Farlane, (1995) [11] Lược đồ xám toàn thời gian, Zheng (2006) [12] Gauss đơn, Wren (1997) [13] Hỗn hợp Gaussian, Stauffer Grimson (1999) [14] Ước tính mật độ lõi, Elgammal (2000) [15] Giá trị trung bình chạy mờ, Sigari (2008) [16] Hỗn hợp Gauss mờ loại 2n El Baf (2008) [17] K trung bình, Bultler (2003) [3] CodeBook, Kim (2005) [6] Mạng nơ ron hồi quy tổng hợp, Culibrk (2006)[7] Mạng nơ ron tự tổ chức, Maddalena Petrosino (2007) [4] Biến đổi Wavelet rời rạc, Biswas [2] Lọc Wiener, Toyama (1999) [20] Lọc Kalman Messelodi (2005) [21] Lọc Tchebychev, Change (2004)[22] Các phương pháp tiếp cận sử dụng cách trừ nền: Mô hình hóa nền, khởi tạo nền, trì nền, phát tiền cảnh, chọn kích thước đặc trưng (điểm ảnh, khối cụm), chọn kiểu đặc trưng (đặc trưng màu sắc, đường biên, stereo, chuyển động đường vân) Phát triển phương pháp trừ tập trung vào tình quan trọng chuỗi video [5,20]: nhiễu ảnh, camera tự dịch chuyển, độ đối tượng, đối tượng chèn thêm vào nền, đối tượng di chuyển dừng lại, bóng (S) Sự khác đến từ động thay đổi ánh sáng Tập liệu tham khảo Wallflower[20]: Các động thường xuất cảnh trời, thay đổi ánh sáng xuất cảnh nhà trời, thay đổi ánh sáng đột ngột 2.2 Phương pháp GMM truyền thống GMM truyền thống đề xuất điểm ảnh ảnh theo dõi độc lập thay đổi vùng thời gian mô phân bố Gaussian K chiều Ví dụ giá trị điểm ảnh P(x,y) {x 1, x2, , xt} xác suất quan sát giá trị điểm ảnh xt thời điểm t là: P  X t    i , t   X t ,  i , t ,  i , t  K (1) i 1 với tham số: K số lượng phân bố, i,t trọng số tương ứng với Gauss thứ ith thời điểm t với trị trung bình µi,t độ lệch chuẩn i,t,  hàm mật độ xác xuất Gauss:   X t ,  ,   e 2 n /  1/   X t    1  X t    (2) Có thể xếp trật tự K phân bố Gaussian theo / giả thiết phân bố B mô hình nền: B  arg b   |  T i 1 i ,t i 1 i ,t b b  (3) Nếu giá trị chênh lệch giá trị điểm ảnh giá trị mô hình phạm vi định, coi nền, là: ρ=α.(Xt-1,µi,i) (4) với ci khoảng 2.5-3 Để đáp ứng phương trình trên, cập nhật theo phương trình sau đây: i,t+1 = (1-α)i,t + αMt (5) µi, t+1 = (1-)µi,t + .Mt+1 (6) với tỷ lệ học ρ=α.(Xt-1,µi,i) số; Mt = phù hợp mô hình, Mt=0 với trường hợp lại Để cập nhật nhanh GMM phụ thuộc vào tỷ lệ học α Nếu giá trị α nhỏ, tốc độ khởi tạo mô hình cập nhật tương ứng chậm, cần có thời gian dài để phù hợp với thay đổi môi trường Ngược lại giá trị α lớn, tốc độ nhanh để đáp ứng thay đổi môi trường, dễ bị nhiễu sai 2.3 Phương pháp GMM thích ứng Phương pháp tiếp cận mô hình điểm ảnh việc xem xét giá trị điểm ảnh quan sát với vài mô hình Gaussian đơn Cần phải cập nhật tham số mô hình cho giá trị điểm ảnh thu Các bước sửa đổi tham số sau: 1) Với điểm ảnh mới, phát phù hợp với mô hình phương pháp phát là: { | | | | i=1,2, ,K (7) với  số theo thực nghiệm thu Khi trích chọn mẫu từ tất số lượng phân bố thường khoảng 95% mẫu rơi vào khoảng (-2, +2), vậy, thường đặt  khoảng đến 2) Vì tình khác nhận từ bước đầu tiên, phù hợp phương pháp thay đổi khác nhau: Nếu Gaussian chắn (số thứ tự k) sưu tập đa chế độ phù hợp với điểm Xt, cần cập nhật giá trị trọng số Gaussian: k,t = (1-α)k,t-1 + α(1-α)k,t-2 (8) với α số tốc độ cập nhật – giá trị trọng số cập nhật khoảng [0,1], đặt theo kinh nghiệm điều kiện cụ thể, để giảm nhiễu nền, thường đặt giá trị α nhỏ, ví dụ α=0.05 Từ (8) mô hình xác định luôn thực mô tình phân chia giá trị pixel thời điểm Theo định nghĩa mô hình, giá trị trọng số đại diện cho xác suất xuất giá trị điểm ảnh gần Sau đó, giá trị điểm ảnh thu phù hợp với số số mô hình đơn phân phối này, có nghĩa mô hình đơn đáp ứng tương đối phân phối giá trị điểm ảnh cần phải tăng giá trị trọng số cách α tốc độ cập nhật giá trị trọng số số lượng giá trị trọng số biến đổi α lớn nhận thay đổi nhanh chóng Khi mô hình đơn phù hợp với giá trị pixel thu được, cần phải sửa đổi tham số mô hình µ k,t ρk,t Vì giá trị điểm ảnh thu kết hợp với chế độ đơn, theo phân bố xác suất, phải ảnh hưởng đến phân bố xác suất ước tính ban đầu Phương trình thay đổi theo công thức sau: i+1(x,y)2 = (1-α) i-1(x,y)2 + αi(x,y)2 (9) µi+1(x,y) = (1- α)µi(x,y) + αIi+1(x,y) (10) với Ii+1(x,y) mức xám khung hình video thu điểm (x,y) Nếu giá trị điểm ảnh Xt không phù hợp với số phân phối Gaussian, cho giá trị điểm ảnh không thực đóng góp để phân phối mô hình đơn sau không cần phải thay đổi thông số phân phối Gaussian thay đổi giá trị trọng theo công thức sau: k,t = (1-α) k,t-1 (11) Điều giá trị trọng số phân phối Gaussian phù hợp với X t tăng lên, giá trị phân phối khác giảm Khi phân phối Gaussian sưu tập phù hợp với giá trị điểm ảnh Xt, có nghĩa phân phối tạo phân phối phải sưu tập đa chế độ Vì vậy, cần thêm mô hình đơn thời gian trung bình loại bỏ phân phối Gaussian từ sưu tập mô hình ban đầu Phương pháp cụ thể để loại bỏ phân bố Gaussian với trọng lượng tối thiểu sưu tập đa giới thiệu phân phối Gaussian sưu tập đa theo Xt thiết lập giá trị trọng số tương đối nhỏ phương sai tương đối lớn Trong phân phối Gaussian vừa giới thiệu theo Xt, giá trị trọng số trọng số tối thiểu sưu tập đa giá trị trung bình giá trị điểm ảnh phương sai số tương đối lớn 3) Sau sửa đổi trên, cần phải xử lý giá trị trọng số mô hình đơn mô hình với phương pháp bình thường Đối với việc cập nhật giá trị gia quyền trên, mô hình phù hợp với điểm ảnh mới, ∑ với ∑ (12) ∑ (13) Vì vậy, không cần phải thực xử lý bình thường Nếu mô hình tạo ra, tiến hành xử lý giá trị trọng số mô hình ban đầu: (14) ∑ Đánh giá liệu giá trị pixel điểm ảnh đối tượng pixel không Mô hình để thể pixel mô hình hỗn hợp nên có tính năng: giá trị trọng số tương đối lớn thay đổi tương đối nhỏ Xem xét hai khía cạnh yếu tố Nhưng khó để đánh giá tham số quan trọng tham số khác để từ đánh giá liệu mô hình đơn mô hình hay không Chỉ cần phải xem xét hai thông số kích thước tương đối sưu tập mô hình để có giải pháp mô hình thuộc Kích thước giá trị tương đối / mức độ ưu tiên phân bố Gaussian Phương pháp để có mô hình điểm ảnh hiển thị: (1) Tính / mức độ ưu tiên mô hình Gaussian (2) Sắp xếp thứ tự phân phối Gaussian từ cao đến thấp theo kích thước mức độ ưu tiên / (3) Chọn phân bố Gaussian B từ tập K làm mô hình xác định theo công thức: B  arg b   |  T i 1 i ,t i 1 i ,t b b  (15) đây, T coi biện pháp giảm thiểu ước tính Mô hình xây dựng theo phân phối B Gaussian phù hợp với Xt với phân phối Gaussian B riêng theo thứ tự mức độ ưu tiên Nếu phân phối Gaussian thể phân bố phù hợp với Xt, thời điểm đánh tiền cảnh, không nền, sau hoàn thành việc phát đối tượng theo mô hình đa Gaussian thích nghi Vì GMM giả định điểm ảnh độc lập riêng biệt, thay đổi chiếu sáng trời gây thay đổi cảnh, hoàn toàn mang lại đối tượng giả khu vực rộng lớn dẫn đến đánh giá sai Thông qua việc quan sát biến chiếu sáng ứng dụng video thực sự, phân chia thay đổi ánh sáng thành hai loại: đột ngột Bằng cách phân tích hai biến thể, chiếu sáng thay đổi yếu tố t để loại bỏ ảnh hưởng biến đổi ánh sáng phát đối tượng di chuyển: (16) √ (17) √ đây, Et thể thông tin entropy khung E R, EG, EB đại diện cho thông tin entropy khung thành phần riêng biệt Màu sắc hình ảnh kết nối chặt chẽ với đối tượng chúng phân phối khác giá trị điểm ảnh chiếu sáng phản ánh mức độ biến đổi ánh sáng môi trường Thông qua biểu đồ màu sắc để trích xuất tính màu Khi hai hình ảnh phát mẫu giá trị đặc trưng không giống khác biệt hai giá trị nhỏ giá trị ngưỡng định, điều cho thấy tương đồng chúng tương đối cao hai hình ảnh phân phối thống kê giống Theo nguyên tắc này, đề xuất phương pháp phát thay đổi ánh sáng thuật toán phù hợp với biểu đồ để phân biệt thay đổi ánh sáng thay đổi đột ngột Công thức thể sau: ∑ (18) với Hi đại diện cho biểu đồ hình ảnh thời gian t xử lý theo phương trình (10), nhận được: ∑ (19) ∑ Sử dụng D(t, t-1) để phân biệt thay đổi ánh sáng đột ngột : { (20) với Ti giá trị ngưỡng phù hợp tương tự Cập nhật tỷ lệ học thích nghi α theo phương trình: { (21) Theo dõi đối tượng chuyển động luồng quang học Phương pháp Optical flow[28] thực cách sử dụng vector có hướng đối tượng chuyển động theo thời gian để phát vùng chuyển động ảnh [26] Trong [29], Trần Thanh Việt cộng trình bày nghiên cứu kỹ thuật Optical Flow để ứng dụng thử nghiệm theo vết đối tượng camera dựa hành vi đối tượng để điều khiển thiết bị máy tính chuột, lướt web, kiện click, double click, right click, zoom out, zoom in Ý tưởng quan trọng phương pháp tính Optical flow dựa giả định sau: Bề đối tượng nhiều thay đổi (về cường độ sáng) xét từ frame thứ n sang frame n+1 Nghĩa là: ̅ ̅ ̅ (22) Trong hàm trả cường độ sáng [27] điểm ảnh thời điểm t (frame thứ t) tọa độ điểm ảnh bề mặt (2D), vector vận tốc, thể thay đổi vị trí điểm ảnh từ frame thứ t sang frame t+1) Gọi xt = {xm,t; m =1,…,M} tập đối tượng thời điểm t Trong đó, M số đối tượng có hệ thống, M thay đổi theo thời gian Gọi tập biểu diễn kết phát đối tượng hệ thời điểm t tương ứng Ta có { } (23) D số đối tượng phát Gọi { || || } với ngưỡng cho trước tập kết phát “cũ”, hiểu theo nghĩa, phát thời điểm t gần với trạng thái có thời điểm t-1 xem trùng với đối tượng Một cách gần đúng, ta giả định phát xuất phát từ đối tượng có từ thời điểm t-1 trước Tương tự, ta định nghĩa tập điểm cũ cách khoảng d tập phát “mới”, hiểu tập điểm Giải thuật đề xuất đếm số lượng xe 4.1 Giải thuật mô hình phát đối tượng chuyển động Lược đồ chung Xác định vùng quan tâm, trích chọn frame Xác định độ lệch chuẩn, giá trị trung bình kênh màu Tách đối tượng chuyển động khỏi frame Tiền xử lý: làm sạch, loại bỏ nhiễu, kết nối thành blob Thuật toán EMB Input: Video (online offline) Output: Danh sách khối đường viền đối tượng Blob(j) Load ROI template For each frame at time t For each pixel (u,v) in ROI template If I(u,v) > TROI then - Update mean ( Red, Green Blue) mean(u,v) = (1-LR)*mean(u,v)+LR*I(u,v) - Tính độ lệch chuẩn σ2) cho kênh màu var(u,v)=(1-LR*LR)*var(u,v)+ LR*(I(u,v)-mean(u,v)))2 If var(u,v) < min_var then var(u,v) = min_var For each pixel (u,v) in ROI template If I(u,v) > TROI then Xử lý điểm ảnh (u,v) frame - if for each channel if I(u,v)-mean(u,v) ... Tchebychev [22] Bảng Phân loại số phương pháp mô hình Loại Mô hình Mô hình thống kê Mô hình logic mờ Sự phân cụm Mô hình mạng nơ ron Mô hình Wavelet Tính toán Phương pháp, Tác giả (Năm xuất bản) [Tài... liệu mô hình đơn mô hình hay không Chỉ cần phải xem xét hai thông số kích thước tương đối sưu tập mô hình để có giải pháp mô hình thuộc Kích thước giá trị tương đối / mức độ ưu tiên phân bố Gaussian. .. môi trường, dễ bị nhiễu sai 2.3 Phương pháp GMM thích ứng Phương pháp tiếp cận mô hình điểm ảnh việc xem xét giá trị điểm ảnh quan sát với vài mô hình Gaussian đơn Cần phải cập nhật tham số mô