Nghiên cứu số kỹ thuật so khớp nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 MỤC LỤC MỤC LỤC MỞ ĐẦU CHƢƠNG TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ SO KHỚP ĐỐI TƢỢNG 1.1 TỔNG QUAN VỀ XỬ LÝ ẢNH 1.1.1 Xử lý ảnh 1.1.2 Quá trình thu nhận ảnh 1.1.3 Biểu diễn thể ảnh 1.1.4 Histogram ảnh 10 1.1.5 Độ phân giải ảnh 11 1.1.6 Biên ảnh 12 1.1.6.1 Phương pháp phát biên trực tiếp 13 1.1.6.2 Phương pháp phát biên gián tiếp 16 1.1.7 Phân ngưỡng ảnh 19 1.1.8 Nhận dạng ảnh 20 1.1.9 Cấu trúc phân cấp video 23 1.1.10 Một số thuộc tính đặc trưng video 24 1.2 SO KHỚP ĐỐI TƢỢNG 26 1.2.1 Khái niệm so khớp 26 1.2.2 Khớp ảnh sử dụng phép đối sánh pixel-pixel 26 1.2.3 Khớp ảnh sử dụng tương quan chéo 26 CHƢƠNG 29 MỘT SỐ KỸ THUẬT TRONG BẮT BÁM VÀ SO KHỚP ĐỐI TƢỢNG CHUYỂN ĐỘNG 29 2.1 GIỚI THIỆU 29 2.2 KỸ THUẬT TRỪ ẢNH THEO KHUNG ẢNH 31 2.2.1 Trừ ảnh dựa vào điểm ảnh 33 2.2.2 Trừ ảnh phân khối 34 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu số kỹ thuật so khớp nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 2.2.3 Phương pháp biểu đồ 35 2.2.4 Biểu đồ toàn cục 36 2.2.5 Biểu đồ cục 37 2.3 KỸ THUẬT BẮT BÁN DỰA VÀO PHÉP TRỪ NỀN VÀ TRÍCH CHỌN ĐƢỜNG VIỀN CỦA ĐỐI TƢỢNG CHUYỂN ĐỘNG 38 2.3.1 Trừ 38 2.3.2 Trích chọn đường viền gán nhãn 40 2.3.3 Bám đối tượng 40 2.4 ĐẶC TRƢNG BIÊN TRONG SO KHỚP ĐỐI TƢỢNG 44 2.4.1 Thuật toán phân vùng, phân cụm 44 2.4.2 Thể đường biên 45 2.4.2.1 Thuật toán nhị phân ảnh đầu vào 46 2.4.2.2 Thuật toán tách cạnh, dò biên 47 2.4.3 Thể đường biên hàm bán kính - vectơ 49 2.4.4 Mô tả trích chọn đặc trưng biên ảnh 51 CHƢƠNG 55 CHƢƠNG TRÌNH THỬ NGHIỆM 55 3.1 BÀI TOÁN 55 3.2 MÔ HÌNH HỆ THỐNG GIÁM SÁT GIAO THÔNG TỰ ĐỘNG BẰNG CAMERA 56 3.3 PHÂN LUỒNG GIAO THÔNG DỰA TRÊN NGUYÊN LÝ BÁM ĐỐI TƢỢNG 57 3.3.1 Đặt vấn đề 57 3.3.2 Hoạt động hệ thống phân luồng giao thông 59 3.3.3 Thuật toán bắt bám đối tượng 61 3.3.4 Thuật toán tính vận tốc chuyển động đối tượng 62 3.3.5 Thuật toán phân loại phương tiện dựa kích thước 63 3.3.6 Thuật toán tính toán mật độ đường 64 3.3.7 Thuật toán phát phương tiện theo đường 65 3.3.8 Thuật toán phát chiều chuyển động đối tượng 66 3.3.9 Nhận dạng biển số xe 68 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu số kỹ thuật so khớp nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 3.4 KẾT QUẢ CÀI ĐẶT 71 KẾT LUẬN 75 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu số kỹ thuật so khớp nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 MỞ ĐẦU Trong năm qua, lĩnh vực xử lý ảnh thu hút đƣợc quan tâm nhiều nhà khoa học khả ứng dụng lợi ích to lớn nhiều lĩnh vực xã hội nhƣ quốc phòng, giải trí, y học, viễn thám giao thông Nhƣ biết, thông tin hình ảnh đóng vai trò quan trọng trao đổi thông tin, phần lớn thông tin mà ngƣời thu đƣợc thông qua thị giác Do vậy, vấn đề nhận dạng xử lý ảnh, đặc biệt so khớp, phân loại, nhận dạng đối tƣợng ảnh chuyển động đƣợc quan tâm nhiều nhà nghiên cứu tính khoa học ứng dụng đa dạng Đồng thời, với phát triển không ngừng khoa học tốc độ xử lý máy tính ứng dụng lĩnh vực thị giác máy tính xử lý ảnh ngày đƣợc phát triển nghiên cứu mạnh mẽ Bên cạnh đó, loại phƣơng tiện giao thông đƣờng Việt Nam phát triển mạnh mẽ số lƣợng chủng loại Bởi vậy, việc quản lý phân luồng, phân loại, xử lý vi phạm giao thông đƣờng trở thành chủ đề thu hút đƣợc quan tâm nhiều nhà quản lý khoa học nhằm xây dựng đƣợc hệ thống giám sát giao thông đƣờng tự động Trên giới, hệ thống giám sát phƣơng tiện giao thông tự động đƣợc phát triển ứng dụng nhiều nƣớc giới Những hệ thống giúp quản lý đƣợc vấn đề nhƣ phân luồng xe, đánh giá lƣu lƣợng xe, phát đƣợc xe vi phạm Luật Giao thông nhằm tăng cƣờng giám sát, phát xử lý kịp thời vi phạm, hạn chế tai nạn nâng cao ý thức chấp hành Luật Giao thông Từ đó, nhà quản lý đƣa giải pháp quản lý giao thông đƣờng phù hợp Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu số kỹ thuật so khớp nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 Chính vậy, em chọn đề tài “Nghiên cứu số kỹ thuật so khớp nhận dạng ứng dụng vào hệ thống giám sát giao thông tự động” nhằm mục đích nghiên cứu kỹ thuật so khớp, kết hợp nhận dạng biên để phát phƣơng tiện giao thông vi phạm luồng giao thông đƣờng Luận văn đƣợc bố cục nhƣ sau: Chƣơng 1: Tổng quan xử lý ảnh so khớp đối tƣợng Chƣơng 2: Một số kỹ thuật bắt bám so khớp đối tƣợng Chƣơng 3: Chƣơng trình thử nghiệm Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu số kỹ thuật so khớp nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 CHƢƠNG TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ SO KHỚP ĐỐI TƢỢNG 1.1 TỔNG QUAN VỀ XỬ LÝ ẢNH 1.1.1 Xử lý ảnh Xử lý ảnh(Image processing) đối tƣợng nghiên cứu lĩnh vực thị giác máy, trình biến đổi từ ảnh ban đầu sang ảnh với đặc tính mà tuân theo ý muốn cuả việc xử lý Xử lý ảnh trình phân tích, phân lớp đối tƣợng, làm tăng chất lƣợng, phân đoạn tìm biên, gán nhãn cho vùng hay trình biên dịch thông tin hình ảnh ảnh Hình dƣới minh họa giai đoạn trình xử lý ảnh Hình 1.1 Các giai đoạn trình xử lý ảnh nhận dạng Chúng ta tóm lƣợc trình xử lý nhận dạng ảnh đƣợc xem nhƣ trình thao tác ảnh đầu vào nhằm cho kết mong muốn Kết đầu trình xử lý ảnh ảnh “tốt hơn” đƣa đƣợc kết luận ảnh Hình 1.2 mô tả vắn tắt trình Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu số kỹ thuật so khớp nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 Ảnh tốt Ảnh Xử lý ảnh Kết luận Hình 1.2 Các giai đoạn trình xử lý ảnh nhận dạng 1.1.2 Quá trình thu nhận ảnh Ảnh tồn thực tế ảnh liên tục không gian nhƣ giá trị độ sáng, việc thu nhận ảnh dùng Scanner, camera Muốn đƣa ảnh liên tục thực tế vào máy tính để xử lý cần phải qua khâu trung gian qúa trình số hoá Số hoá trình rời rạc hoá không gian lƣợng tử hoá giá trị.Quá trình rời rạc hoá không gian trình thu nhận điểm rời rạc từ ảnh liên tục, nhƣng phải đảm bảo mắt thƣờng không phân biệt đƣợc hai điểm kề Quá trình việc tìm cách biểu diễn ảnh lớn có vô số điểm, số hữu hạn điểm, cho không làm hay thay đổi tính chất ảnh, để việc lƣu trữ xử lý ảnh đƣợc dễ dàng Còn trình lƣợng tử hoá giá trị trình rời rạc hoá mặt giá trị để đơn giản hoá việc tính toán đƣa vào máy để xử lý Tuỳ theo loại ảnh, độ xác yêu cầu khả xử lý máy tính mà ta có mức lƣợng tử thích hợp Ví dụ với ảnh 256 cấp xám, ta phải dùng 256 mức lƣợng tử biểu diễn máy tính bits 1.1.3 Biểu diễn thể ảnh 1.1.3.1 Ảnh số Một ảnh số gồm ma trận liệu X ma trận bảng màu Map Mỗi hàng Map xác định thành phần đỏ, xanh cây, xanh da trời màu đơn Một ảnh số sử dụng “ánh xạ trực tiếp” giá trị pixel lên giá Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu số kỹ thuật so khớp nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 trị bảng màu (colormap) Màu pixel ảnh đƣợc xác định cách sử dụng giá trị tƣơng ứng X nhƣ số vào Map Giá trị trỏ đến hàng thứ Map, giá trị trỏ đến hàng thứ hai, v.v Một bảng màu thông thƣờng đƣợc chứa ảnh số Tuy nhiên, ta sử dụng bảng màu Hình vẽ dƣới minh hoạ cấu trúc ảnh số Các pixel ảnh đƣợc thể số nguyên mà chúng trỏ đến giá trị đƣợc lƣu bảng màu Hình 1.3 Minh họa ảnh số 1.1.3.2 Ảnh cƣờng độ Một ảnh cƣờng độ ma trận liệu I mà giá trị thể cƣờng độ sáng phạm vi vài khoảng Các phần tử ma trận cƣờng độ thể cƣờng độ sáng khác cấp xám, cƣờng độ thông thƣờng thể màu đen cƣờng độ 1, 255, 65535 thể cƣờng độ lớn màu trắng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu số kỹ thuật so khớp nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 Hình 1.4 Minh họa ảnh cƣờng độ 1.1.3.3 Ảnh nhị phân Trong ảnh nhị phân, pixel nhận hai giá trị rời rạc Về chất, hai giá trị tƣơng ứng với on off Một ảnh nhị phân đƣợc lƣu trữ nhƣ ma trận chiều gồm số (pixels off) số (pixels on) Một ảnh nhị phân đƣợc xem nhƣ dạng đặc biệt ảnh cƣờng độ chứa màu đen trắng Tuy nhiên có cách giải thích khác, ta coi ảnh nhị phân nhƣ ảnh số có màu Hình sau ví dụ ảnh nhị phân: Hình 1.5 Minh họa ảnh nhị phân 1.1.3.4 Ảnh RGB Một ảnh RGB, đƣợc gọi ảnh “true-color”, mảng liệu m*n*3 xác định thành phần màu red, green, blue cho pixel riêng biệt Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu số kỹ thuật so khớp nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 Các ảnh RGB không sử dụng bảng màu Màu pixel đƣợc xác định tổ hợp cƣờng độ red, green blue lƣu mặt phẳng màu vị trí pixel Các khuôn dạng file đồ hoạ lƣu ảnh RGB nhƣ ảnh 24-bit, thành phần red, green, blue 1byte Điều cho phép có đến 16 triệu màu Độ xác tái tạo đƣợc với ảnh thực tế dẫn đến tên hiệu “ Ảnh true color” Hình 1.6 Minh họa ảnh RGB Để xác định màu pixel vị trí (2,3), ta nhìn vào RGB lƣu (2,3,1:3) Giả sử (2,3,1) chứa giá trị 0.5176, (2,3,2) chứa 0.1608, (2,3,3) chứa 0.0627 Khi màu pixel (2,3) là: 0.5176 0.1608 0.0627 1.1.4 Histogram ảnh Nhƣ ta biết, điểm có giá trị độ sáng Histogram ảnh đồ thị cho biết tần suất điểm ảnh với mức biến thiên độ sáng Lƣợc đồ histogram đƣợc biểu diễn hệ toạ độ chiều, trục hoành biểu diễn mức xám từ đến N, với N số mức xám Trục tung biểu diễn số điểm ảnh cho mức xám (tức số điểm ảnh có mức xám), biểu diễn tỉ lệ số điểm ảnh có mức xám tổng số điểm ảnh Lƣợc đồ xám cung cấp nhiều thông tin phân bố mức xám ảnh Theo thuật ngữ xử lí ảnh gọi tính động ảnh Tính động cho phép phân tích 10 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read ... http://www.lrc-tnu.edu.vn Nghiên cứu số kỹ thuật so khớp nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 Chính vậy, em chọn đề tài Nghiên cứu số kỹ thuật so khớp nhận. .. khớp nhận dạng ứng dụng vào hệ thống giám sát giao thông tự động nhằm mục đích nghiên cứu kỹ thuật so khớp, kết hợp nhận dạng biên để phát phƣơng tiện giao thông vi phạm luồng giao thông đƣờng... 68 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu số kỹ thuật so khớp nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn