Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 1 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MỤC LỤC MỤC LỤC 1 MỞ ĐẦU 4 CHƢƠNG 1 6 TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ SO KHỚP ĐỐI TƢỢNG 6 1.1. TỔNG QUAN VỀ XỬ LÝ ẢNH 6 1.1.1. Xử lý ảnh 6 1.1.2. Quá trình thu nhận ảnh 7 1.1.3. Biểu diễn và thể hiện ảnh 7 1.1.4. Histogram của ảnh 10 1.1.5. Độ phân giải của ảnh 11 1.1.6. Biên của ảnh 12 1.1.6.1. Phương pháp phát hiện biên trực tiếp 13 1.1.6.2. Phương pháp phát hiện biên gián tiếp 16 1.1.7. Phân ngưỡng ảnh 19 1.1.8. Nhận dạng ảnh 20 1.1.9. Cấu trúc phân cấp của video 23 1.1.10. Một số thuộc tính đặc trưng của video 24 1.2. SO KHỚP ĐỐI TƢỢNG 26 1.2.1. Khái niệm so khớp. 26 1.2.2. Khớp ảnh sử dụng phép đối sánh pixel-pixel 26 1.2.3. Khớp ảnh sử dụng tương quan chéo 26 CHƢƠNG 2 29 MỘT SỐ KỸ THUẬT TRONG BẮT BÁM VÀ SO KHỚP ĐỐI TƢỢNG CHUYỂN ĐỘNG 29 2.1. GIỚI THIỆU 29 2.2. K THUT TRỪ ẢNH THEO KHUNG ẢNH 31 2.2.1. Trừ ảnh dựa vào điểm ảnh 33 2.2.2. Trừ ảnh phân khối 34 Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 2 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2.2.3. Phương pháp biểu đồ 35 2.2.4. Biểu đồ toàn cục 36 2.2.5. Biểu đồ cục bộ 37 2.3. K THUT BT BN DA VO PHP TRỪ NỀN V TRCH CHN ĐƢỜNG VIỀ N CỦ A ĐỐ I TƢỢ NG CHUYỂ N ĐỘ NG 38 2.3.1. Trừ nền 38 2.3.2. Trích chọn đường viền và gán nhãn 40 2.3.3. Bám đối tượng 40 2.4. ĐC TRƢNG BIÊN TRONG SO KHỚP ĐỐI TƢỢNG 44 2.4.1. Thuật toán phân vùng, phân cụm 44 2.4.2. Thể hiện đường biên 45 2.4.2.1. Thuật toán nhị phân ảnh đầu vào 46 2.4.2.2. Thuật toán tách cạnh, dò biên 47 2.4.3. Thể hiện đường biên bằng hàm bán kính - vectơ 49 2.4.4. Mô tả và trích chọn đặc trưng biên ảnh 51 CHƢƠNG 3 55 CHƢƠNG TRÌNH THỬ NGHIỆM 55 3.1. BÀI TOÁN 55 3.2. MÔ HÌNH HỆ THỐNG GIM ST GIAO THÔNG T ĐỘNG BẰNG CAMERA 56 3.3. PHÂN LUỒNG GIAO THÔNG DA TRÊN NGUYÊN LÝ BM ĐỐI TƢỢNG 57 3.3.1. Đặt vấn đề 57 3.3.2. Hoạt động của hệ thống phân luồng giao thông 59 3.3.3. Thuật toán bắt bám đối tượng 61 3.3.4. Thuật toán tính vận tốc chuyển động của đối tượng 62 3.3.5. Thuật toán phân loại phương tiện dựa trên kích thước 63 3.3.6. Thuật toán tính toán mật độ làn đường 64 3.3.7. Thuật toán phát hiện phương tiện theo làn đường 65 3.3.8. Thuật toán phát hiện chiều chuyển động của đối tượng 66 3.3.9. Nhận dạng biển số xe 68 Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 3 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3.4. KẾT QUẢ CI ĐT 71 KẾT LUẬN 75 Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 4 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MỞ ĐẦU Trong những năm qua, lĩnh vực xử lý ảnh luôn thu hút đƣợc sự quan tâm của nhiều nhà khoa học bởi khả năng ứng dụng và lợi ích to lớn của nó trong nhiều lĩnh vực của xã hội nhƣ quốc phòng, giải trí, y học, viễn thám và giao thông. Nhƣ chúng ta biết, thông tin hình ảnh đóng vai trò rất quan trọng trong trao đổi thông tin, bởi phần lớn thông tin mà con ngƣời thu đƣợc thông qua thị giác. Do vậy, vấn đề nhận dạng trong xử lý ảnh, đặc biệt là so khớp, phân loại, nhận dạng đối tƣợng ảnh chuyển động đang đƣợc quan tâm của nhiều nhà nghiên cứu bởi tính khoa học và ứng dụng đa dạng. Đồng thời, với sự phát triển không ngừng của khoa học và tốc độ xử lý của máy tính thì ứng dụng lĩnh vực thị giác máy tính và xử lý ảnh đang ngày càng đƣợc phát triển và nghiên cứu mạnh mẽ. Bên cạnh đó, các loại phƣơng tiện giao thông đƣờng bộ ở Việt Nam đã và đang phát triển mạnh mẽ cả về số lƣợng và chủng loại. Bởi vậy, việc quản lý phân luồng, phân loại, xử lý vi phạm trong giao thông đƣờng bộ đang trở thành một chủ đề thu hút đƣợc sự quan tâm của nhiều nhà quản lý và khoa học nhằm xây dựng đƣợc các hệ thống giám sát giao thông đƣờng bộ tự động. Trên thế giới, hệ thống giám sát phƣơng tiện giao thông tự động đã đƣợc phát triển và ứng dụng ở nhiều nƣớc trên thế giới. Những hệ thống này giúp chúng ta quản lý đƣợc vấn đề nhƣ phân luồng xe, đánh giá lƣu lƣợng xe, phát hiện đƣợc xe vi phạm Luật Giao thông nhằm tăng cƣờng giám sát, phát hiện và xử lý kịp thời các vi phạm, hạn chế tai nạn và nâng cao ý thức chấp hành Luật Giao thông. Từ đó, nhà quản lý có thể đƣa ra những giải pháp quản lý giao thông đƣờng bộ phù hợp. Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 5 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Chính vì vậy, em chọn đề tài “Nghiên cứu một số kỹ thuật so khớp và nhận dạng ứng dụng vào hệ thống giám sát giao thông tự động” nhằm mục đích nghiên cứu kỹ thuật so khớp, kết hợp nhận dạng biên để phát hiện những phƣơng tiện giao thông vi phạm luồng giao thông đƣờng bộ. Luận văn đƣợc bố cục nhƣ sau: Chƣơng 1: Tổng quan về xử lý ảnh và so khớp đối tƣợng Chƣơng 2: Một số kỹ thuật trong bắt bám và so khớp đối tƣợng Chƣơng 3: Chƣơng trình thử nghiệm Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 6 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn CHƢƠNG 1 TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ SO KHỚP ĐỐI TƢỢNG 1.1. TỔNG QUAN VỀ XỬ LÝ ẢNH 1.1.1. Xử lý ảnh Xử lý ảnh(Image processing) là đối tƣợng nghiên cứu của lĩnh vực thị giác máy, là quá trình biến đổi từ một ảnh ban đầu sang một ảnh mới với các đặc tính mà tuân theo ý muốn cuả việc xử lý. Xử lý ảnh có thể là quá trình phân tích, phân lớp các đối tƣợng, làm tăng chất lƣợng, phân đoạn và tìm biên, gán nhãn cho vùng hay quá trình biên dịch các thông tin hình ảnh của ảnh. Hình dƣới sẽ minh họa các giai đoạn chính trong quá trình xử lý ảnh. Hình 1.1. Các giai đoạn chính trong quá trình xử lý ảnh nhận dạng Chúng ta có thể tóm lƣợc quá trình xử lý nhận dạng ảnh đƣợc xem nhƣ là quá trình thao tác ảnh đầu vào nhằm cho ra kết quả mong muốn. Kết quả đầu ra của một quá trình xử lý ảnh có thể là một ảnh “tốt hơn” hoặc đƣa ra đƣợc kết luận về ảnh đó. Hình 1.2 mô tả vắn tắt quá trình này. Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 7 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Ảnh Xử lý ảnh Ảnh tốt hơn Kết luận Hình 1.2. Các giai đoạn chính trong quá trình xử lý ảnh nhận dạng 1.1.2. Quá trình thu nhận ảnh Ảnh tồn tại trong thực tế là một ảnh liên tục cả về không gian cũng nhƣ về giá trị độ sáng, và việc thu nhận ảnh có thể dùng Scanner, camera Muốn đƣa ảnh liên tục trong thực tế vào máy tính để xử lý cần phải qua một khâu trung gian đó là qúa trình số hoá. Số hoá là quá trình rời rạc hoá về không gian và lƣợng tử hoá về giá trị.Quá trình rời rạc hoá về không gian là quá trình thu nhận những điểm rời rạc từ một ảnh liên tục, nhƣng phải đảm bảo bằng mắt thƣờng không phân biệt đƣợc hai điểm kề nhau. Quá trình này cũng chính là việc tìm cách biểu diễn cả một ảnh lớn có vô số điểm, bởi một số hữu hạn điểm, sao cho không làm mất đi hay thay đổi tính chất của ảnh, để việc lƣu trữ và xử lý ảnh đƣợc dễ dàng. Còn quá trình lƣợng tử hoá về giá trị là quá trình rời rạc hoá về mặt giá trị để có thể đơn giản hoá việc tính toán và đƣa vào máy để xử lý. Tuỳ theo từng loại ảnh, độ chính xác yêu cầu và khả năng xử lý của máy tính mà ta có các mức lƣợng tử thích hợp. Ví dụ với ảnh 256 cấp xám, ta phải dùng 256 mức lƣợng tử và biểu diễn trong máy tính bằng 8 bits. 1.1.3. Biểu diễn và thể hiện ảnh 1.1.3.1. Ảnh chỉ số Một ảnh chỉ số gồm 1 ma trận dữ liệu X và một ma trận bảng màu Map. Mỗi hàng của Map xác định các thành phần đỏ, xanh lá cây, xanh da trời của một màu đơn. Một ảnh chỉ số sử dụng “ánh xạ trực tiếp” các giá trị pixel lên các giá Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 8 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn trị bảng màu (colormap). Màu của mỗi pixel của ảnh đƣợc xác định bằng cách sử dụng giá trị tƣơng ứng của X nhƣ là chỉ số vào trong Map. Giá trị 1 trỏ đến hàng thứ nhất trong Map, giá trị 2 trỏ đến hàng thứ hai, v.v Một bảng màu thông thƣờng đƣợc chứa trong cùng một ảnh chỉ số. Tuy nhiên, ta có thể sử dụng bất cứ bảng màu nào. Hình vẽ dƣới đây minh hoạ cấu trúc của một ảnh chỉ số. Các pixel trong ảnh đƣợc thể hiện bằng các số nguyên mà chúng trỏ đến các giá trị đƣợc lƣu trong bảng màu Hình 1.3. Minh họa ảnh chỉ số 1.1.3.2. Ảnh cƣờng độ Một ảnh cƣờng độ là một ma trận dữ liệu I mà các giá trị của nó thể hiện các cƣờng độ sáng trong phạm vi một vài khoảng nào đó. Các phần tử trong ma trận cƣờng độ thể hiện các cƣờng độ sáng khác nhau hoặc là các cấp xám, trong đó cƣờng độ 0 thông thƣờng thể hiện màu đen và cƣờng độ 1, 255, hoặc 65535 thể hiện cƣờng độ lớn nhất có thể hoặc màu trắng. Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 9 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Hình 1.4. Minh họa ảnh cƣờng độ 1.1.3.3. Ảnh nhị phân Trong một ảnh nhị phân, mỗi pixel chỉ nhận một trong hai giá trị rời rạc. Về bản chất, hai giá trị này tƣơng ứng với on và off. Một ảnh nhị phân đƣợc lƣu trữ nhƣ là một ma trận 2 chiều gồm các số 0 (pixels off) và các số 1 (pixels on). Một ảnh nhị phân có thể đƣợc xem nhƣ là một dạng đặc biệt của ảnh cƣờng độ chỉ chứa màu đen và trắng. Tuy nhiên cũng có thể có những cách giải thích khác, ta cũng có thể coi ảnh nhị phân nhƣ là một ảnh chỉ số chỉ có 2 màu. Hình sau là một ví dụ của ảnh nhị phân: Hình 1.5. Minh họa ảnh nhị phân 1.1.3.4. Ảnh RGB Một ảnh RGB, đôi khi còn đƣợc gọi là ảnh “true-color”, là một mảng dữ liệu m*n*3 xác định các thành phần màu red, green, và blue cho mỗi pixel riêng biệt. Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 10 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Các ảnh RGB không sử dụng bảng màu. Màu của mỗi pixel đƣợc xác định bởi tổ hợp các cƣờng độ red, green và blue lƣu trong một mặt phẳng màu tại vị trí của pixel. Các khuôn dạng file đồ hoạ lƣu các ảnh RGB nhƣ là các ảnh 24-bit, trong đó mỗi thành phần red, green, blue là 1byte. Điều này cho phép có đến 16 triệu màu. Độ chính xác tái tạo đƣợc với ảnh thực tế dẫn đến tên hiệu là “ Ảnh true color”. Hình 1.6. Minh họa ảnh RGB Để xác định màu của pixel tại vị trí (2,3), ta sẽ nhìn vào bộ 3 RGB lƣu trong (2,3,1:3). Giả sử (2,3,1) chứa giá trị 0.5176, (2,3,2) chứa 0.1608, và (2,3,3) chứa 0.0627. Khi đó màu của pixel (2,3) là: 0.5176 0.1608 0.0627. 1.1.4. Histogram của ảnh Nhƣ ta đã biết, mỗi điểm có một giá trị độ sáng nào đó. Histogram của ảnh là đồ thị cho biết tần suất hiện các điểm ảnh với các mức biến thiên độ sáng. Lƣợc đồ histogram đƣợc biểu diễn trong một hệ toạ độ 2 chiều, trục hoành biểu diễn các mức xám từ 0 đến N, với N là số mức xám. Trục tung biểu diễn số điểm ảnh cho một mức xám (tức là số điểm ảnh có cùng mức xám), hoặc biểu diễn tỉ lệ số điểm ảnh có cùng mức xám trên tổng số điểm ảnh. Lƣợc đồ xám cung cấp rất nhiều thông tin về phân bố mức xám của ảnh. Theo thuật ngữ của xử lí ảnh gọi là tính động của ảnh. Tính động cho phép phân tích [...]... http://www.lrc-tnu.edu.vn Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 CHƢƠNG 2 MỘT SỐ KỸ THUẬT TRONG BẮT BÁM VÀ SO KHỚP ĐỐI TƢỢNG CHUYỂN ĐỘNG 2.1 GIỚI THIỆU Hiện nay, bài toán phát hiện đối tƣợng chuyển động đang đƣợc quan tâm của các nhóm nghiên cứu trong và ngoài nƣớc, bởi tính ứng dụng trong nhiều lĩnh vực khoa học, xã hội, và giải... kỹ thuật phân ngƣỡng tự động Một trong những kỹ thuật phân ngƣỡng tự động tốt nhất là kỹ thuật phân ngƣỡng Otsu Hình 1.9 dƣới đây minh họa kết quả của của 2 phép toán phân ngƣỡng đều, phân ngƣỡng thích nghi, kỹ thuật phân ngƣỡng Otsu 19 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông. .. nhƣ quét camera, nghiêng, phóng to, thu nhỏ cũng có thể đƣợc trích chọn 25 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 1.2 SO KHỚP ĐỐI TƢỢNG 1.2.1 Khái niệm so khớp Kỹ thuật khớp mẫu là một phƣơng pháp phân lớp mẫu sử dụng nguyên dữ liệu... áp dụng 13 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 Các toán tử sử dụng kỹ thuật Gradient đáng kể nhất là toán tử Robert, Sobel và Prewitt còn toán tử la bàn hay đƣợc sử dụng là toán tử Krish Hình 1.8 Minh họa mô hình 8 hƣớng b) Kỹ. .. „hiểu‟ các biển số xe một cách tự động, bám đối tƣợng Hình 2.1 minh họa sơ đồ khối của một hệ thống bám 29 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 Hình 2.1 Sơ đồ khối hệ thống bám ảnh đối tƣợng chuyển động Chúng ta thấy rằng tín hiệu... b và r Cách định nghĩa thứ ba tƣơng ứng với mỗi cặp nền-vùng với một điểm biên Còn với cách thứ nhất và thứ hai , một số cặp nền - vùng có thể có chung một điểm biên Bởi vậy, quá trình chọn điêm biên đƣợc thƣc hiện nhƣ sau : ̉ ̣ 18 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự. .. Giả 32 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 sử xét hai ảnh I1 và I2 có cùng kích thƣớc Trừ hai ảnh I1 và I2 là việc tính toán sự sai khác giữa hai ảnh đó Tiếp theo, chúng ta sẽ lần lƣợt xét từng kỹ thuật 2.2.1 Trừ ảnh dựa vào điểm... trong ảnh sử dụng tƣơng quan chéo giữa ảnh với một mặt nạ thích hợp Mặt nạ ở đây và mẫu cần xác định sẽ có độ tƣơng quan cao 26 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 Hình 1.13 Minh họa khớp ảnh tƣơng quan chéo Để khớp ảnh với... toán Do đó, thông thƣờng mặt nạ nên 27 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 đƣợc chọn với kích thƣớc bé Trong nhiều ảnh thực tế, còn đòi hỏi phải sử dụng đến phép quay và (hoặc) phép co giãn tại mỗi vị trí điểm ảnh 28 Số hóa bởi... Nguyên http://www.lrc-tnu.edu.vn Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 phân biệt tốt nhất Biểu diễn Tamura đƣợc thúc đẩy nhờ các nghiên cứu về tâm lý trong việc thu nhận trực giác của con ngƣời và nó bao gồm các đại lƣợng đo tính thô, độ tƣơng phản, hƣớng, tính trơn, tính cân đối và độ ráp Các đặc trƣng Tamura . vậy, em chọn đề tài Nghiên cứu một số kỹ thuật so khớp và nhận dạng ứng dụng vào hệ thống giám sát giao thông tự động nhằm mục đích nghiên cứu kỹ thuật so khớp, kết hợp nhận dạng biên để phát. trời của một màu đơn. Một ảnh chỉ số sử dụng “ánh xạ trực tiếp” các giá trị pixel lên các giá Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động. vào điểm ảnh 33 2.2.2. Trừ ảnh phân khối 34 Nghiên cứu một số kỹ thuật so khớp và nhận dạng, ứng dụng vào hệ thống giám sát giao thông tự động Nguyễn Văn An – ĐH CNTT & TT - 2011 2 Số