~1~ TRƯỜNG ĐẠI HỌC NÔNG NGHIỆP HÀ NỘI KHOA: CÔNG NGHỆ THÔNG TIN BỘ MÔN: CÔNG NGHỆ PHẦN MỀM MÔN: XỬ LÝ ẢNH BÁO CÁO BÀI TẬP LỚN TÌM HIỂU BÀI TOÁN NHẬN DẠNG BIỂN SỐ XE Giảng viên hướng dẫn Nhóm sinh viên thực hiện: Nguyễn Thị Thủy Lớp THO-K54 Trần Thị Thủy Lê Thị Thanh Trà : : Mã sinh viên 543285 543290 ~2~ TÌM HIỂU BÀI TOÁN NHẬN DẠNG BIỂN SỐ XE PHẦN GIỚI THIỆU Phần 1: TỔNG QUAN VỀ BÀI TOÁN NHẬN DẠNG BIẾN SỐ XE Khái quát xử lý ảnh Khái niệm nhận dạng biển số xe Một số hướng giải toán nhận dạng biển số xe Hướng giải Phần 2: PHÁT HIỆN VÙNG CHỨA BIỂN SỐ XE Khái niệm biên Các phương pháp phát biên Tiền xử lý ảnh –phát vùng chứa biển số xe Xác định xác vùng chứa biển số xe Phần 3: BÀI TOÁN NHẬN DẠNG KÝ TỰ Tổng quan toán nhận dạng Bản chất trình nhận dạng Mô hình mạng nơron nhân tạo Sử dụng mạng nơron lan truyền ngược hướng cho nhận dạng ký tự PHẦN KẾT LUẬN TÀI LIỆU THAM KHẢO ~3~ PHẦN GIỚI THIỆU Ngày giới bên cạnh việc tăng trưởng kinh tế phát triển ngành khoa học kỹ thuật nói chung, mà ngành công nghiệp sản xuất phương tiện giao thông lại ngành có tốc độ phát triển cực nhanh Sự phát triển ấy, thể rõ ràng thông qua hình ảnh c c p h n g tiện giao thông giới ngày tăng cao đa dạng Tuy nhiên,điều lại gây áp lực người quan c c c ấ p quản lý, làm cho công tác quản lý giám sát khó khăn hơn,…Và vấn nạn Việt Nam Công tác quản lý phương tiện giao thông nói chung quản lý ôtô, xe máy vô phức tạp…c ũ n g n h c ô n g t c p h t h i ệ n , x p h t c c h n h v i v i p h m g i a o t h ô n g , c h ố n g trộm,…sẽ tốn nhiều thời gian công sức hơn…Đ ể l m g i ả m l ợ n g n h â n l ự c t r o n g v i ệ c c ô n g t c q u ả n l ý , k i ể m s o t phương tiện giao thông, giới nhanh chóng xây dựng hệ thống giámsát tự động phương tiện giao thông Và hệ thống giám sát lấy biển số xe mục tiêu giám sát Hệ thống sử dụng rộng rãi nhiên Việt Nam lĩnh vực mẻ Do em chọn làm đề tài “Tìm hiểu hệ thống nhận dạng biển số xe” với mục đích để tìm hiểu nhằm trợ giúp cho công tác giám sát, quản lý phương tiện giao thông cách hiệu quả, dễ dàng nhanh chóng E m t i n V i ệ t N a m m ì n h t r o n g t n g l a i g ầ n h ệ t h ố n g n y s ẽ đ ợ c s dụng rộng rãi Bố cục trình bày báo cáo em gồm phần: •Phần 1: Tổng quan toán nhận dạng biển số xe •Phần 2: Phát vùng chứa biển số xe •Phần 3: Nhận dạng ký tự Với mục đích : “Tìm hiểu toán nhận dạng biển số xe” thời gian có hạn nên nhóm em chưa hoàn thành demo Mong cô bạn thông cảm! ~4~ Phần 1: TỔNG QUAN VỀ BÀI TOÁN NHẬN DẠNG BIẾN SỐ XE Khái quát xử lý ảnh: Xử lý ảnh mảng quan trọng kỹ thuật thị giác máy tính, tiền đề cho nhiều nghiên cứu thuộc lĩnh vực Hai nhiệm vụ trình xử lý ảnh nâng cao chất lượng thông tin hình ảnh xửlý số liệu cung cấp cho trình khác có việc ứng dụng thị giác vào điều khiển Quá trình việc thu nhận ảnh nguồn (từ thiết bị thu nhận ảnh dạng số tương tự) gửi đến máy tính Dữ liệu ảnh lưu trữ định dạng phù hợp với trình xử lý Người lập trình tác động thuật toán tươngứng lên liệu ảnh nhằm thay đổi cấu trúc ảnh phù hơp với ứng dụng khác - Chuyển ảnh màu thành ảnh xám - Lược đồ xám ảnh (Histogram) - Các lọc không gian+ Lọc tuyến tính+ Lọc phi tuyến - Tách biên đối tượng Khái niệm nhận dạng biển số xe: 2.1 Khái niệm & ứng dụng: a) Khái niệm: Hệ thố ng nhậ n d ạ ng biể n s ố x e l à h ệ t h ố n g c ó k h ả n ă n g p h â n t í ch hì nh ản h và xá c đị nh biể n số xe, thông qua video, thiế t bị ghi hì nh và hì nh ả nh Sau cù ng là xá c đị nh cá c thông tin như: chủ sở hữ u xe, theo dõ i x e v ớ i tố c độ chậm, *) Phân loại ứng dụng nhận dạng biển số xe: Ứng dụng nhận dạng biển số xe ứng dụng có khả phân tích hình ảnh xác định biển số xe từ hình ảnh chụp từ thiết bị thu hình Nguồn hình ảnh cho ứng dụng có nhiều Và phát triển, hình ảnh trựctiếp thu nhận từ camera Trong báo cáo tốt nghiệp em dừng lại mức xác định biển số xe (xác định chữ) từ ảnh Có nhiều cách thức khác để phân loại ứng dụng nhận dạng biểnsố xe Một cách đơn giản phân loại ứng dụng nhận dạng biển số x e t h ô n g q u a m ụ c đ í c h s d ụ n g C ó t h ể c h i a ứ n g d ụ n g n h ậ n d n g b i ể n s ố x e thành hai loại sau: Loại 1: Giới hạn vùng nhìn •Đầu vào: Ảnh thu trực tiếp từ thiết bị ghi nhận ảnh kỹ thuật số Ảnh ghi nhận thường giới hạn vùng có biển số xe •Nguyên lý hoạt động: Các phương tiện giao thông phải chạy với tốc độ đủ chậm để máy ghi nhận hình ảnh thu ảnh vùng biển số xe •Ứng dụng: Những ứng dụng nhận dạng biển số xe loại thường dụng trạm kiểm soát, trạm thu phí, bãi gửi xe tự động, trạm gác cổng Loại 2: Không giới hạn vùng nhìn ~5~ •Đầu vào: Ảnh đầu vào thu từ thiết bị ghi hình tự động, không phụ thuộc vào góc độ, đối tượng xung quanh, ảnh không cần bắt buộc c h ụ p vùng chứa biển số xe, mà ảnh tổng hợp chứa thêm đối tượng người, cây, đường phố , miễn vùng biển số xe phải đủ rõ để thực nhận dạng ký tự vùng •Nguyên lý hoạt động: Do đặc tính không giới hạn vùng nhìn mà ảnh đầu v o c ó t h ể t h u đ ợ c t m ộ t t h i ế t b ị g h i h ì n h ( c a m a r a , m y ả n h … ) V d o đ ó , công việc dò tìm ảnh, để xác định vùng biển số xe Sau đó, thực tách vùng nhận dạng Cuối tùy thuộc vào mục đích sử dụng mà kết nhận dạng truyền hay lưu trữ để phục vụ nhu cầu người dùng cuối •Ứng dụng: Vì không phụ thuộc vào hình ảnh thu nên dùng ứng dụng nhiều nơi nơi điều tiết giao thông, vị trí nhạy cảm giao thông ngã ba, ngã tư đường giao Kiểm soát, phát hành vi vi phạm an toàn giao thông •Yêu cầu về thiết bị: Máy quét, đèn chiếu, bộ phận thu, tách hình ảnh, máy tính, các thiết bị khác tùy mục đích sử dụng Trong trình tìm hiểu, xây dựng ứng dụng Ứng dụng mà em hướng tới trình xây dựng ứng dụng loại Vì vậy, toàn báocáo này, nêu cách thức giải nhận dạng (lọc ra) ký tự số chữ b)Ứng dụng hệ thống nhận dạng biển số xe: Hệ thống nhận dạng biển số xe xây dựng nhằm mục đích giám sát, kiểm soát phương tiện Dưới đề cập đến số ứng dụng phổ biến hệ thống nhận dạng biển số xe: +) Thu phí giao thông: Lắ p đặ t hệ thố ng “Nhậ n dạ ng biể n số xe” tạ i cá c trạm thu phí nhằm hỗ trợ hoặc tự động hóa công tác thu phí +) Kiểm soát xe tạ i cá c đườ ng biên giới: Mỗi quố c gia đề u có nhữn g quy địn h riêng về biể n số xe, để phụ c vụ cho công tá c quả n lý và phá t hiệ n nhữ ng phương tiệ n g i a o t h ô n g ( x e ) v ợ t b i ê n g i ớ i b ấ t h ợ p p h á p Vi ệ c l ắ p h ệ t h ố ng “Nhận dạng biển số xe” tại các trạm kiểm soát sẽ góp phần hỗ trợ công tác kiể m tra và an ninh quốc gia +) Các trạ m gá c c ổ ng: Việ c lắ p đặ t hệ thố ng “Nhậ n d ạ ng biể n số xe” sẽ hỗ trợ hoặc tự động hóa công tác mở cổng cho xe vào Ngoài ra, hệ thố ng cò n đượ c ứn g dụ ng và o công tá c chố ng trộ m xe, cá c bãi g i ữ x e t ự đ ộ ng, điề u t i ế t giao thông (chẳn g h ạ n Thà nh phố Dublin đã ứn g dụ ng công nghệ “Nhậ n d ạ ng biể n s ố x e t ự đ ộ ng” việ c điề u tiế t giao thông theo dạng biển số chẳn/lẻ) 2.2 Phân loại biển số xe: Trước tiên quy định biển số 64 tỉnh thành (Biển trắng chữ đen): ~6~ 11 - Cao Bằng 12 - Lạng Sơn 14 - Quảng Ninh 15, 16 - Hải Phòng 17 - Thái Bình 18 - Nam Định 19 - Phú Thọ 20 - Thái Nguyên 21 - Yên Bái 22 - Tuyên Quang 23 - Hà Giang 24 - Lào Cai 25 - Lai Châu 26 - Sơn La - Điện Biên 28 - Hòa Bình 29, 30, 31, 32, 33 - Hà Nội 34 - Hải Dương 35 - Ninh Bình 36 - Thanh Hóa 37 - Nghệ An 38 - Hà Tĩnh 43 - Đà Nẵng 47 - Đắc Lắc 48 - Đắc Nông 49 - Lâm Đồng 50 đến 59 - TP Hồ ChíMinh 60 - Đồng Nai 61 - Bình Dương 62 - Long An 63 - Tiền Giang 64 - Vĩnh Long 65 - Cần Thơ 66 - Đồng Tháp 67 - An Giang 68 - Kiên Giang 69 - Cà Mau 70 - Tây Ninh 71 - Bến Tre 72 - Bà Rịa - Vũng Tàu 73 - Quảng Bình 74 - Quảng Trị 75 - Huế 76 - Quảng Ngãi 77 - Bình Định 78 - Phú Yên 79 - Khánh Hòa 80 - Các đơn vị kinh tế thuộc TW (hàng không) 81 - Gia Lai 82 – KonTum 83 - Sóc Trăng 84 - Trà Vinh 85 - Ninh Thuận 86 - Bình Thuận 88 - Vĩnh Phúc 89 - Hưng Yên 90 - Hà Nam 92 - Quảng Nam 93 - Bình Phước 94 - Bạc Liêu 95 - Hậu Giang 97 - Bắc Cạn 98 - Bắc Giang 99 - Bắc Ninh *)Những quy định màu sắc chữ số đặc biệt: • Màu xanh chữ trắng biển xe quan hành nghiệp: - Trực thuộc phủ biển xanh 80 - Các tỉnh thành theo số tương ứng • Màu đỏ chữ trắng biển xe quân đội: AT: Binh đoàn KV: Quân khu 12AD: Quân Đoàn , Binh đoàn cửu long KP: Quân khu BB: binh KK: Quân khu BC: Binh chủng Công Binh PP: Các quân y viện ~7~ BH: Binh chủng hoá học BS: Binh đoàn Trường Sơn BT: Binh chủng thông tin liên lạc BP: Bộ tư lệnh biên phòng HB: Học viện lục quân HH: Học viện quân y KA: Quân khu KB: Quân khu KC: Quân khu KD: Quân khu QH: Quân chủng hải quân QK, QP: Quân chủng phòng không không quân TC: Tổng cục trị TH: Tổng cục hậu cần TK: Tổng cục công nghiệp quốc phòng TT:Tổng cục kỹ thuật TM: Bộ tổng tham mưu VT: Viettel • Màu trắng chữ, số biển dành cho người nước ngoài: - NG xe ngoại giao - NN xe tổ chức, cá nhân nước ngoài: Trong số mã quốc gia, số số thứ tự (* Xe số 80 NG xxx-yy biển cấp cho đại sứ quán, thêm gạch đỏ số cuối 01 biển xe tổng lãnh sự) • 4Những xe mang biển 80 gồm có : - Các Ban Trung ương - Viện kiểm soát nhân dân Đảng tối cao - Văn phòng Chủ tịch nước - Toà án nhân dân tối cao - Văn phòng Quốc hội - Đài truyền hình Việt Nam - Văn phòng Chính phủ - Đài tiếng nói Việt Nam - Bộ Công an - Thông xã Việt Nam - Xe phục vụ đồng chí - Báo nhân dân uỷ viên Trung ương Đảng - Thanh tra Nhà nước công tác Hà Nộivà - Học viện Chính trị thành viên Chính phủ quốc gia - Bộ ngoại giao - Ban quản lý Lăng, Bảo tàng, khu Di tích lịch sử Hồ Chí Minh; - Trung tâm lưu trữ quốc gia - Uỷ ban Dân số kế hoạch hoá gia đình - Tổng công ty Dầu khí Việt Nam - Các đại sứ quán, tổ chức quốc tế nhân viên người nước - Uỷ ban Chứng khoán Nhà nước - Cục Hàng không dân dụng Việt Nam - Kiểm toán nhà nước • Các biển A: Xe Công An - Cảnh Sát tương ứng với tỉnh ví dụ: 31A = xe Công An- Cảnh Sát thành phố Hà Nội Một số hướng giải toán nhận dạng biển số xe: Có nhiều phương pháp tiếp cận Trong có hai cách tiếp cận phổ biến : 3.1 Hướng tiếp cận phát triển vùng: •Nhóm tác giả Nigel Whyte Adrien Kiernan đại diện cho cách tiếp cận ~8~ •Ý tưởng phương pháp này: biển số xe thường chứa màu đồng nhất, chẳng hạn màu trắng, có diện tích tương đối định Vì dùng phương pháp phát triển vùng, sử dụng khung chữ nhật di chuyển để tìm vùng có tính chất thỏa mãn biển số xe tiến hành nhận dạng •Ưu điểm: đơn giản, xử lý nhanh ảnh chứa vùng biển số xe •Nhược điểm: ảnh có thêm nhiều đối tượng vùng biển số xe, chẳng hạn ảnh chụp tổng quát gồm cảnh vật bên cách tiếp cận trở nên không hiệu Vì phương pháp hiệu hệ thống trạm thu phí, trạm gác cổng, gửi xe tự động 3.2 Hướng tiếp cận dò biên biến đổi Hough: •Nhóm tác giả Michael Lidenbaum, Rosen Alexander, Vichik Sergey, Sandler Roman đại diện cho cách tiếp cận •Ý tưởng cách tiếp cận là: Biển số xe bao boc đường viền Do đó, dùng phương pháp phát biên, sau dùng phép biến đổi Hough để trích đoạn thẳng dọc, ngang tồn ảnh Giao điểm đoạn thẳng vùng bao chứa biển số xe Và cuối tiến hành nhận dạng ký tự vùng •Ưu điểm: độ xác cao Và hệ thống nhận dạng đa phần phát triển theo hướng tiếp cận •Nhược điểm: Độ phức tạp tính toán cao Khi ảnh có thêm nhiều đối tượng khác khối lượng tính toán tăng lên nhiều Do mục đích phải xác định vùng chứa biển số xe Ngoài hai cách tiếp cận trên, có nhiều cách tiếp cận khác để xác định xác vùng chứa biển số xe bước cuối tiến hành nhận dạng ký tự Mỗi cách tiếp cận có ưu nhược điểm Đa số ứng dụng sửdụng cách tiếp cận biến đổi Hough Trong báo cáo đề tài em,em xin trình bày cách tiếp cận Hough Hướng giải quyết: *) Một số đặc điểm biển số xe Việt Nam: •Tiêu chuẩn kích thước : Ở nước thường có tiêu chuẩn kích thước định Đối với nước ta, biển số xe quy định đồng cho loại x e , t ỷ l ệ chiều dài, rộng cho loại xe Đối với loại xe có hàng ký tự tỉ lệ dài/ rộng là: 3.5≤W/H≤1.4 Đối với loại xe có hai hàng ký tự tỷ lệ là: 0.8≤W/H≤1.4 Từ đặc tính này, ta xác định vùng thỏa mãn tiêu chí ngưỡng tỷ lệ dài/rộng Và vùng thỏa mãn khả chứa biển số xe cao •Số lượng ký tự biển số xe Mỗi ký tự thường có tỷ lệ kích thước chiều rộng, chiều cao tương ứng với chiều dài rộng biển số xe Ví dụ, chiều cao ký tự nhỏ 85% chiều cao biển số xe lớn 33% chiều cao biến xe Còn chiều rộng ký tự không lớn 20% chiều dài biển số xe Mỗi ký tự biển số xe xem vùng liên thông Do đó, ~9~ đếm vùng liên thông thỏa mãn tính chất ký tự Chú ý số ký tự biển số xe từ đến 10 ký tự Ở nước ta có số ký tự biển số xe nằm khoảng đến ký tự Vậy ta dùng ngưỡng [6.8] để nhận dạng vùng biển số xe T n h ữ n g n h ậ n x é t t r ê n , c h ú n g t a c ó t h ể đ a r a g i ả i p h p c h o b i t o n nhận dạng: sử dụng phương pháp phát biên biến đổi Hough Sau đó, sử dụng hai tính chất biển số xe để xác định xác vùng chứa biển số xe Khi xác định xác vùng chứa biển số xe tiến hành nhận dạng ký tự Để giải toán nhận dạng biển số xe, báo cáo em xin trình bày bước sau: •Bước 1: Đọc ảnh vào, nhị phân hóa ảnh thực dò biên biến đổi Hough để tìm vùng có khả chứa biển số xe Gọi tập Ic •B c : X c đ ị n h c h í n h x c v ù n g c o n n o c h ứ a b i ể n s ố x e b ằ n g h a i thao tác miêu tả tiêu chí tỷ lệ chiều dài với chiểu rộng số ký tự biển số xe Kết bước cho tập ảnh chứa biển số xe Gọi tập I’c •Bước 3: Giải toán nhận dạng ký tự cho tập I’c Bằng cách áp dụng phương pháp kỹ thuật nhận dạng ký tự Q u a b a b c n h t r ê n t a c ó t h ể n h ậ n d n g đ ợ c b i ể n s ố x e I’c Trong bước 3: Nhận dạng ký tự em sử dụng phương pháp mạng noron truyền ngược cho việc nhận dạng ký tự Trong phần chi tiết bước xử lý toán nhận d n g biển số xe, số khái niệm quen thuộc mà có liên quan đến nhận dạng biển số xe ~ 10 ~ Phần 2:PHÁT HIỆN VÙNG CHỨA BIỂN SỐ XE Khái niệm biên: Biên vấn đề chủ yếu phân tích ảnh kỹ thuật phân đoạn ảnh chủ yếu dựa vào biên Một điểm ảnh coi điểm biên có thay đổi đột ngột mức xám hay biên điểm có cấp xám có giá trị khác hẳn điểm xung quanh Tập hợp điểm biên tạo thành biên hay đường bao ảnh Các phương pháp phát biên: *) Phương pháp tiếp cận theo kiểu cổ điển Đây phương pháp dựa vào biến thiên giá trị độ sáng đ i ể m ảnh Kỹ thuật chủ yếu dùng phát biên kỹ thuật đạo hàm Nếu lấy đạo hàm bậc ảnh ta có phương pháp Gradient, lấy đạo hàm bậc hai ta có kỹ thuật Laplace Hai phương pháp gọi phương pháp dò biên cục 2.1 Phương pháp gradient Dựa vào cực đại hóa đạo hàm Theo định nghĩa, gradient vecto có thành phần biểu thị tốc độ thay đổi giá trị điểm ảnh theo hướng x vày Các thành phần Gradient tính bởi: Đổi sang tọa độ cực x = r.cosθ y = r.sin θ Suy ra: Với dx khoảng cách điểm theo hướng x (khoảng cách t í n h số điểm) tương tự với dy Trên thực tế người ta hay dùng với dx = dy = Với ảnh liên tục f(x, y), đạo hàm riêng cho phép xác địnhvị trí cục theo hướng biên Thực vậy, gradient ảnh liên tục, biểu diễn hàm f(x,y), dọc theo r với góc θ, định nghĩa bởi: ~ 11 ~ Chú ý: ta nói lấy đạo hàm ảnh thực mô xấp xỉ đạo hàm kỹ thuật nhân chập (phép cuộn) Do ảnh số tín hiệu rời rạc nên đạo hàm không tồn K ỹ t h u ậ t G r a d i e n t s d ụ n g m ộ t c ặ p m ặ t n H H2 t r ự c g i a o ( t h e o hướng vuông góc) Nếu định nghĩa g 1, g2 gradient tương ứng theo hướng x y, biên độ gradient, ký hiệu g điểm (m,n) tính theo côngthức: Chú ý: để giảm tính toán, công thức (1) tính gần bởi: Các toán tử đạo hàm áp dụng nhiều, đây, ta xét số toán tử tiêu biểu: toán tử Robert, Solbel… *)Kỹ thuật Robert Với điểm ảnh I(x,y) I, đạo hàm theo x, theo y ký hiệu tương ứng gx, gy tính: Điều tương đương với việc chập ảnh với mặt nạ H H2 : Quá trình tính toán thực qua bước sau: •Bước 1: Tính Ix = I ⊗ Hx Iy = I ⊗ Hy •Bước 2: Tính Từ ma trận chọn điểm cao thứ 2, thứ 3… chiếm đa số *)Kỹ thuật PreWitt: Kỹ thuật sử dụng hai mặt nạ H H2 : ~ 12 ~ Quá trình tính toán thực qua bước: •Bước 1: Tính I ⊗ Hx I ⊗ Hy •Bước 2: Tính |I ⊗ Hx | + |I ⊗ Hy| *)Kỹ thuật Sobel: Tương tự kỹ thuật PreWitt, kỹ thuật Sobel sử dụng ma trận mặt nạnhân chập là: 2 Kỹ thuật Laplace: Các phương pháp đánh giá Gradient làm việc tốt mà đ ộ sáng thay đổi rõ nét Khi mức xám (giá trị điểm ảnh ) thay đổi chậm, miền chuyển tiếp trải rộng, ta có phương pháp Laplace (đạo hàm bậc hai) có hiệu Toán tử Laplace định nghĩa sau: Vậy suy ta có: Tương tự ta có: Toán tử Laplace dùng nhiều kiểu mặt nạ khác để xấp xỉ rời rạc đạo hàm bậc Dưới kiểu mặt nạ hay dùng: Quá trình tính toán thực qua bước sau: •Bước 1: I ⊗H •Bước 2: |H ⊗I (x,y )| ~ 13 ~ •Bước 3: Tách ngưỡngÝ nghĩa hình học: Tiền xử lý ảnh - Phát vùng chứa biển số xe Sơ đồ bước mô tả hình dưới: 3.1 Ảnh đầu vào: ảnh có 256 mức xám, nhị phân hóa thành ảnh nhị phân Mục đích giai đoạn nhị phân hóa ảnh nhằm làm bật vùng biển số xe 3.2 Nhị phân hóa ảnh Ảnh ban đầu sử dụng ảnh 256 mức xám Việc sử dụng ảnh 256 mức xám không làm giảm tính đa ứng dụng Trên thực tế, ảnh 256 mức xám sử dụng nhiều, nhiều thiết bị ghi hình có khả t ự chuyển ảnh màu thành ảnh 256 mức xám Tuy nhiên, để ảnh 256 m ứ c xám việc phát biên không hiệu quả, thay đổi liên tục mức xám làm cho việc xác định biên dễ dàng, việc tìm vùng liên tục biên hạn chế Vì vậy, thực chuyển ảnh dạng nhị phân để thực việc lấy biên nhanh ~ 14 ~ Vậy ta thu ảnh nhị phân Ic, ảnh nhị phân thu đảm bảo tách biệt vùng chứa biển số xe với vùng xung quanh Đồng thời loại bỏ vùng đồng biến thiên 3.3 Tách biên: Vì biển số xe có viền bao quanh, nên cần làm bật đường biên.Các đường biên xem cạnh dọc ngang Mụcđích giai đoạn tách cạnh dọc ngang để tìm vùng chứa biển số xe nhờ tính giao điểm cạnh dọc ngang Ở đây, ảnh đầu vào ảnh nhị phân, nên thích hợp với phương pháp đạo hàm bậc Khi ta tách biên, vùng bao biển số lên rõ ràng Sau dùng phương pháp phát biên để có biên dọc vào ngang ảnh Kếtquả công đoạn này, ảnh thu ảnh nhị phân chứa cạnh dọc ngang Thực biến đổi Hough cho đoạn biên vừa lấy xác định c c đ o n t h ẳ n g đ i q u a t ậ p c c đ i ể m b i ê n c ủ a m ỗ i b i ê n , k ế t q u ả s ẽ l c c đ o n thẳng ngang dọc Giao đoạn thẳng cho vùng Ic Dùng hai matrận Sobel theo hai hưỡng x (dọc) y (ngang) để tách cạnh ảnh Kết thu , ảnh cạnh dọc Ix cạnh ngang Iy 3.4 Biến đổi HOUGH Biến đổi Hough phương pháp dùng để xác định đường thẳng (đường tròn elip) gần qua tập hợp điểm Với (x,y) điểm y = mx +c ==> c = -mx + y Như có N điểm nằm đường thẳng Thay tìm N điểm đường thẳng, người ta xét tất điểm, xem điểm có nhiều đường thẳng qua S a u k h i x â y d ự n g c c đ n g t h ẳ n g H o u gh , c h ú n g t a t h u đ ợ c h a i t ậ p đường thẳng: tập đường thẳng dọc tập đường ngang ảnh nhị phân cạnh dọc ngang Tiếp theo, xác định giao điểm đường này để tạo thành vùng tứ giác có khả chứa biển số xe Tuy nhiên, lượng vùng có nhiều Do vậy, thay tính giao điểm đường thẳng, mà thực việc tính giao điểm đoạn thẳng ~ 15 ~ Các đoạn thẳng đoạn qua tập hợp điểm xác định thông qua đường thẳng Hough Chúng ta cần tính giao điểm đường thẳng Hough kiểm tra xem giao điểm cao nằm đoạn thẳng trích chọn hay không Giao điểm đoạn thẳng vùng Ic có khả chứa biển số xe Kết cho tập vùng Ic tứ giác Đ ế n đ â y , c h ú n g t a c ó t h ể k h ẳ n g đ ị n h b i t o n t r ê n c h í n h l t h ự c h i ệ n t h e o phương pháp biến đổi Hough Tuy vậy, điểm khác biệt (cũng điểm tiến bộ) phương pháp trình bày đề tài là: phương pháp biến đổi Hough dừng lại bươc này, sau thực tiến hành nhận dạng ký tự c c v ù n g c o n n ga y V i ệ c n h ậ n n g c ó t h ể c ó n h i ề u p h n g p h p k h c n h a u , với vùng lượng lớn Ta không dừng lại việc tìm vùng Ic, màcó thể tìm tiếp vùng có xác suất chứa biển số xe, loại vùng mà khả tồn tạicủa biển số xe Vậy có, tập vùng Ic thu hẹp, làm cho không gian toán nhận dạng thu hẹp lại Vì vậy, cách giải trở nên nhanh h n , h i ệ u q u ả h n c c h t i ế p c ậ n b i ế n đ ổ i H o u gh , k h ô n g p h ụ t h u ộ c n h i ề u v o không gian ảnh đầu vào Xác định xác vùng chứa biển số xe K ế t q u ả c ủ a b i t o n t r ê n đ a r a t ậ p c c v ù n g c o n Ic c ó k h ả n ă n g c h ứ a biển số xe Các vùng tứ giác Tuy nhiên, số lượng vùng I c khác nhiều, chưa thể đảm bảo xác vùng chứa biển số xe đ ể t h ự c việc cuối nhận dạng ảnh Vì vậy, phải loại bỏ vùng Ic khả chứa biến số xe Sơ đồ thực toán này: ~ 16 ~ Hình 2.6: Sơ đồ thực toán • Bước ban đầu: Ta biết: Biển số xe thực tế có hình dạng hình chữ nhật Vì vậy, chụp ảnh biển số xe có dạng tựa hình bình hành Trường hợp tối ưu ảnh hình chữ nhật Do đó, trình xét duyệt vùng I c , hình hình dạng tựa hình bình hành loại bỏ mà không cần tính đến Ta xem hình tứ giác tựa hình bình hành có đặc điểm sau: •Các góc nhỏ Có thể lấy ngưỡng 45o •Hai góc đối không chênh lệch lớn Lấy ngưỡng 30o Biến số xe phải có diện tích đó, đủ lớn để nhận diện ký tự tồn Vì vậy, vùng có diện tích nhỏ ngưỡng đó, loại bỏ ý kích thước chiều dài rộng vùng I ci Vậy chu vi vùng nhỏ ngưỡng loại bỏ Sau loại bỏ vùng theo hai tiêu chí tỷ lệ diện tích v k í c h t h c dà i – r ộ n g c ủ a v ù n g c o n , c h ú n g t a t h u tập I’c V ì t h ự c t ế b i ể n s ố x e c ó h ì n h c h ữ n h ậ t , n ê n t a c ó t h ể d ù n g phép tịnh tiến, phép quay, phép tỷ lệ để đưa vùng I’c thành hình chữ nhật Lý để đưa hình tứ giác thành hình chữ nhật biển số xe có dạng hình chữ nhật, ký tự nằm vùng biển số xe vuông góc với cạnh dài hình chữ nhật Khi thu ảnh, có nhiều nguyên nhân làm cho ảnh biển số xe b ị n gh i ê n g K é o t h e o đ ó , c c k ý t ự c ũ n g b ị n gh i ê n g t h e o , l m c h o v i ệ c n h ậ n dạng trở nên không xác Việc nắn tứ giác trở lại thành hình chữ nhật nắn ký tự trở nên thành đứng Và trở thành hình dạng chữ nhật, biển số xe thể rõ tính tỷ lệ chiều dài/rộng Và ta có tiêu chí • Tiêu chí tỷ lệ chiều dài/rộng Với quốc gia, biển số xe có kích thước định Và thể thông qua tỷ lệ cạnh Ví dụ với biển số xe nước ta: với biển số có hàng tỷ lệ nằm khoảng 3.5 ≤ W/ H ≤ 4.5 với biển số xe có hai hàngthì tỷ lệ 0.8 ≤ W/ H ≤ 1.4 Và kết tiêu chí tỷ lệ chiều dài/rộng thu tập I’c chứa biển số xe Kết quả: tập vùng I”c có khả chứa biển số xe Với số vùng nhỏ hẳn số vùng mà ta thu ban đầu biển đổi Hough Trong đó: H: chiều cao biển số xe; W: chiều dài biển số xe • Tiêu chí số ký tự vùng biển số xe Với nước số ký tự biển khác Ở nước ta, số ký tự biển số xe thường 6,7,8,9 tương ứng xe quân đội, xe máy cũ xe ô tô, xe máy Mỗi ký tự có đặc trưng sau: •0.33 ≤ H ≤ 0.85 • W ≤ 0.22 ~ 17 ~ Từ ta có ngưỡng sử dụng [6,9] Nếu tìm biển số xe thỏa mãn điều kiện, ta dừng thuật toán chuyển sang bước nhận dạng ký tự Nếu tìm tất biển số xe tồn ảnh, bắt buộc phải duyệt qua toàn vùng ảnh ~ 18 ~ Phần 3: BÀI TOÁN NHẬN DẠNG KÝ TỰ Tổng quan nhận dạng Nhận dạng trình phân loại đối tượng biểu diễn theo mô hình gán cho chúng vào lớp (gán cho đối tượng tên gọi) dựa theo quy luật mẫu chuẩn Quá trình nhận dạng dựa vào m ẫ u học biết trước gọi nhận dạng có thày hay học có thày (supervisedlearning); trường hợp ngược lại gọi học thày (non supervisedlearning) Bản chất trình nhận dạng Quá trình nhận dạng gồm giai đoạn chính: - Lựa chọn mô hình biểu diễn đối tượng - Lựa chọn luật định (phương pháp nhận dạng) suy diễn trình học - Học nhận dạng Khi mô hình biểu diễn đối tượng xác định, định lượng (mô hình tham số) hay định tính (mô hình cấu trúc), trình nhận dạng chuyển s a n g g i a i đoạn học Học giai đoạn quan trọng Thao tác học nhằm cải thiện, điều chỉnh việc phân hoạch tập đối tượng thành lớp.Việc nhận dạng tìm quy luật thuật toán để gán đối tượng vào lớp hay nói cách khác gán cho đối tượng tên *)Học có thày (supervised learning) Kỹ thuật phân loại nhờ kiến thức biết trước gọi học có thày Đặc điểm kỹ thuật người ta có thư viện mẫu chuẩn Mẫu cần nhận dạng đem sánh với mẫu chuẩn để xem thuộc loại Thí dụ ảnh viễn thám, người ta muốn phân biệt cánh đồng lúa, cánh rừng hay vùng đất hoang mà có miêu tả đối tượng đó.Vấn đề chủ yếu thiết kế hệ thống để đối sánh đối tượng ảnh với mẫu chuẩn định gán cho chúng vào lớp *)Học thày(unsupervised learning) Kỹ thuật học phải tự định lớp khác xác định tham s ố đặc trưng cho lớp Học thày đương nhiên khó khăn h n Một mặt, số lớp trước, mặt khác đặc trưng lớp trước Kỹ thuật nhằm tiến hành cách gộp nhóm chọn lựa cách tốt Bắt đầu từ tập liệu, nhiều thủ tục xử lý khác nhằm phân lớp nâng cấp dần để đạt phương án phân loại N h ì n c h u n g , d ù l m ô h ì n h n o v k ỹ t h u ậ t n h ậ n n g r a s a o , m ộ t h ệ thống nhận dạng tóm tắt theo sơ đồ sau: ~ 19 ~ Hình 3.1: Sơ đồ tổng quát hệ nhận dạng Mô hình mạng nơron nhân tạo Mạng nơron nhân tạo (Artificial Neural Network) bao gồm nút (đơnv ị x l ý ) nối với liên kết nơron Mỗi liên kết kèm theo trọng số đó, đặc trưng cho đặc tính kích hoạt nơron Có thể xem trọng số phương tiện để lưu thông tin dài hạn mạng nhiệm vụ trình huấn luyện (học) mạng cập nhật trọng số có thêm thông tin mẫu học, hay nói cách khác, trọng số điều chỉnh cho Trong mạng, số nơron nối với môi trường bên đầu ra, đầu vào Hình 3.2: Mô hình nơron nhân tạo Mỗi nơron nối với nơron khác nhận tín hiệu s j từ chúng với trọng số wj Tổng thông tin vào có trọng số là: N e t = ∑wjsj Người ta gọi thành phần tuyến tính nơron Hàm kích hoạt g (còn gọi hàm chuyển) Đóng vai trò biến đổi từ Net sang tín hiệu đầu out: out=g(Net) ~ 20 ~ Ở ngưỡng đóng vai trò làm tăng tính thích nghi khả tính toán mạng nơron Sử dụng ký pháp véctơ, S=(s1,…, sn) véctơ tín hiệu vào, W=( w1,…, wn ) vecto trọng số, ta có out=g(Net), Net=SW Trường hợp xét ngưỡng θ, ta dùng biểu diễn vecto S=(s1,…, sn, θ), W=( w1,…,wn,-1) Sử dụng mạng nơron lan truyền ngược hướng cho nhận dạng kí tự 4.1 Khái niệm chung nhận dạng mạng nơron lan truyền ngược hướng Mạng nơron nói chung mạng lan truyền ngược hướng nói riêng mô sinh học máy tính não người Nó có khả học từ kinh nghiệm hay tù tập mẫu Quá trình học mạng lan truyền ngược hướng trình học có giám sát với tập mẫu {(Xs,Ys)} cho trước, đây, Xs vecto vào (ma trận điểm ảnh kí tự) Ys giá trị ASCII kí tự Thực chất việc học mạng biến đổi ánh xạ topo ký tự xuống mặt phẳng hai chiều tương ứng với nơron Sau huấn luyện, mạng lan truyền ngược hướng hoạt động bảng tra với đầu vào vecto điểm ảnh ký tự Một ưu điểm mạng không đòi hỏi trình tiền xử lý làm ảnh, làm trơn dường biên hay khử nhiễu Quá trình tự học mạng lan truyền ngược hướng trình học có giám sát Do cần có tập mẫu chuẩn {(Xs,Ys)} Trong trính học vecto vào Xs vào mạng Kohonen, diễn trình học cạnh tranh Vecto lời giải Ys vào lớp theo hướng ngược lại làm thay đổi giá trị trọng số nơron lớp Giả thiết có mạng lan truyền ngược hướng gồm N vecto lớp Kohonen C ij trọng số nơron thứ I lớp nối với nơron thứ j lớp Kohonen Quá trình học mạng lan truyền ngược hướng bao gồm bước sau đây: - Một đối tượng gồm cặp vecto (Xs,Ys) lấy từ tập mẫu - Vecto Xs vào lớp Kohonen - Nơron trung tâm chọn theo phương trình - Tất trọng số nơron lớp Kohonen diều chỉnh theo phương trình - Các trọng số nơron lớp diều chỉnh theo phương trình: - Quá trình lặp lại đối tượng Mỗi lần tất đối tượng mẫu qua mạng gọi lượt Thông thường cần phải thực từ vài trăm đến hàng nghìn lượt để mạng ổn định Khi chọn số đặc trưng trình học amax, amin thích hợp, trình học mạng hội tụ 4.2 Nhận dạng ký tự sử dụng mạng lan truyền ngược hướng Một tập mẫu 37 ký tự từ A→Z, 0→9 tách từ tệp ảnh quét scanner Với việc phân bố ký hiệu hình bên ta dễ nhận thấy mạng đ ã phát cách khách quan đặc trưng topo ký tự thường dùng phương pháp nhận dạng cấu trúc truyền thống Các ký tự có cấu ~ 21 ~ trúc topo tương đối giống xếp đặt gần nhau, ký t ự c ó điểm kết thúc {'Z', '2'}, {'5', 'S'}; ký tự có chu trình {'O', '0',' Q ' , ' R ' , ' ' , ' D ' } ; C c k ý t ự c ó h a i c h u t r ì n h { ' B ' , ' ' } M ộ t đ ặ c đ i ể m r ấ t q u a n trọng mạng phát ký tự có "tiềm năng" giống kýtự {'H', 'E', 'W'} dễ trở thành có hai chu trình ảnh bị sai lớn Ký tự 'A' bị góc cuối bên trái trở thành số '4'; Ký tự 'U' dễ trở thành có chu trình Ngoài mạng phát ký tự có hay nhiều phần giống khó có khả mô tả chương trình nhận dạng truyền thống mật độ điểm đen {'M', 'X', 'A'}, hay nét cong đường biên ký tự 'G' 'O' Kết luận Từ ví dụ nhận dạng 37 ký tự cho thấy việc nhận dạng ký tự mạng lan truyền ngược hướng có hiệu quả, đơn giản nhanh phương pháp truyền thống Nó có khả nhận dạng ký tự từ ảnh có c h ấ t lượng tồi với số điểm ảnh sai 25% Lợi mạng loại xuất phát từ khả học đặc trưng topo mẫu Tuy nhiên với tập mẫu lớn, việc sử dụng tài nguyên máy tính lớn ~ 22 ~ PHẦN KẾT LUẬN Sự phát triển công nghệ thông tin có tác động đến nhiều mặt củađời sống xã hội phải kể đến lĩnh vực giám sát tự động Trong giám sát tự động, việc giám sát phương tiện giao thông vấn đề trội Nhiều phủ, thành phố giới xây dựng hệ thống giám sát tự động phương tiện giao thông cảu Và hệ thống giám sát lấy biển số xe mục tiêu giám sát Ở nước ta, hệ thống giám sát tự động nói chung hệ thống nhận dạng biển số xe nói riêng chưa ý tới lĩnh vực tương đối mẻ Đa phần công tác quản lý, xử lý phương tiện giao thông cần nhân lực người Báo cáo đề tài nhằm mục đích tìm hiểu toán giám sát, quản lý phương tiện giao thông cách tự động thông qua việc“Phát nhận dạng chữ, số biển số xe” Báo cao tập lớn trình bày cách hệ thống toán nhận dạng biển sốxe hướng giải sở toán bản: Phát vùng chứa biển số xe toán nhận dạng chữ số vùng phát TÀI LIỆU THAM KHẢO [1] Bài giảng Xử lý ảnh Giảng viên Nguyễn Thị Thủy Trường ĐH Nông Nghiệp Hà Nội [2]Nhập môn xử lý ảnh số Ths Lương Mạnh Bá, Pts Nguyễn Thanh T h ủ y Nxb KHKT 2003 [3]Một thuật toán phát vùng ứng dụng trình vecto hóa tự động PGS.TS Đỗ Năng Toàn.Tạp chí Tin học Điều khiển, Tập 16 số 1năm 2000 [4]Khoá luận Phạm Thị Thanh Thủy - Trường ĐH Dân Lập Hải Phòng khoá 2009 Và số tạp chí tin học khác… [...]... chứa biển số xe Kết quả: tập các vùng con I”c có khả năng chứa biển số xe Với số vùng con nhỏ hơn hẳn số vùng con mà ta thu được ban đầu trong biển đổi Hough Trong đó: H: chiều cao biển số xe; W: chiều dài biển số xe • Tiêu chí số ký tự trong vùng biển số xe Với mỗi nước thì số ký tự trong biển là khác nhau Ở nước ta, số ký tự trong biển số xe thường là 6,7,8,9 tương ứng đối với các xe quân đội, xe máy... hiện và nhận dạng chữ, số trong biển số xe Báo cao bài tập lớn đã trình bày một cách hệ thống về bài toán nhận dạng biển s xe và các hướng giải quyết trên cơ sở các bài toán cơ bản: Phát hiện vùng chứa biển số xe và bài toán nhận dạng chữ và số trong vùng được phát hiện TÀI LIỆU THAM KHẢO [1] Bài giảng Xử lý ảnh Giảng viên Nguyễn Thị Thủy Trường ĐH Nông Nghiệp Hà Nội [2]Nhập môn xử lý ảnh số Ths Lương... và xe ô tô, đối với xe máy bây giờ Mỗi ký tự có các đặc trưng sau: •0.33 ≤ H ≤ 0.85 • W ≤ 0.22 ~ 17 ~ Từ đó ta có ngưỡng sử dụng là [6,9] Nếu tìm được biển số xe thỏa mãn điều kiện, ta có thể dừng thuật toán và chuyển sang bước 3 là nhận dạng ký tự Nếu tìm tất cả các biển số xe tồn tại trong ảnh, thì bắt buộc phải duyệt qua toàn bộ vùng ảnh ~ 18 ~ Phần 3: BÀI TOÁN NHẬN DẠNG KÝ TỰ 1 Tổng quan về nhận. .. đứng Và khi trở thành hình dạng chữ nhật, thì biển số xe mới thể hiện rõ tính tỷ lệ chiều dài/rộng Và ta có các tiêu chí dưới đây • Tiêu chí tỷ lệ chiều dài/rộng Với mỗi quốc gia, thì biển số xe có kích thước nhất định Và thể hiện thông qua tỷ lệ giữa các cạnh Ví dụ với biển số xe ở nước ta: với biển số có một hàng thì tỷ lệ nằm trong khoảng 3.5 ≤ W/ H ≤ 4.5 và với biển số xe có hai hàngthì tỷ lệ là... chứa biển số xe K ế t q u ả c ủ a b à i t o á n t r ê n đ ư a r a t ậ p c á c v ù n g c o n Ic c ó k h ả n ă n g c h ứ a biển số xe Các vùng con này là các tứ giác Tuy nhiên, số lượng các vùng con I c là khác nhiều, chưa thể đảm bảo chính xác vùng nào chứa biển số xe đ ể t h ự c hiện việc cuối cùng là nhận dạng ảnh Vì vậy, phải loại bỏ đi những vùng con trong Ic không có khả năng chứa biến số xe Sơ... khả năng chứa biến số xe Sơ đồ thực hiện bài toán này: ~ 16 ~ Hình 2.6: Sơ đồ thực hiện bài toán này • Bước ban đầu: Ta biết: Biển số xe trên thực tế có hình dạng là hình chữ nhật Vì vậy, khi chụp ảnh của biển số xe sẽ có dạng tựa hình bình hành Trường hợp tối ưu là ảnh hình chữ nhật Do đó, trong quá trình xét duyệt các vùng con I c , nếu hình nào không có hình dạng tựa hình bình hành thì có thể loại... Và các hệ thống giám sát đều lấy biển số xe là mục tiêu giám sát Ở nước ta, các hệ thống giám sát tự động nói chung và các hệ thống nhận dạng biển số xe nói riêng chưa được chú ý tới và nó cũng là một lĩnh vực tương đối mới mẻ Đa phần các công tác quản lý, xử lý đối với các phương tiện giao thông đều cần nhân lực là con người Báo cáo đề tài nhằm mục đích tìm hiểu bài toán giám sát, quản lý các phương... a u , nhưng với mỗi vùng con đang còn một lượng khá lớn Ta không chỉ dừng lại trong việc tìm ra các vùng con Ic, màcó thể tìm tiếp những vùng con có xác suất chứa biển số xe, loại đi những vùng mà khả năng tồn tạicủa biển số xe là rất ít Vậy có, tập các vùng con Ic được thu hẹp, làm cho không gian bài toán nhận dạng thu hẹp lại Vì vậy, cách giải quyết này trở nên nhanh h ơ n , h i ệ u q u ả h ơ n c... nhật Lý do để đưa các hình tứ giác thành hình chữ nhật vì biển số xe có dạng hình chữ nhật, các ký tự nằm trong vùng biển số xe vuông góc với cạnh dài của hình chữ nhật Khi thu được ảnh, có nhiều nguyên nhân làm cho ảnh biển số xe b ị n gh i ê n g K é o t h e o đ ó , c á c k ý t ự c ũ n g b ị n gh i ê n g t h e o , l à m c h o v i ệ c n h ậ n dạng trở nên không chính xác Việc nắn tứ giác trở lại thành... supervisedlearning) 2 Bản chất của quá trình nhận dạng Quá trình nhận dạng gồm 3 giai đoạn chính: - Lựa chọn mô hình biểu diễn đối tượng - Lựa chọn luật ra quyết định (phương pháp nhận dạng) và suy diễn quá trình học - Học nhận dạng Khi mô hình biểu diễn đối tượng đã được xác định, có thể là định lượng (mô hình tham số) hay định tính (mô hình cấu trúc), quá trình nhận dạng chuyển s a n g g i a i đoạn học Học ... chứa biển số xe cao •Số lượng ký tự biển số xe Mỗi ký tự thường có tỷ lệ kích thước chiều rộng, chiều cao tương ứng với chiều dài rộng biển số xe Ví dụ, chiều cao ký tự nhỏ 85% chiều cao biển số... - Thanh Hóa 37 - Nghệ An 38 - Hà Tĩnh 43 - Đà Nẵng 47 - Đắc Lắc 48 - Đắc Nông 49 - Lâm Đồng 50 đến 59 - TP Hồ ChíMinh 60 - Đồng Nai 61 - Bình Dương 62 - Long An 63 - Tiền Giang 64 - Vĩnh Long... công nghiệp sản xu t phương tiện giao thông lại ngành có tốc độ phát triển cực nhanh Sự phát triển ấy, thể rõ ràng thông qua hình ảnh c c p h n g tiện giao thông giới ngày tăng cao đa dạng Tuy