ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ LÊ THỊ THU HẰNG NGHIÊN CỨU VỀ MẠNG NEURAL TÍCH CHẬP VÀ ỨNG DỤNG CHO BÀI TOÁN NHẬN DẠNG BIỂN SỐ XE LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI, 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ LÊ THỊ THU HẰNG NGHIÊN CỨU VỀ MẠNG NEURAL TÍCH CHẬP VÀ ỨNG DỤNG CHO BÀI TOÁN NHẬN DẠNG BIỂN SỐ XE Ngành : Công nghệ thông tin Chuyên ngành : Kĩ thuật phần mềm Mã số : 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: TS.Nguyễn Văn Vinh HÀ NỘI, 2016 LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu riêng dƣới hƣớng dẫn Tiến sĩ Nguyễn Văn Vinh Các kết đạt đƣợc luận văn sản phẩm riêng cá nhân, không chép ngƣời khác Nội dung luận văn có tham khảo sử dụng số thông tin, tài liệu từ nguồn sách, tạp chí đƣợc liệt kê danh mục tài liệu tham khảo Tác giả luận văn Lê Thị Thu Hằng MỤC LỤC LỜI MỞ ĐẦU LỜI CẢM ƠN CHƢƠNG 1: MẠNG NEURAL VÀ MẠNG NEURAL TÍCH CHẬP Mạng neural mạng neural lan truyền ngƣợc 1.1 Giới thiệu mạng Neural 1.2 Một số kiểu mạng Neural 10 1.3 Mạng Neural lan truyền ngƣợc MLP 12 Mạng neural tích chập 21 2.1 Định nghĩa mạng neural tích chập 21 2.2 Convolution (tích chập) 22 2.3 Mô hình mạng neural tích chập 24 2.4 Xây dựng mạng neural tích chập 26 CHƢƠNG 2: TỔNG QUAN VỀ NHẬN DẠNG BIỂN SỐ XE 39 2.1 Khái niệm hệ thống nhận dạng biển số xe 39 2.1.1 Khái niệm 39 2.1.2 Lịch sử phát triển 39 2.1.3 Cách thức hoạt động hệ thống nhận dạng biển số xe 40 2.1.4 Phân loại ứng dụng nhận dạng biển số xe 40 2.1.5 Ứng dụng thực tiễn Việt Nam 41 2.1.6 Phân loại biển số xe 42 2.2 Phƣơng pháp nhận dạng biển số xe từ ảnh chụp camera 44 2.2.1 Phƣơng pháp chuyển đổi Hough 44 2.2.2 Phƣơng pháp hình thái học 45 2.3 Phƣơng pháp nhận dạng ký tự biển số xe 46 2.4 Phạm vi nghiên cứu hƣớng giải 47 CHƢƠNG 3: ÁP DỤNG MẠNG NEURAL TÍCH CHẬP TRONG NHẬN DẠNG KÝ TỰ 49 3.1 Xây dựng mô hình mạng 49 3.2 Kết nhận dạng ký tự viết tay 52 3.3 Kết thực nghiệm nhận dạng biển số xe với mạng Neural tích chập54 3.4 Kết luận 55 3.5 Hƣớng phát triển toán: 56 DANH MỤC TÀI LIỆU THAM KHẢO 58 LỜI MỞ ĐẦU Deep Learning thuật toán dựa số ý tƣởng từ não tới việc tiếp thu nhiều tầng biểu đạt, cụ thể lẫn trừu tƣợng, qua làm rõ nghĩa loại liệu Deep Learning đƣợc ứng dụng nhận diện hình ảnh, nhận diện giọng nói, xử lý ngôn ngữ tự nhiên Hiện nhiều toán nhận dạng sử dụng deep learning để giải deep learning giải toán với số lƣợng lớn, kích thƣớc đầu vào lớn với hiệu nhƣ độ xác vƣợt trội so với phƣơng pháp phân lớp truyền thống Những năm gần đây, ta chứng kiến đƣợc nhiều thành tựu vƣợt bậc ngành Thị giác máy tính (Computer Vision) Các hệ thống xử lý ảnh lớn nhƣ Facebook, Google hay Amazon đƣa vào sản phẩm chức thông minh nhƣ nhận diện khuôn mặt ngƣời dùng, phát triển xe tự lái hay drone giao hàng tự động Convolutional Neural Network (CNNs – Mạng nơ-ron tích chập) mô hình Deep Learning tiên tiến giúp cho xây dựng đƣợc hệ thống thông minh với độ xác cao nhƣ Trong luận văn cao học này, em vào nghiên cứu mạng neural nhƣ mạng Convolution (tích chập) nhƣ ý tƣởng mô hình CNNs phân lớp ảnh (Image Classification), áp dụng việc xây dựng hệ thống nhận dạng biển số xe tự động Nội dung báo cáo bao gồm chƣơng  Chƣơng 1: Mạng neural mạng neural tích chập  Chƣơng 2: Tổng quan nhận dạng biển số xe  Chƣơng 3: Áp dụng mạng neural tích chập nhận dạng ký tự LỜI CẢM ƠN Em xin chân thành cảm ơn thầy, cô khoa Công nghệ Thông tinTrƣờng Đại học Công nghệ - Đại học quốc gia Hà Nội tận tình dạy dỗ, truyền đạt cho em nhiều kiến thức quý báu Em xin tỏ lòng biết ơn sâu sắc đến thầy Ts Nguyễn Văn Vinh, ngƣời tận tình giúp đỡ truyền đạt nhiều kinh nghiệm để đề tài đƣợc thực hoàn thành Xin chân thành cảm ơn bạn khoa Công Nghệ Thông Tin, Trƣờng ĐH Công nghệ giúp đỡ, động viên nhiều trình thực đề tài Em xin chân thành cảm ơn ! Hà nội, tháng năm 2016 Học viên Lê Thị Thu Hằng CHƢƠNG 1: MẠNG NEURAL VÀ MẠNG NEURAL TÍCH CHẬP Mạng neural mạng neural lan truyền ngƣợc 1.1 Giới thiệu mạng Neural Định nghĩa: Mạng nơron nhân tạo, Artificial Neural Network (ANN) mô hình xử lý thông tin theo cách thức xử lý thông tin hệ nơron sinh học Nó đƣợc tạo nên từ số lƣợng lớn phần tử (nơron) kết nối với thông qua liên kết (trọng số liên kết) làm việc nhƣ thể thống để giải vấn đề cụ thể Một mạng nơron nhân tạo đƣợc cấu hình cho ứng dụng cụ thể (nhận dạng mẫu, phân loại liệu, ) thông qua trình học từ tập mẫu huấn luyện Về chất học trình hiệu chỉnh trọng số liên kết nơron Cấu trúc neural nhân tạo: Hình 1.1 Cấu tạo Neural Các thành phần nơron nhân tạo bao gồm: • Tập đầu vào: Là tín hiệu vào (input signals) nơron, tín hiệu thƣờng đƣợc đƣa vào dƣới dạng vector N chiều • Tập liên kết: Mỗi liên kết đƣợc thể trọng số liên kết – Synaptic weight Trọng số liên kết tín hiệu vào thứ j với nơron k thƣờng đƣợc kí hiệu wkj Thông thƣờng, trọng số đƣợc khởi tạo cách ngẫu nhiên thời điểm khởi tạo mạng đƣợc cập nhật liên tục trình học mạng • Bộ tổng (Summing function): Thƣờng dùng để tính tổng tích đầu vào với trọng số liên kết • Ngƣỡng (còn gọi độ lệch - bias): Ngƣỡng thƣờng đƣợc đƣa vào nhƣ thành phần hàm truyền • Hàm truyền (Transfer function): Hàm đƣợc dùng để giới hạn phạm vi đầu nơron Nó nhận đầu vào kết hàm tổng ngƣỡng • Đầu ra: Là tín hiệu đầu nơron, với nơron có tối đa đầu Xét mặt toán học, cấu trúc nơron k, đƣợc mô tả cặp biểu thức sau: Trong đó: x1, x2, , xp: tín hiệu vào; (wk1, wk2, , wkp) trọng số liên kết nơron thứ k; uk hàm tổng; bk ngƣỡng; f hàm truyền yk tín hiệu đầu nơron Nhƣ nơron nhân tạo nhận tín hiệu đầu vào, xử lý (nhân tín hiệu với trọng số liên kết, tính tổng tích thu đƣợc gửi kết tới hàm truyền), cho tín hiệu đầu ( kết hàm truyền) Bảng 1.1 Một số hàm truyền thông dụng Hàm truyền Đồ thị Định nghĩa Symmetrical Hard Limit (hardlims) Linear (purelin) Saturating Linear (satlin) Log-Sigmoid (logsig) 1.2 Một số kiểu mạng Neural Cách thức kết nối nơron mạng xác định kiến trúc (topology) mạng Các nơron mạng kết nối đầy đủ (fully connected) tức nơron đƣợc kết nối với tất nơron khác, kết nối cục (partially connected) chẳng hạn kết nối nơron tầng khác Ngƣời ta chia hai loại kiến trúc mạng chính: ♦ Tự kết hợp (autoassociative): mạng có nơron đầu vào nơron đầu Mạng Hopfield kiểu mạng tự kết hợp 28 Hòa bình 69 Cà mau 93 Bình phƣớc 29-32 Hà nội 70 Tây Ninh 94 Bạc Liêu 33 Hà tây 71 Bến tre 95 Hậu giang 34 Hải dƣơng 72 BR-VT 97 Bắc cạn 35 Ninh bình 73 Quảng bình 98 Bắc giang 36 Thanh hóa 74 Quảng trị 99 Bắc ninh 37 Nghệ an 75 Huế 38 Hà tĩnh 76 Quảng ngãi Các xe mang biển A: Xe Công An - Cảnh Sát tƣơng ứng với tỉnh 2.2 Phƣơng pháp nhận dạng biển số xe từ ảnh chụp camera Có nhiều phƣơng pháp để giải vấn đề nhƣng quy phƣơng pháp sau đây:  Phƣơng pháp dùng chuyển đổi Hough: dựa vào đặc trƣng cạnh biên trích đƣợc, áp dụng phƣơng pháp xác định đƣờng thẳng nhƣ phép biến đổi Hough để phát cặp đƣờng thẳng gần song song ghép thành ảnh biển số Giao điểm đoạn thẳng vùng bao chứa biển số xe  Phƣơng pháp hình thái học: dựa vào đặc trƣng hình thái biển số xe nhƣ màu sắc, độ sáng, đối xứng… để xác định trích ảnh biển số  Phƣơng pháp khớp mẫu: xem biển số đối tƣợng có khung riêng sử dụng cửa sổ dò để trích đối tƣợng đƣa qua mạng noron (neural network), trí tuệ nhân tạo (artificial intelligence) chẳng hạn để phân loại có phải vùng biển số hay không 2.2.1 Phƣơng pháp chuyển đổi Hough Dò đặc trƣng biên ngang, dọc: làm bật viền bao tất đối tƣợng ảnh có viền bao biển số Phƣơng pháp sử dụng lọc gradient để trích đƣợc đặc trƣng cạnh biên Nghiên cứu sử dụng lọc Sobel để tiến hành dò Dùng chuyển đổi Hough tìm đoạn thẳng ngang dọc cở sở ảnh nhị phân biên cạnh thu đƣợc từ bƣớc Tách đoạn thẳng ngang, dọc cạnh biển số Trích ứng viên biển số: thành lập hình chữ nhật ứng viên cho biển số với tiêu chí cụ thể đoạn thẳng thu đƣợc qua đánh giá kích thƣớc, tỉ lệ chiều rộng chiều cao so với ngƣỡng Ƣu điểm: độ xác cao, không phụ thuộc vào màu sắc biển số xe Nhƣợc điểm: Độ phức tạp tính toán cao Khi ảnh có thêm nhiêu đối tƣợng khác khối lƣợng tính toán tăng lên nhiều mục đích phải xác định đƣợc vùng chứa biển số xe phụ thuộc lớn vào bƣớc trích đặc trƣng biên cạnh dẫn đến đoạn thẳng ứng viên thu đƣợc thƣờng ngắn nhiều so với chiều dọc nhƣ chiều ngang biển số 2.2.2 Phƣơng pháp hình thái học Nhóm tác giả Chirag N Paunwala, 2012 đại diện cho phƣơng pháp này, với kết nhận dạng tốt 99.5% Nội dung phƣơng pháp: Dựa vào đặc trƣng quan trọng biển số xe máy có độ sáng (tức mức xám chuyển ảnh dạng xám) tƣơng đối khác so với vùng khác ảnh, nhƣ phân bố mức xám đồng biển số đƣợc nhị phân hoá, vùng biển số đối tƣợng có đặc thù hình thái, phân biệt đƣợc với vùng khác Nhƣ bƣớc thực là:  Xác định ngƣỡng xám Thực chất phƣơng pháp chọn cho ngƣỡng xám để thực Thay vào đó, ngƣỡng xám đƣợc quét khoảng Thông qua lƣợc đồ xám ta nhận thấy vùng biển số thƣờng có độ sáng tƣơng đối lớn (từ 130-200) ta xác định ngƣỡng xám cần chọn thuộc vùng nhờ ta giảm đƣợc thời gian lặp tìm ngƣỡng xám  Nhị phân hoá ảnh xám đầu vào với ngƣỡng xám xác định  Lọc nhiễu gây ảnh hƣởng xấu tới đối tƣợng biển số  Gắn nhãn cho đối tƣợng ảnh nhị phân thu đƣợc  Trích đối tƣợng ứng viên biển số theo tiêu chí cụ thể biển số xe chiều cao, chiều rộng, tỉ lệ cạnh, diện tích, trọng tâm, số điểm cắt… Hình 2.1 Ảnh xám lược đồ xám ảnh 2.3 Phƣơng pháp nhận dạng ký tự biển số xe Phƣơng pháp phổ biến để nhận dạng ký tự sử dụng mạng noron (hoặc SVM, K-NN,…), tức huấn luyện cho máy tính để nhận dạng ký tự Tuy nhiên số lƣợng ký tự biển số không nhiều nên để đảm bảo tốc độ xử lý, sử dụng phƣơng pháp Hình thái học để giải khâu ký tự có đặc điểm hình thái đặc biệt phân biệt với chẳng hạn nhƣ “0” có lỗ trống giữa, “8” có lỗ trống hay “X” đối xứng trục dọc ngang…Khâu đƣợc thực sở xây dựng nhị phân tối ƣu đặc điểm hình thái nên đảm bảo tính khoa học tính xác cao Thuật toán bƣớc nhƣ sau:  Quan sát chọn đặc tính phân biệt ký tự để xây dựng ma trận đặc tính  Xây dựng nhị phân tối ƣu từ ma trận đặc tính tập ký tự thu đƣợc  Quan sát nhị phân, kiểm tra số đặc tính nhƣ đủ để nhận dạng chƣa, thiếu (dƣ) phải bổ sung (bỏ đi) quay lại bƣớc  Tiến hành nhận dạng ký tự sở nhị phân tối ƣu tìm đƣợc 2.4 Phạm vi nghiên cứu hƣớng giải Trong đồ án này, công việc cần phải giải vấn đề phát vùng chứa biển số xe nhận dạng ký tự biển số Với toán phát vùng chứa biển số cách tiếp cận theo phƣơng pháp hình thái học để phát vùng biển số cho biển đăng ký xe Việt Nam Bài toán nhận dạng ký tự sử dụng mô hình mạng Neural tích chập để tiến hành nhận dạng Một số đặc điểm để nhận dạng biển số xe Việt Nam a) Tiêu chuẩn kích thước (theo quy định Bộ Giao Thông Vận Tải) Ở nƣớc thƣờng có tiêu chuẩn kích thƣớc định Đối với nƣớc ta, biển số xe qui định đồng cho loại xe, tỷ lệ chiều dài, rộng cho loại xe nhƣ Quy định kích thƣớc nhƣ sau:  Biển ô tô - Chiều cao: 110 mm Chiều rộng: 470 mm (biển dài) - Chiều cao: 200 mm Chiều rộng: 280 mm (biển vuông)  Biển xe máy: - Chiều cao: 140 mm Chiều rộng: 190 mm Nhƣ vậy, tỉ lệ Chiều cao / Chiều rộng là:  0.18 < Chiều cao/Chiều rộng < 0.3 (biển số có hàng)  0.6 < Chiều cao/Chiều rộng < 0.85 (biển số xe có hàng) Từ đặc điểm này, ta xác định đƣợc vùng có khả biển số theo ràng buộc kích thƣớc b) Tiêu chuẩn ký tự Theo đo đạc biển số thực tế, ký tự thƣờng có tỷ lệ kích thƣớc chiều rộng, chiều cao tƣơng ứng với chiều dài rộng biển số xe Ví dụ, chiều cao ký tự nhỏ 85% chiều cao biển số xe lớn 60% chiều cao biến xe biển số xe có hàng, với biển số xe có hai hàng chiều cao kí tự không 50% chiều cao biển số xe Chiều rộng ký tự thƣờng không lớn 20% chiều cao ký tự Mỗi ký tự biển số xe đƣợc xem nhƣ vùng liên thông hay contour (bao đóng) Do đó, đếm số contours thỏa mãn tính chất ký tự Ở nƣớc ta có số ký tự biển số xe nằm khoảng đến ký tự Từ phân tích trên, tóm tắt phƣơng pháp thực chƣơng trình nhận dạng nhƣ sau: Bước 1: Ảnh đầu vào ảnh màu BGR, tiền xử lý thuật toán xử lý ảnh Bước 2: Tìm contour ảnh xe (Mỗi contour vùng bao kín, vùng biển số vùng bao kín nên tương ứng với contour) Bước 3: Lọc contour theo tiêu chí nhƣ kích thƣớc, góc, tỉ lệ, số kí tự,… Bước 4: Xử lý kết đầu để lấy vùng biển số Bước 5: Tách ký tự vùng biển số tìm đƣợc Bước 6: Đƣa tập ký tự tách vào mạng Neural để nhận dạng Bước 7: Hiển thị kết lên giao diện chƣơng trình CHƢƠNG 3: ÁP DỤNG MẠNG NEURAL TÍCH CHẬP TRONG NHẬN DẠNG KÝ TỰ 3.1 Xây dựng mô hình mạng Sau tách đƣợc ký tự dƣới dạng ảnh từ biển số xe, bƣớc cần nhận dạng ký tự từ ảnh chuyển text Để nhận dạng đƣợc ký tự có nhiều phƣơng pháp nhận dạng, KNN, SVM, mạng neural lan truyền ngƣợc, Ở sử dụng mạng neural lan tích chập nhận dạng ký tự số nguyên mạng neural tích chập có độ xác cao, hiệu tốc độ xử lý tính toán nhanh mạng trƣớc Mô hình mạng neural tích chập đƣợc xây dựng để nhận dạng ký tự nhƣ sau: Hình 3.1 Mô hình mạng neural tích chập nhận dạng ký tự viết tay Ảnh đầu vào ảnh thô kích thƣớc 32x32 pixel Chúng ta sử dụng ma trận chập kích thƣớc 5x5 cho ma trận ảnh đặc trƣng sau chập lần ma trận ánh xạ đặc trƣng tầng chập C1, ma trận ánh xạ đặc trƣng có kích thƣớc 28x28 Tức ảnh gốc ban đầu đƣợc phân tích theo chiều đặc trƣng khác với ma trận chập 5x5 Do kích thƣớc ảnh đặc trƣng tầng chập C1 có kích thƣớc 28x28 lớn, bƣớc thực phép giảm số chiều ma trận đặc trƣng (down Sampling – hay Pooling – hay subsampling) với hệ số tỷ lệ sử dụng hàm max: Ví dụ ô cạnh ma trận đặc trƣng có giá trị 3,5 tạo thành ô ma trận đặc trƣng subsamling : max(3,5)=5 Nhƣ với ma trận đặc trƣng kích thƣớc 28x28 tầng chập C1 ta tạo đƣợc ma trận kích thƣớc 14x14 tầng subsampling (S2) Tiếp tục sử dụng 16 ma trận chập kích thƣớc 5x5 chập với ma trận tầng S2 ta đƣợc 16 ma trận ánh xạ đặc trƣng kích thƣớc 10x10 tầng chập C3 Do kích thƣớc ảnh đặc trƣng tầng chập C3 có kích thƣớc 14x14 lớn, bƣớc thực phép giảm số chiều ma trận đặc trƣng (down Sampling – hay Pooling – hay subsampling) với hệ số tỷ lệ sử dụng hàm max Kết với 16 ma trận đặc trƣng kích thƣớc 10x10 tầng chập C3 ta tạo đƣợc 16 ma trận kích thƣớc 5x5 tầng subsampling (S4) Tiếp tục sử dụng 120 ma trận chập kích thƣớc 5x5 chập với ma trận tầng S4 ta đƣợc 120 ma trận ánh xạ đặc trƣng kích thƣớc 1x1 tầng chập C5 Do đặc trƣng tầng chập C5 điểm đặc trƣng 1x1, ta không thực phép toán subsampling Tiếp theo ta sử dụng phép toán max để giảm kích thƣớc tầng chập C5 tầng C5 có tới 120 node đặc trƣng, ta dùng hàm max giảm xuống 84 node tầng F6 Lƣu ý khối tầng từ đầu tới F6 ta sử dụng hàm kích hoạt Sigmoid dạng : f (x)= y=1/(1+e-x) để tính toán giá trị node mạng, tức y‟ = f(A*I) A ảnh chập, I ma trận chập, y‟ giá trị node ma trận ánh xạ đặc trƣng Với 84 node tầng F6, sử dụng mô hình mạng neural truyền thẳng với kết nối Fully Connection, với 10 outputs đƣợc thiết kế nhƣ sau: Hình 3.2 Minh họa Fully Connection Với giá trị đƣợc tính nhƣ công thức Ta hình dung mô hình nhận dạng chữ viết đƣợc thực nhƣ sau: Hình 3.3 Minh họa bước tích chập 3.2 Kết nhận dạng ký tự viết tay Ta xây dựng phần mềm nhận dạng biển số xe dựa mạng neural tích chập, với phần nhận dạng ký tự đƣợc trình bày trên, ta có kết thực nghiệm nhận dạng chữ viết tay với phần mềm mạng neural tích chập: Hình 3.4 Kết thực nghiệm CNN Quá trình thử nghiệm với 1000 chữ viết tay với phần mềm ta thấy kết xác với 99.6%, số kết sai viết phân biệt đƣợc , ví dụ nhƣ với chữ viết sau: Hình 3.6 Một số mẫu chữ lỗi Với phần mềm nhận dạng chữ viết tay kết thu đƣợc gần nhƣ có độ xác tuyệt đối, ta áp dụng nhận dạng chữ viết tay việc nhận dạng biển số xe 3.3 Kết thực nghiệm nhận dạng biển số xe với mạng Neural tích chập Chạy ứng dụng nhận dạng biển số, đƣa lần lƣợt 376 ảnh liệu xe để kiểm tra kết phát biển số, tách ký tự nhận dạng ký tự chƣơng trình, ghi nhận kết Tỉ lệ biển nhận dạng vùng biển số: 372/376 ~ 98% Tỉ lệ biển tách đầy đủ ký tự: 330/335 ~ 98% Hình 3.3 Một số biển không tách ký tự Chữ số bị dính với vật bên đinh ốc, ký tự bị mờ nét, nét, loang lổ, Kết nhận dạng chung ứng dụng từ khâu phát biển số, đến tách ký tự nhận dạng ký tự đạt xấp xỉ 65% với liệu có nhiều ảnh không đạt tiêu chuẩn nhƣ bị bóng mờ, dơ, nhòe,… Với ảnh biển số sẽ, rõ ràng, không phụ kiện gắn biển, tỉ lệ nhận dạng đạt tới hớn 70% 3.4 Kết luận Demo nhận dạng với phƣơng pháp trình bày đồ án đạt đƣợc số điểm nhƣ:  Nắm đƣợc vấn đề ảnh số xử lý ảnh số  Sử dụng tƣơng đối tốt thƣ viện EmguCV cho C# để xử lý ảnh  Nắm đƣợc đặc điểm toán nhận dạng nói chung nhận dạng biển số xe nói riêng  Tìm hiểu đƣợc số phƣơng pháp nhận dạng biển số xe, nắm đƣợc ƣu nhƣợc điểm phƣơng pháp  Demo Test thử thành công liệu mẫu với tỉ lệ nhận dạng xác 99% Ƣu điểm: thuật toán cài đặt nhanh, tìm vùng biển số cách ly ký tự với tỉ lệ thành công cao (ở biểnsố thông thƣờng), tìm đƣợc ảnh tự nhiên, vùng biển số bị nghiêng Bên cạnh đó, tồn số điểm hạn chế chƣa giải đƣợc nhƣ:  Tỉ lệ nhận dạng phụ thuộc nhiều vào điều kiện ánh sáng, phản chiếu che bóng  Với biển số có đƣờng viền phức tạp mức độ nhận dạng không cao Chỉ giới hạn ảnh chụp góc 40 độ để nhận dạng đƣợc tốt, góc lớn khả nhận dạng đƣợc giảm  Ảnh xe bóng tối hay ban đêm đèn flash khả nhận dạng thấp thiếu sáng 3.5 Hƣớng phát triển toán: - Nâng cao hiệu chƣơng trình, tách ly kí tự biển số trƣờng hợp biển số bị nhiều nhiễu, mát thông tin nhiễu từ điều kiện môi trƣờng, tìm vùng biển số ảnh có độ tƣơng phản biển số thấp Đặc biệt biển xe có màu đỏ chữ trắng - Phát triển chƣơng trình thành module phần cứng Có khả tƣơng thích với thiết bị quan sát nhƣ camera - Nghiên cứu theo hƣớng ứng dụng cụ thể nhƣ : giám sát phƣơng tiện giao thông, xử lý vi phạm giao thông, quản lý xe bãi giữ xe, kho vật tƣ… DANH MỤC TÀI LIỆU THAM KHẢO [1] http://neuralnetworksanddeeplearning.com/chap6.html [2] http://neuralnetworksanddeeplearning.com/chap2.html [3].Y LeCun and Y Bengio.“Convolutional networks for images, speech, and time-series.” In M A Arbib, editor, The Handbook of Brain Theory and Neural Networks MIT Press, 1995 [4].Fabien Lauer, ChingY Suen, Gérard Bloch,”A trainable feature extractor for handwritten digit recognition“,Elsevier, october 2006 [5].Patrice Y Simard, Dave Steinkraus, John Platt, "Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis," International Conference on Document Analysis and Recognition (ICDAR), IEEE [6] Chirag N Paunwala & Suprava Patnaik “A Novel Multiple License Plate Extraction Techniquefor Complex Background in Indian Traffic Conditions”, Sarvajanik College of Engineering and Technology, 2010 [7] Choo Kar Soon, Kueh Chiung Lin, Chung Ying Jeng and Shahrel A Suandi , “Malaysian Car Number Plate Detection and Recognition System”, 2012 [8] Tran Duc Duan, Duong Anh Duc, Tran Le Hong Du, “Combining Hough Transform and Contour Algorithm for detecting Vehicles License-Plates”, University of Natural Sciences, 2004 [9] Nobuyuki Otsu, "A threshold selection method from gray-level histograms”, 1979 [10] Suman K Mitra “Recognition of Car License Plate using Morphology”, hirubhai Ambani Institute of Information and Communication Technology, Gandhinagar, Gujarat, India [11] Các tài liệu www.opencv.com EmguCV www.emgucv.com OPenCV