ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ LÊ THỊ THU HẰNG NGHIÊN CỨU VỀ MẠNG NƠRON TÍCH CHẬP VÀ ỨNG DỤNG CHO BÀI TỐN NHẬN DẠNG BIỂN SỐ XE LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI, 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ LÊ THỊ THU HẰNG NGHIÊN CỨU VỀ MẠNG NƠRON TÍCH CHẬP VÀ ỨNG DỤNG CHO BÀI TỐN NHẬN DẠNG BIỂN SỐ XE Ngành : Cơng nghệ thông tin Chuyên ngành : Kĩ thuật phần mềm Mã số : 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: TS.Nguyễn Văn Vinh HÀ NỘI, 2016 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi dƣới hƣớng dẫn Tiến sĩ Nguyễn Văn Vinh Các kết đạt đƣợc luận văn sản phẩm riêng cá nhân, không chép ngƣời khác Nội dung luận văn có tham khảo sử dụng số thông tin, tài liệu từ nguồn sách, tạp chí đƣợc liệt kê danh mục tài liệu tham khảo Tác giả luận văn Lê Thị Thu Hằng LỜI CẢM ƠN Em xin chân thành cảm ơn thầy, cô khoa Công nghệ Thông tinTrƣờng Đại học Công nghệ - Đại học quốc gia Hà Nội tận tình dạy dỗ, truyền đạt cho em nhiều kiến thức quý báu Em xin tỏ lòng biết ơn sâu sắc đến thầy Ts Nguyễn Văn Vinh, ngƣời tận tình giúp đỡ truyền đạt nhiều kinh nghiệm để đề tài đƣợc thực hoàn thành Xin chân thành cảm ơn bạn khoa Công Nghệ Thông Tin, Trƣờng ĐH Công nghệ giúp đỡ, động viên nhiều trình thực đề tài Em xin chân thành cảm ơn ! Hà nội, tháng năm 2016 Học viên Lê Thị Thu Hằng MỤC LỤC LỜI MỞ ĐẦU 10 CHƢƠNG 1: MẠNG NƠRON 12 VÀ MẠNG NƠRON TÍCH CHẬP 12 1.1 Mạng nơron mạng nơron lan truyền ngƣợc 12 1.1.1 Giới thiệu mạng Nơron 12 1.1.2 Kiến trúc mạng truyền thẳng 14 1.1.3 Mạng nơron truyền thẳng thuật toán lan truyền ngƣợc 15 1.2 Mạng nơron tích chập 23 1.2.1 Định nghĩa mạng nơron tích chập [1] 23 1.2.2 Tích chập (convolution) 23 1.2.3 Mơ hình mạng nơron tích chập 25 1.2.4 Xây dựng mạng nơron tích chập 26 CHƢƠNG 2: TỔNG QUAN VỀ NHẬN DẠNG BIỂN SỐ XE 37 2.1 Khái niệm hệ thống nhận dạng biển số xe 37 2.1.1 Khái niệm 37 2.1.2 Lịch sử phát triển 37 2.1.3 Cách thức hoạt động hệ thống nhận dạng biển số xe 38 2.1.4 Phân loại ứng dụng nhận dạng biển số xe 38 2.1.5 Ứng dụng thực tiễn Việt Nam 39 2.1.6 Phân loại biển số xe 40 2.2 Phƣơng pháp phát biển số xe từ ảnh chụp camera 41 2.2.1 Phƣơng pháp chuyển đổi Hough 42 2.2.2 Phƣơng pháp hình thái học 42 2.3 Quy trình nhận dạng biển số xe 43 CHƢƠNG 3: ÁP DỤNG MẠNG NƠRON TÍCH CHẬP 45 TRONG NHẬN DẠNG KÝ TỰ 45 3.1 Xây dựng mơ hình mạng 45 3.2 Cấu hình thử nghiệm 47 3.3 Thiết kế mạng cho toán: 48 3.4 Kết thực nghiệm nhận dạng biển số xe với mạng nơron tích chập 48 KẾT LUẬN 55 TÀI LIỆU THAM KHẢO 56 DANH MỤC BẢNG Bảng 1.1 Một số hàm truyền thông dụng 14 Bảng 2.1 Quy định biển số cho quân đội 40 DANH MỤC HÌNH Hình 1.1 Cấu tạo Nơron 12 Hình 1.2 Mạng truyền thẳng 15 Hình 1.3 Mạng nơron truyền thẳng nhiều tầng 16 Hình 1.4 Ảnh hƣởng kích thƣớc mẫu 21 Hình 1.5 Minh họa tích chập 24 Hình 1.6 Ảnh mờ sau chập 24 Hình 1.7 Ảnh đƣợc phát biên sau chập 25 Hình 1.8 Mơ hình mạng nơron tích chập 26 Hình 1.9 Mơ hình mạng perceptron nhiều tầng 27 Hình 2.1 Ảnh xám lƣợc đồ xám ảnh 43 Hình 3.1 Mơ hình mạng nơron tích chập nhận dạng ký tự số 45 Hình 3.2 Minh họa mạng liên kết đầy đủ (full connection) 47 Hình 3.3 Mơ hình nhận dạng kí tự số 47 Hình 3.4 Mơ hình mạng cho toán 48 Hình 3.5 Một số biển khơng tách ký tự 49 DANH MỤC TỪ VIẾT TẮT Từ viết tắt Tiếng anh Tiếng việt CNNs Convolution Neural Networks Mạng nơron tích chập ANN Artificial Neural Network Mạng nơron nhân tạo MLP Multi Layer Perceptron Mạng perceptron nhiều tầng CONV Convolution Tích chập ALPR Automatic License Plate Number Nhận dạng biển số xe tự động MNIST Mixed National Institute of Standards and Technology database Viện liên hợp quốc gia Tiêu chuẩn Công nghệ sở liệu OCR Optical Character Recognition Nhận dạng ký tự quang học GPU Graphics Processing Unit Khối xử lý đồ họa LỜI MỞ ĐẦU Mạng Nơron Nhân Tạo -Artificial Neural Network (ANN) mạng có khả mơ học hiệu ANN mô gần nhƣ hàm mục tiêu với số biến nhập xuất tuỳ ý, điểm có lẽ chƣa có phƣơng pháp trƣớc đạt đƣợc ANN có ƣu điểm tuyệt vời khác, khả học Một ANN gần giống nhƣ đối tƣợng tƣ Mỗi có kiến thức (Data mới) ta lại đƣa cho ANN học Khả mạng nơron nhân tạo cần thiết cho vấn đề có liệu ln thay đổi, cập nhật nhƣ tốn nhận dạng mà tơi nghiên cứu Học sâu – deep learning (hay gọi học có cấu trúc sâu – deep structured learning, học nhiều lớp – hierarchical học máy sâu – deep machine learning) nhánh học máy dựa tập giải thuật cố gắng trừu tƣợng hóa liệu nhiều tầng với cấu trúc phức tạp nhiều biến đổi phi tuyến Học sâu nhánh lớn phƣơng pháp học máy dựa việc học cách biểu diễn liệu Ví dụ ảnh biểu diễn theo nhiều cách nhƣ véc tơ giá trị mức xám điểm ảnh theo cách trừu tƣợng tập biên, vùng hình khối cụ thể,… Nhiều kiến trúc học sâu nhƣ mạng nơron sâu (deep neural networks), mạng nơron tích chập mạng hồi quy đƣợc áp dụng lĩnh vực nhƣ thị giác máy, tự động nhận dạng tiếng nói, xử lí ngơn ngữ tự nhiên, nhận dạng âm tin sinh học thu đƣợc kết tiến Hiện nhiều toán nhận dạng sử dụng học sâu để giải học sâu giải tốn với kích thƣớc đầu vào lớn với hiệu nhƣ độ xác vƣợt trội so với phƣơng pháp phân lớp truyền thống Những năm gần đây, ta chứng kiến đƣợc nhiều thành tựu vƣợt bậc ngành Thị giác máy tính (Computer Vision) Các hệ thống xử lý ảnh lớn nhƣ Facebook, Google hay Amazon đƣa vào sản phẩm chức thông minh nhƣ nhận diện khuôn mặt ngƣời dùng, phát triển xe tự lái, Mạng nơron tích chập (Convolutional Neural Networks- CNNs) mơ hình học sâu tiên tiến giúp cho xây dựng đƣợc hệ thống thơng minh với độ xác cao nhƣ Mạng nơron tích chập kiểu 10 mạng nơron truyền thẳng đặc biệt mà kết xuất thuộc tính hình học ảnh Mạng nơron tích chập nhận dạng ảnh có nhiều thay đổi, kết nhận dạng độ xác tốc độ cao Trong luận văn cao học này, em vào nghiên cứu mạng nơron tích chập ý tƣởng mơ hình mạng nơron tích chập phân lớp ảnh (Image Classification), áp dụng việc xây dựng hệ thống nhận dạng biển số xe tự động Nội dung báo cáo bao gồm chƣơng  Chƣơng 1: Mạng nơron mạng nơron tích chập  Chƣơng 2: Tổng quan nhận dạng biển số xe  Chƣơng 3: Áp dụng mạng nơron tích chập nhận dạng ký tự 11 CHƢƠNG 1: MẠNG NƠRON VÀ MẠNG NƠRON TÍCH CHẬP Mạng nơron mạng nơron lan truyền ngƣợc 1.1 1.1.1 Giới thiệu mạng Nơron Định nghĩa: Mạng nơron nhân tạo, Artificial Neural Network (ANN) mơ hình xử lý thơng tin theo cách thức xử lý thông tin hệ nơron sinh học Nó đƣợc tạo nên từ số lƣợng lớn phần tử (nơron) kết nối với thông qua liên kết (trọng số liên kết) làm việc nhƣ thể thống để giải vấn đề cụ thể Một mạng nơron nhân tạo đƣợc cấu hình cho ứng dụng cụ thể (nhận dạng mẫu, phân loại liệu, ) thông qua trình học từ tập mẫu huấn luyện Về chất học q trình hiệu chỉnh trọng số liên kết nơron Cấu trúc nơron nhân tạo: Wk x1 x2 Hàm truyền Wk ⬚ Đầu vào yk Đầu Hàm bk Ngƣỡng Wk xN f (.) Trọng số liên kết Hình 1.1 Cấu tạo Nơron Các thành phần nơron nhân tạo bao gồm: • Tập đầu vào: Là tín hiệu vào (đầu vào signals) nơron, tín hiệu thƣờng đƣợc đƣa vào dƣới dạng vector N chiều • Tập liên kết: Mỗi liên kết đƣợc thể trọng số liên kết – Synaptic weight Trọng số liên kết tín hiệu vào thứ j với nơron k thƣờng đƣợc kí hiệu wkj Thơng thƣờng, trọng số đƣợc khởi tạo cách 12 TÀI LIỆU THAM KHẢO Tiếng Việt [1] https://ongxuanhong.wordpress.com/2015/12/29/convolutional-neuralnetworks-la-gi/ Tiếng Anh [2] http://neuralnetworksanddeeplearning.com/chap6.html [3] http://neuralnetworksanddeeplearning.com/chap2.html [4] Y LeCun and Y Bengio.“Convolutional networks for images, speech, and time-series.” In M A Arbib, editor, The Handbook of Brain Theory and Neural Networks MIT Press, 1995 [5] Fabien Lauer, ChingY Suen, Gérard Bloch,”A trainable feature extractor for handwritten digit recognition“,Elsevier, october 2006 [6] Patrice Y Simard, Dave Steinkraus, John Platt, "Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis," International Conference on Document Analysis and Recognition (ICDAR), IEEE [7] Chirag N Paunwala & Suprava Patnaik “A Novel Multiple License Plate Extraction Techniquefor Complex Background in Indian Traffic Conditions”, Sarvajanik College of Engineering and Technology, 2010 [8] Choo Kar Soon, Kueh Chiung Lin, Chung Ying Jeng and Shahrel A Suandi, “Malaysian Car Number Plate Detection and Recognition System”, 2012 [9] Tran Duc Duan, Duong Anh Duc, Tran Le Hong Du, “Combining Hough Transform and Contour Algorithm for detecting Vehicles LicensePlates”, University of Natural Sciences, 2004 [10] Nobuyuki Otsu, "A threshold selection method from gray-level histograms”, 1979 [11] Suman K Mitra “Recognition of Car License Plate using Morphology”, hirubhai Ambani Institute of Information and Communication Technology, Gandhinagar, Gujarat, India [12] Các tài liệu EmguCV www.emgucv.com OPenCV www.opencv.com [13] www.Deeplearning.net/software/theano/ 56 [14] Quoc V Le, A Tutorial on Deep Learning - Part 2: Autoencoders, Convolutional Neural Networks and Recurrent Neural Networks, qvl@google.com, Google Brain, Google Inc,1600 Amphitheatre Pkwy, Mountain View, CA 94043, October 20, 2015 57 ... Chƣơng 1: Mạng nơron mạng nơron tích chập  Chƣơng 2: Tổng quan nhận dạng biển số xe  Chƣơng 3: Áp dụng mạng nơron tích chập nhận dạng ký tự 11 CHƢƠNG 1: MẠNG NƠRON VÀ MẠNG NƠRON TÍCH CHẬP Mạng nơron... nhận dạng biển số xe 38 2.1.4 Phân loại ứng dụng nhận dạng biển số xe 38 2.1.5 Ứng dụng thực tiễn Việt Nam 39 2.1.6 Phân loại biển số xe 40 2.2 Phƣơng pháp phát biển số. .. CÔNG NGHỆ LÊ THỊ THU HẰNG NGHIÊN CỨU VỀ MẠNG NƠRON TÍCH CHẬP VÀ ỨNG DỤNG CHO BÀI TỐN NHẬN DẠNG BIỂN SỐ XE Ngành : Công nghệ thông tin Chuyên ngành : Kĩ thuật phần mềm Mã số : 60480103 LUẬN VĂN THẠC