ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA VÕ HOÀNG THÀNH ỨNG DỤNG KỸ THUẬT HỌC SÂU NHẬN DẠNG TIỀN TRONG CÁC HỆ THỐNG GIAO DỊCH TỰ ĐỘNG Chuyên ngành: Khoa học may tinh Mã số: 8480101 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2018 Cơng trình hồn thành TRƯỜNG ĐẠI HỌC BÁCH KHOA Người hướng dẫn khoa học: TS HOÀNG VĂN DŨNG Phản biện 1: TS LÊ THỊ MỸ HẠNH Phản biện 2: TS PHẠM XUÂN HẬU Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ kỹ thuật họp Trường Đại học Bách khoa Đà Nẵng vào ngày 05 tháng 01 năm 2019 Có thể tìm hiểu luận văn tại: Trung tâm Học liệu Truyền thông Trường Đại học Bách khoa Đại học Đà Nẵng Thư viện Khoa Công nghệ thông tin, Trường Đại học Bách khoa Đại học Đà Nẵng MỞ ĐẦU Lý chọn đề tài Ngày nay, kỹ thuật học sâu (deep learning) tạo nên phát triển mạnh mẽ cơng nghệ tồn giới, ảnh hưởng tới nhiều lĩnh vực sống đại (robot, IoT, tài chính, y tế…) Kỹ thuật học sâu thể tính ưu việt kỹ thuật khác việc nhận diện hình ảnh nhiều lĩnh vực khác, kết nghiên cứu gần áp dụng kỹ thuật cho độ xác cao Nhiều cơng ty hoạt động lĩnh vực công nghệ giới đầu tư nhiều nguồn lực vào nghiên cứu phát triển nhằm tạo sản phẩm ứng dụng sử dụng kỹ thuật học sâu Những công ty lớn Google, Baidu… sử dụng kỹ thuật học sâu dùng thuật tốn nhận dạng giọng nói, hình ảnh mang kết tốt đem vào ứng dụng thực tế Các lĩnh vực công nghệ dùng kỹ thuật học sâu kể đến là: cơng nghệ nhận diện giọng nói (các trợ lý ảo giọng nói Siri Apple, Cortana Microsoft, Alexa Amazon, DeepVoice Baidu ), dịch tự động công nghệ xử lý ngôn ngữ tự nhiên, công nghệ nhận diện hình ảnh (Google, Microsoft, Facebook, Baidu, ) Cơng nghệ nhận diện hình ảnh sử dụng kỹ thuật học sâu nhiều nhà nghiên cứu tìm hiểu đưa vào ứng dụng thực tế; nhóm nghiên cứu trí tuệ nhân tạo Facebook tạo phần mềm DeepFace[1] có khả nhận dạng khn mặt tốt người với độ xác khoảng 97.35%, cơng trình cơng bố năm 2014, sử dụng khoảng triệu ảnh khuôn mặt 4000 người để huấn luyện cho mạng nơron nhiều lớp, kết thu vượt qua kỹ thuật nghiên cứu đề xuất trước Trong lĩnh vực y tế có nhiều cơng ty khởi nghiệp (Enlitic, Freenome, Merck, Atomwise …) y sinh đưa sản phẩm điện tốn có khả đọc X-quang, MRI phim chụp CT cách nhanh chóng xác bệnh chuẩn bác sỹ điều trị[34] Ở Việt Nam, việc nghiên cứu thị giác máy tính (Computer Vision) kỹ thuật xử lý ảnh, trí tuệ nhân tạo (AI) để áp dụng giải toán nhận dạng tiền hệ thống giao dịch tự động chưa nghiên cứu nhiều Ứng dụng Money Reader nhận dạng Tiền giấy dựa hình ảnh tự động chuyển đổi tỷ giá (Trường Đại học Công nghệ - Hà Nội)[35] số nghiên cứu Cuộc cách mạng công nghiệp lần thứ bước đầu có tác động sâu sắc đến định hướng phát triển xã hội Các nhà lãnh đạo hối thúc phát triển quyền điện tử, thị thông minh, y tế thông minh,… Như vậy, tất yếu cần phải có hệ thống tương tác giao dịch thơng minh người máy tính từ hệ thống lớn trung tâm hành công giao dịch tự động, siêu thị mua bán tự động đến hệ thống nhỏ dịch vụ đổi tiền tự động, hệ thống thu tiền tự động, hệ thống in loại văn chứng thực tự động,… Các giao dịch tự động giúp người tiết kiệm thời gian, chi phí nhân lực làm tăng hiệu dịch vụ, kinh doanh Bên cạnh tính xác, phải đáp ứng u cầu tính linh động, đa dạng mềm dẽo yêu cầu giao dịch, ví dụ cơng việc thu phí, tiền mua bán hàng tự động ngồi cách giao dịch qua thẻ ngân hàng, chuyển khoản; cách tiếp nhận tiền mặt người tiêu dùng lựa chọn nhiều Trong giao dịch tiền mặt, yêu cầu hệ thống phải nhận dạng nhiều mệnh giá, loại tiền độ xác cao yêu cầu quan trọng nhằm đáp ứng yêu cầu thực tế hệ thống giao dịch tự động Với lý trên, xin đề xuất đề tài luận văn cao học: “Ứng dụng kỹ thuật học sâu nhận dạng tiền hệ thống giao dịch tự động” Mục đích ý nghĩa đề tài 2.1 Mục đích Nghiên cứu kỹ thuật trí tuệ nhân tạo, đặc biệt kỹ thuật học sâu ứng dụng thực tế Nghiên cứu đề xuất mơ hình nhận dạng tiền với nhiều mệnh giá, loại tiền khác xác thực chúng để ứng dụng hệ thống giao dịch tự động 2.2 Ý nghĩa khoa học - Kế thừa nghiên cứu hệ thống nhận dạng tiền trước - Tìm hiểu, mơ tả mơ hình hệ thống nhận dạng tiền mặt - So sánh kĩ thuật sử dụng hệ thống nhận dạng - Đồng thời đánh giá hiệu suất phương pháp thực nghiệm tập liệu thực - Vận dụng trí tuệ nhân tạo việc giải toán nhận dạng tiền mặt với khả xử lý với nhiều mệnh giá tiền, loại tiền cách tự động 2.3 Ý nghĩa thực tiễn Dùng kỹ thuật học sâu để xây dựng mơ hình nhận dạng tiền để ứng dụng hệ thống giao dịch tự động Mục tiêu nhiệm vụ 3.1 Mục tiêu - Nắm vững kỹ thuật học sâu để áp dụng toán nhận dạng tiền - Đề xuất mơ hình nhận diện tiền xác thực với loại tiền, mệnh giá khác để ứng dụng hệ thống giao dịch tự động 3.2 Nhiệm vụ - Nghiên cứu kỹ thuật trí tuệ nhân tạo, mạng neural học sâu - Phát biểu toán - Phân tích cài đặt giải thuật cho toán nhận dạng tiền - Đánh giá kết theo yêu cầu đề tài Đối tượng phạm vi nghiên cứu 4.1 Đối tượng nghiên cứu - Nghiên cứu kĩ thuật trí tuệ nhân tạo, kỹ thuật mạng neural học sâu để ứng dụng phân tích hình ảnh, nhận dạng mệnh giá tiền, loại tiền - Nghiên cứu hệ thống nhận dạng tiền (tiền giấy) để ứng dụng cho giao dịch tự động 4.2 Phạm vi nghiên cứu Nghiên cứu đề xuất mơ hình nhận diện tiền (tiền giấy) cho hệ thống giao dịch tự động Phương pháp nghiên cứu 5.1 Phương pháp lý thuyết - Phương pháp phân tích điều tra số liệu: thu thập nghiên cứu tài liệu có liên quan đến đề tài - Phương pháp nghiên cứu tài liệu: kĩ thuật xử lý ảnh, trí tuệ nhân tạo đặc biệt kỹ thuật học sâu 5.2 Phương pháp thực nghiệm - Nghiên cứu khai thác mơ hình nhận diện hình ảnh đề xuất - Xây dựng chương trình ứng dụng vào nhận dạng mệnh giá điểm đặc trưng tờ tiền - Kiểm tra, thử nghiệm, nhận xét đánh giá kết Cấu trúc luận văn Luận văn tổ chức thành ba chương với nội dung cụ thể sau: Chương 1: Trong chương sở lý thuyết này, chúng tơi trình bày kiến thức liên quan đến nghiên cứu cách tiếp cận toán nhận dạng tiền giấy ứng dụng cho hệ thống giao dịch tự động Từ đó, có nhìn tổng quan hướng tiếp cận giải pháp để ứng dụng toán nhận dạng tiền giấy, từ phương pháp xử lý ảnh đơn giản học máy truyền thống đến phương pháp học sâu Chương 2: Ở chương trình bày số mạng neural tích chập điển hình ứng dụng nhiều thực tế Qua để vận dụng vào thiết kế mơ hình hệ thống nhận dạng tiền giấy, từ việc mơ tả tốn đến việc phân tích hệ thống, xây dựng hồn chỉnh mơ hình nhận dạng tiền Đưa giải pháp để giải pháp để giải toán nhận dạng tiền, phương pháp đề xuất kết hợp mạng neural sâu DNN dùng để huấn luyện liệu trích xuất đặc trưng máy vector hỗ trợ SVM để phân loại Chương 3: Trong chương này, cài đặt chương trình thực nghiệm đánh giá kết đạt Cơ sở liệu ảnh mơ tả cụ thể, q trình huấn luyện giải pháp kết đạt luận văn trình bày cụ thể Chương 1: CƠ SỞ LÝ THUYẾT 1.1 Tổng quan xử lý ảnh 1.1.1 Các khái niệm ảnh số, điểm ảnh, màu sắc 1.1.2 Các dạng ảnh 1.1.3 Các thành phần hệ thống xử lý ảnh 1.2 Cơ học máy 1.2.1 Khái niệm học máy Học máy (machine learning) lĩnh vực nghiên cứu trí tuệ nhân tạo, liên quan đến việc nghiên cứu, xây dựng kĩ thuật để hệ thống “học” tự động từ liệu từ giải vấn đề cụ thể 1.2.2 Phân loại phương pháp học máy - Học có giám sát (supervised learning) cách học với tập liệu huấn luyện ban đầu gán nhãn hoàn toàn từ trước - Học khơng có giám sát (unsupervised learning) cách học với tập liệu huấn luyện ban đầu hoàn toàn chưa gán nhãn - Học bán giám sát (semi-supervised learning) cách học với tập liệu huấn luyện gồm liệu gán nhãn liệu chưa gán nhãn - Học tăng cường (reinforcement learning) cách học để giải toán giúp cho hệ thống tự động xác định hành vi dựa hồn cảnh để đạt lợi ích cao 1.2.3 Ứng dụng học máy Học máy ngày có nhiều ứng dụng rộng khắp ngành khoa học công nghiệp làm việc với hàm lượng lớn liệu, tầm quan trọng công nghệ Machine Learning nâng lên vị mới, đặc biệt ngành cần phân tích khối lượng liệu khổng lồ 1.3 Một số phương pháp học máy truyền thống 1.3.1 Mạng neural Mạng neural (nơ-ron) hay gọi mạng neural nhân tạo (Artifical Neural Networks) mơ hình tốn học xây dựng dựa theo mô mạng neural sinh học Mạng neural bao gồm nhóm neural nhân tạo (còn gọi nút) nối với xử lý thông tin cách truyền theo kết nối, tính giá trị nút Kiến trúc mạng neural Kiến trúc mạng neural gồm tập nút gọi neural, tập cung để kết nối neural lại với Tập nút tổ chức thành lớp, gọi layer Trong có lớp đầu vào (input layer) lớp đầu (output layer), lớp gọi lớp ẩn (hidden layer) Mỗi cung kết nối cặp neural với nhau, có nút vào nút Mối liên hệ nút thể thông qua hàm biến đổi (hàm truyền) với trọng số tương ứng cho hàm truyền Quá trình học mạng neural Mạng ANN ba dạng: học có giám sát, học khơng giám sát học tăng cường Mạng Perceptron Perceptron mô hình mạng neural phát triển nhà khoa học Frank Rosen Blatt[5] Ngày trở lên phổ biến việc sử dụng model khác Neural nhân tạo 1.3.2 Máy vector hỗ trợ (SVM) Giới thiệu Thuật toán SVM thuật toán phân loại, thuộc phương pháp học có giám sát Nó nhận liệu vào phân loại chúng thành hai lớp khác Thuật toán huấn luyện SVM xây dựng mơ hình để phân loại hai lớp liệu cho trước Thuật tốn SVM tìm Corinna Vapnik[7] năm 1995 Phân loại tuyến tính Phân loại tuyến tính lề mềm (Soft Margin Classifiers) Hàm nhân Phân loại phi tuyến (nonlinear classification) 1.4 Kỹ thuật học sâu 1.4.1 Tổng quan học sâu Học sâu lĩnh vực nghiên cứu ngành máy học, dựa tập thuật tốn hướng tới giải mơ hình liệu trừu tượng mức cao cách sử dụng nhiều lớp xử lý cách kết hợp nhiều biến đổi phi tuyến với kiến trúc phức tạp nhiều so với phương pháp học máy truyền thống 1.4.2 Mạng neural sâu Mạng Neural sâu (Deep Neural Network - DNN) mạng neuron nhân tạo (Artificial Neural Network - ANN) với nhiều đơn vị lớp ẩn kết nối với từ lớp đầu vào lớp đầu DNN tìm kiếm sử dụng phép toán chuẩn xác để biến liệu đầu vào thành liệu đầu ra, cho dù mạng có mối quan hệ tuyến tính hay mối quan hệ phi tuyến tính phức tạp Các mạng neural sâu khác với mạng neural đơn giản mức độ sâu mạng, nghĩa số nút lớp số lớp ẩn lớn nhiều so với mạng neural đơn giản 1.4.3 Mạng neural tích chập (CNN) Mạng CNN phát triển dựa ý tưởng cải tiến cách thức mạng neural nhân tạo truyền thẳng (Feedforward Neural 10 Chương 2: MẠNG NEURAL TÍCH CHẬP TRONG NHẬN DẠNG TIỀN GIẤY 2.1 Một số mạng neural tích chập điển hình nhận dạng đối tượng 2.1.1 Mạng LeNet Mạng LeNet kiến trúc mạng CNN phát triển Yann Lecun, sử dụng thành công việc nhận dạng chữ viết tay, đặc biệt với kiến trúc LeNet-5 mơ hình pretrain[12] Mạng Lenet5 có 60.000 tham số 2.1.2 Mạng AlexNet Mạng AlexNet phát triển nhóm tác giả: Alex Krizhevsky, Ilya Sutskever Geoff Hinton Năm 2012, mơ hình mạng giới thiệu với cấu trúc tương tự LeNet với số lượng neuron, filter layer lớn Mơ hình pretrain mạng AlexNet sử dụng thành công phổ biến lĩnh vực nhận dạng đối tượng ảnh Được xem mạng neural phổ biến rộng rãi khả ứng dụng mạng CNN 2.1.3 Mạng ZFNet Mạng ZFNet (ZF viết tắt Zeiler Fergus) mơ hình kiến trúc mạng CNN phát triển Matthew Zeiler Rob Fergus[15] Mạng ZFNet có kiến trúc chiến thắng thi ImageNet 2013 (ILSVRC 2013) Mạng neural phát triển từ tảng mạng AlexNet với việc tinh chỉnh hyperparameter (filter size, stride,…) với layer gần input layer, filter size stride nhỏ 2.1.4 Mạng GoogLeNet Mạng GoogLeNet đánh giá mạng học sâu tốt năm 2014, mạng có kiến trúc chiến thắng thi ImageNet 2014 11 (ILSVRC 2014) Mạng đề xuất nhóm nghiên cứu C.Szegedy cơng ty Google, kiến trúc mạng gồm 22 lớp sâu Nó làm giảm số lượng tham số từ 60 triệu mạng AlexNet xuống triệu Ở mạng GoogLeNet đề cập đến khái niệm Inception Module Trong Module sử dụng lọc convolution nhiều mức, tỷ lệ kích thước khác 5x5, 3x3 1x1 2.1.5 Mạng VGGNet Mạng VGGNet mạng CNN đạt giải nhì thi ImageNet 2014 (ILSVRC 2014) Mạng VGGNet nghiên cứu đề xuất Simonyan Zisserman [16] Mạng VGGNet xem mạng tốt năm 2015, bao gồm 16 lớp tích chập có kiến trúc thống Mạng sử dụng lọc tích chập 3x3 lọc pooling 2x2, kích thước thống từ lớp đầu đến lớp cuối mạng 2.2 Mơ tả tốn nhận dạng tiền giấy Trong tốn nhận dạng tiền giấy này, chúng tơi tập trung nghiên cứu xây dựng mạng neural sâu để khai thác đặc trưng, cung cấp đặc trưng cho phương pháp học máy truyền thống SVM để giải vấn đề nhiều loại liệu tiền tệ khác Những vân (mosaic) thông tin tiền giấy phân tích tìm mối quan hệ để phân biệt đặc trưng vân (mosaic) tiền giấy tương ứng Ngoài ra, nhiệm vụ hỗ trợ liệu tăng cường để làm cho liệu huấn luyện đủ lớn bao gồm điều kiện cho tình việc “học” mạng CNN, giúp cải thiện đáng kể kết nhận dạng tiền giấy Trong nghiên cứu này, hy vọng cải thiện kết dựa việc phân biệt đặc trưng tách rút cách sử dụng kết hợp mạng DNN máy vector hỗ trợ (SVM) 12 2.3 Phân tích thiết kế hệ thống 2.3.1 Phân tích tổng quan hệ thống Hệ thống nhận dạng tiền giấy xây dựng dựa ý tưởng kết hợp sử dụng mạng neural sâu học máy truyền thống SVM Kiến trúc mạng neural sâu xây dựng để trích xuất đặc trưng phân biệt kích hoạt đầu lớp kết nối đầy đủ Vector đặc trưng mẫu cấp cho SVM cho định cuối nhận dạng tiền giấy 2.3.2 Phân tích chức hệ thống Trong phương pháp nghiên cứu chúng tôi, thông tin vân tiền sử dụng dấu hiệu để nhận dạng Những thơng tin vân tiền kiểm tra phép nhận dạng giá trị tờ tiền, phát tiền giả mệnh giá tờ tiền Trong hệ thống nhận dạng tiền giấy này, mở rộng với số lượng lớn mệnh giá khác nâng cao chất lượng cách thêm tập liệu để học máy mà không cần can thiệp thủ công Hệ thống tổng quan để kiểm tra tiền giấy trình bày hình 2.8 Mơ hình nhận dạng tiền giấy xây dựng dựa số bước sau: - Tiền giấy cần nhận dạng đưa vào thiết bị scan - Ảnh tờ tiền lấy từ thiết bị scan - Từ ảnh tờ tiền đưa vào mạng DNN huấn luyện trích xuất đặc trưng - Sau có đặc trưng tờ tiền đem vào máy phân loại SVM để nhận dạng - Kết thu thông báo mệnh giá tiền thật thông báo tiền giả 13 Hệ thống bao gồm module sau: mơ hình “học” tiền giấy, trích xuất đặc trưng, nhận dạng tiền giấy Thiết bị scan Ảnh tờ tiền Trích xuất đặc trưng Mơ hình nhận dạng tiền giấy Nhận dạng Tiền giả Tiền thật Hình 2.8 Tổng quan kiến trúc trình nhận dạng tiền giấy 2.3.3 Sơ đồ giải pháp nhận dạng tiền giấy Trong luận văn này, chúng tơi khơng trình bày tất kỹ thuật để xây dựng hệ thống đầy đủ, thay vào chúng tơi tập trung vào số kỹ thuật nhận dạng giá trị, mệnh giá tiền giấy cho loại tiền phát tiền giả Để cải thiện độ xác hệ thống, giai đoạn nhận diện xây dựng dựa mạng CNN sử dụng số khối Inception cho mục đích khai thác đặc trưng SVM để phân loại xem sơ đồ Hình 2.9 (b) Chúng triển khai hệ thống sử dụng mạng CNN sâu cho việc trích xuất đặc trưng nhận dạng cho mệnh giá tiền giấy thể qua Hình 2.9 (a) Kết thực nghiệm chứng minh phương pháp CNN + SVM với phương pháp CNN tương đương 14 Tổng quan hệ thống nhận dạng tiền thực cách sử dụng kỹ thuật học sâu kết hợp học sâu học nơng, trình bày Hình 2.9 Đầu vào tiền giấy Đầu vào tiền giấy Trích xuất đặc trưng phân loại Trích xuất đặc trưng DNN (Kích hoạt lớp FC1) đối tượng DNN Kết luận mệnh giá tiền thật/tiền giả Vector đặc trưng Máy phân loại SVM Kết luận mệnh giá tiền thật/tiền giả (a) Nhận dạng tiền kỹ thuật (b) Nhận dạng tiền cách học sâu kết hợp DNN SVM Hình 2.9 Kiểm tra tiền giấy dựa kỹ thuật DNN SVM 2.3.4 Thiết kế mạng neural sâu toán nhận dạng tiền giấy Trong nghiên cứu này, để đơn giản hóa ứng dụng đề xuất phương pháp tiếp cận để nhận dạng tiền giấy dựa kết hợp mơ hình DNN để trích xuất đặc trưng máy phân loại SVM nhận dạng mệnh giá tiền phân biệt tiền giả Mơ hình DNN dựa nhiều kênh 2DCNN bốn khối Inception, hỗ trợ cho việc tận dụng lợi đặc trưng cục 15 khai thác đặc trưng tồn cục Mơ hình 2DCNN tổng thể để khai thác đặc trưng minh họa Hình 2.10 Ảnh đầu vào Lớp lọc trung bình Lớp tích chập Lớp Dropout Lớp hiệu chỉnh (ReLU) Lớp kết nối đầy đủ Lớp lọc cực đại Lớp chuẩn hóa Lớp Softmax Các khối Inception Đầu Hình 2.10 Sơ đồ tổng thể kiến trúc mạng neural sâu nhận dạng tiền giấy Đầu vào mơ hình kiến trúc mạng hình ảnh tờ tiền lấy từ thiết bị scan, đưa vào lớp tích chập để giảm kích thước ảnh, sau đưa vào lớp hiệu chỉnh (ReLu) để loại bỏ giá trị âm (đưa giá trị 0) giúp hệ thống xử lý giữ chắn mơ hình cách làm cho giá trị học khỏi việc bị mắc kẹt gần giá trị Dữ liệu tiếp tục đưa xuống lớp lọc cực giảm kích thước, sau chuyển qua lớp chuẫn hóa liệu, ta đưa vào khối Inception để làm cho mạng có độ sâu 16 rộng hơn, ta đưa liệu vào lớp lọc trung bình để giảm kích thước, sau ta cho liệu qua lớp Dropout để giải vấn đề khớp với liệu (overfitting) Tiếp theo, liệu đưa vào lớp kết nối đầy đủ với mục đích để nhận dạng đối tượng với độ xác cao Cuối ta cho liệu vào lớp đầu Softmax để phân lớp liệu chuyển liệu đầu Hệ thống nhận dạng tiền giấy xây dựng dựa sở kiến trúc Inception để thực quy trình trích xuất đặc trưng, minh họa Hình 2.11 Hình 2.11 Lược đồ mạng Inception 17 Chương 3: THỰC NGHIỆM, ĐÁNH GIÁ KẾT QUẢ 3.1 Cài đặt chương trình 3.1.1 Mơi trường cơng cụ lập trình 3.1.2 Thiết lập lớp mạng DNN matlab 3.2 Cơ sở liệu thực nghiệm 3.2.1 Nguồn liệu mô tả Nguồn liệu để đưa vào mơ hình huấn luyện nhận dạng tiền giấy tạo cách thu thập mệnh giá tiền thật VND gồm mệnh giá tiền giấy polymer: 10.000đ (10k), 20.000đ (20k), 50.000đ (50k), 100.000đ (100k), 200.000đ (200k), 500.000đ (500k), tờ tiền qua sử dụng Tiền giả thu thập chất liệu khác hình ảnh khơng phải tiền Ở hệ thống giao dịch tự động đưa tiền vào máy kiểm tra khơng phân biệt mặt trước, mặt sau, quay ngược hay thuận chiều (nghĩa cần đưa vào tiền mặt với hướng bất kỳ) Sau có mệnh giá, tiến hành đưa mẫu đưa qua thiết bị scan để quét lấy hình ảnh tờ tiền, liệu thu lưu vào thư mục khác tương ứng với mệnh giá máy vi tính huấn luyện Hình ảnh thu tờ tiền có kích thước tương ứng với mẫu thật Sau đó, tập liệu huấn luyện ảnh tờ tiền chuẩn hóa độ phân giải 200x450 pixel 3.2.2 Tăng cường liệu Do vấn đề cân đối liệu huấn luyện, nên điều quan trọng phải tăng cường liệu, điều giúp đủ số dư đủ liệu để xây dựng tham số mạnh mẽ hệ thống nhận dạng tiền tệ Vấn đề tăng cường liệu có nghĩa tăng số lượng tập liệu hình ảnh Trong mạng DNN, có nhiều liệu tốt cho 18 mơ hình hệ thống, điều hỗ trợ để giảm thiểu gặp phải vấn đề overfitting Tuy nhiên, trình xử lý liệu liên quan đến thời gian tiêu thụ tài ngun tính tốn cho việc huấn luyện Có nhiều cách để tăng thêm liệu bao gồm xoay, thay đổi điều kiện ánh sáng, hướng khác nhau, lật, làm mờ với ảnh mẫu Vì hình ảnh tạo mẫu phụ khác 3.3 Quá trình huấn luyện Hệ thống nhận dạng tiền giấy hiển thị đầy đủ sơ đồ hình 2.10 Hệ thống áp dụng theo cách tiếp cận truyền thống DNN Tuy nhiên, gặp vấn đề khớp với liệu (overfitting) đáng kể so với liệu huấn luyện minh họa Hình 3.2 (a) (b) Hình 3.2 Quá trình huấn luyện tập liệu tiền mạng DNN hội tụ với giá trị dự kiến sau vài epochs: (a) độ xác; (b) giá trị lỗi 19 Kết huấn luyện cho thấy hệ thống đạt độ xác gần 99,99% tiêu chí đánh giá tỷ lệ học nhỏ dựa tốc độ phân rã sau số epochs Sự kết hợp dựa mạng DNN để tách đặc trưng SVM để nhận dạng tiền giấy Chúng biến đổi hình ảnh đầu vào thành mạng đồ thị theo chu kỳ (DAG) để học sâu để trích xuất mơ tả đặc trưng thay phân loại Trong phương pháp này, kích hoạt đầu lớp kết nối đầy đủ để trích xuất đặc trưng Dữ liệu đầu vào tập hợp cường độ điểm ảnh hình ảnh đưa vào mạng neural sâu Các liệu huấn luyện thử nghiệm đồng với hình ảnh khung hình 200 × 450 pixel Dữ liệu đầu vào bao gồm hình ảnh gốc 200 × 450 ×3 kích hoạt lớp FC dẫn đến 1.440.000 vectơ đặc trưng Trong giai đoạn huấn luyện, vectơ đặc trưng, trích xuất từ tập liệu huấn luyện, cấp cho SVM để học Trong giai đoạn đánh giá, mơ hình DNN áp dụng cho tập liệu thử nghiệm để trích xuất vectơ đặc trưng, nhập vào mơ hình SVM để nhận dạng tiền giấy Trong mơ hình này, lọc tích chập lớp đầu vào kênh tương ứng với màu ảnh R-G-B Bộ lọc độc lập kết nối với nhau, liên quan đến kênh hình ảnh đầu vào Quá trình lớp cuối vectơ đặc trưng trích xuất kích hoạt kết nối đầy đủ, trao đổi với SVM để xử lý Các chi tiết kiến trúc nhận dạng tiền giấy thể Hình 2.9 3.4 Kết thực nghiệm Để đánh giá phương pháp đề xuất, tập liệu huấn luyện đánh giá bao gồm ba kịch Kịch tập hợp hình ảnh thu từ tiền giấy thật với nhiều mệnh 10k, 20k, 50k, 100k, 200k, 500k VND Thứ hai là, tập hợp hình ảnh 20 thu từ tiền giấy giả sử dụng chất liệu khác so với tiền giấy thật tờ giấy bạc mệnh giá Thứ ba là, hình ảnh khơng phải tờ tiền Tổng cộng, có 9.739 mẫu tiền thật, 1.083 mẫu tiền giấy giả 1.548 mẫu ảnh tờ tiền Tất mẫu chuẩn hóa với độ phân giải 200x450 pixel Tập liệu tăng cường liệu lần, dùng 50% tập liệu cho huấn luyện, 50% tập liệu cho đánh giá Kết kiểm tra chéo cho thấy độ xác hệ thống đánh giá qua hai phương pháp CNN CNN + SVM đạt tỷ lệ xác trung bình đến 97,85% Kết cho thấy cách tiếp cận dựa mạng CNN kết hợp mạng CNN máy phân loại SVM tương đương Hai cách tiếp cận thích hợp cho ứng dụng điều kiện chung tiền giấy thực tế Kết cuối minh họa sau: Kết kiểm tra phương pháp dùng CNN: Bảng 3.5 Ma trận kiểm tra kết dự đoán tập liệu đánh giá phương pháp CNN (b) Đánh giá theo tỷ lệ % Mẫu liệu 10k 20k 50k 100k 200k 500k Tiền giả Không phải tiền 10k 20k 50k 100k 200k 500k 99.72% 0.05% 0.00% 0.05% 0.05% 0.05% 0.00% 97.01% 0.00% 0.25% 0.00% 2.09% 0.10% 0.00% 98.76% 0.00% 0.00% 0.00% 0.00% 0.24% 0.00% 99.37% 0.00% 0.39% 2.05% 0.00% 0.00% 0.00% 97.86% 0.00% 0.09% 0.00% 0.00% 0.35% 0.00% 99.48% 0.09% 0.37% 1.39% 0.00% 0.00% 0.00% Không phải tiền 3.88% 1.10% 0.78% 0.00% 0.00% 0.00% 0.05% 0.65% 1.14% 0.00% 0.00% 0.00% 97.60% 1.42% 0.05% 0.00% 0.00% 0.00% 0.09% 0.09% 0.55% 92.83% Tiền giả Kết kiểm tra phương pháp dùng CNN + SVM: 21 Bảng 3.6 Ma trận kiểm tra kết dự đoán tập liệu đánh giá phương pháp CNN + SVM (b) Đánh giá theo tỷ lệ % Mẫu liệu 10k 20k 50k 100k 200k 500k Tiền giả Không phải tiền 10k 20k 50k 100k 200k 500k 99.82% 0.00% 0.00% 0.05% 0.05% 0.05% 0.25% 95.62% 0.00% 0.60% 0.00% 2.84% 0.15% 0.00% 98.61% 0.00% 0.00% 0.00% 0.00% 0.08% 0.00% 99.53% 0.00% 0.39% 2.05% 0.00% 0.00% 0.00% 97.95% 0.00% 0.00% 0.00% 0.00% 0.26% 0.00% 99.65% 0.28% 0.37% 0.55% 0.00% 0.00% 0.00% Không phải tiền 3.75% 1.03% 0.26% 0.00% 0.00% 0.52% 0.05% 0.70% 1.24% 0.00% 0.00% 0.09% 98.80% 0.90% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 93.54% Tiền giả 3.5 Chương trình minh họa kết kiểm tra Chương trình minh họa xây dựng phần mềm Matlab, cho nhận dạng mệnh giá tiền với liệu tờ tiền đưa vào theo hướng khác (mặt trước, mặt sau, ngược xuôi tờ tiền) kết thể Hình 3.6., Hình 3.7 Nhận dạng mệnh giá tiền 100.000 VND Nhận dạng mệnh giá tiền 200.000 VND 22 Nhận dạng mệnh giá tiền 500.000 VND Hình 3.6 Kết nhận dạng mệnh giá 100.000, 200.000, 500.000 VND Chương trình nhận dạng với mẫu ảnh Hình 3.7 Kết nhận dạng khả nghi tiền giả mẫu tiền 23 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Dựa vào nghiên cứu vấn đề toán nhận dạng sử dụng kỹ thuật xử lý ảnh, trí tuệ nhân tạo đặc biệt mạng tích chập học sâu CNN Luận văn trình bày hai giải pháp cho việc nhận dạng tiền giấy xác thực tiền thật dựa mạng DNN kết hợp mạng DNN SVM truyền thống Luận văn nghiên cứu kỹ thuật học sâu, kỹ thuật phân loại SVM để đề xuất xây dựng kiến trúc mạng neural sâu, tổ chức huấn luyện mơ hình mạng sử dụng nhận dạng tiền giấy thật Cách tiếp cận với phương pháp mạng DNN kết hợp mạng DNN máy phân loại SVM với dự kiến tạo kết tốt ba tình nhận dạng mệnh giá tiền thật, tiền giả tờ tiền từ loại liệu đầu vào khác Trong hệ thống kiểm tra có khác biệt phương pháp truyền thống, sử dụng máy ảnh để quét tiền giấy sử dụng mạng neural tích chập sâu để huấn luyến hình ảnh màu Mơ hình CNN sử dụng trích xuất đặc trưng phương pháp CNN+SVM (hoặc nhận dạng phát tiền thật tiền giả với phương pháp CNN) Mẫu ảnh màu phân thành tiền thật, tiền giả hay tiền với loại tiền tệ khác cách sử dụng kỹ thuật SVM Cách tiếp cận đề xuất thực tập liệu thực (với 9.736 mẫu ảnh tiền thật với mệnh giá, 1.083 mẫu ảnh tiền giả 1.548 mẫu ảnh tờ tiền) Về chương trình minh họa, thực tương đối tốt độ xác nhận dạng phân biệt tiền thật tiền giả thách thức số mẫu huấn luyện so với số mẫu dùng 24 ứng dụng thực tế, chất lượng liệu hình ảnh mẫu chưa tốt, số lượng liệu mẫu cho loại ngoại tệ chưa có nên để đánh giá mơ hình hệ thống nhận dạng tiền để ứng dụng hệ thống giao dịch tự động chưa toàn diện Hướng phát triển Để đánh giá cải thiện hệ thống nhận dạng tiền tệ tương lai, tập trung vào thu thập thêm liệu nhiều loại tiền khác nhau, trang bị thiết bị scan chất lượng cao để nâng cao chất lượng liệu mẫu Đồng thời việc giảm chi phí tính tốn cải thiện độ xác cho nhiều loại tiền tệ khác nhận dạng mệnh giá tiền thật, tiền giả để áp dụng cho hệ thống kiểm tra tiền giấy thời gian thực ... văn cao học: Ứng dụng kỹ thuật học sâu nhận dạng tiền hệ thống giao dịch tự động Mục đích ý nghĩa đề tài 2.1 Mục đích Nghiên cứu kỹ thuật trí tuệ nhân tạo, đặc biệt kỹ thuật học sâu ứng dụng thực... nhận dạng tiền mặt với khả xử lý với nhiều mệnh giá tiền, loại tiền cách tự động 2.3 Ý nghĩa thực tiễn Dùng kỹ thuật học sâu để xây dựng mơ hình nhận dạng tiền để ứng dụng hệ thống giao dịch tự động. .. nhân tạo, kỹ thuật mạng neural học sâu để ứng dụng phân tích hình ảnh, nhận dạng mệnh giá tiền, loại tiền - Nghiên cứu hệ thống nhận dạng tiền (tiền giấy) để ứng dụng cho giao dịch tự động 4.2