ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐẮC THÀNH NHẬN DẠNG VÀ PHÂN LOẠI HOA QUẢ TRONG ẢNH MÀU LUẬN VĂN THẠC SĨ KỸ THUẬT PHẦN MỀM Hà Nội – 2017 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐẮC THÀNH NHẬN DẠNG VÀ PHÂN LOẠI HOA QUẢ TRONG ẢNH MÀU Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ KỸ THUẬT PHẦN MỀM NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS LÊ THANH HÀ NGƯỜI ĐỒNG HƯỚNG DẪN KHOA HỌC: TS TRẦN QUỐC LONG Hà Nội – 2017 Lời cam đoan Tơi xin cam đoan cơng trình nghiên cứu khoa học riêng hướng dẫn khoa học PGS TS Lê Thanh Hà TS Trần Quốc Long Các nội dung nghiên cứu, kết đề tài trung thực chưa công bố hình thức trước Những số liệu bảng biểu phục vụ cho việc phân tích, nhận xét, đánh giá tác giả thu thập từ nguồn khác có ghi rõ phần tài liệu tham khảo Ngoài ra, luận văn sử dụng số nhận xét, đánh số liệu tác giả khác, quan tổ chức khác có trích dẫn thích nguồn gốc Nếu phát có gian lận tơi xin hồn tồn chịu trách nhiệm nội dung luận văn Học viên Cao học Nguyễn Đắc Thành Lời cảm ơn Trước tiên, xin bày tỏ biết ơn chân thành sâu sắc tới PGS TS Lê Thanh Hà – Giáo viên hướng dẫn trực tiếp TS Trần Quốc Long – Giáo viên đồng hướng dẫn tôi, người hết lịng hỗ trợ giúp đỡ tơi q trình nghiên cứu hồn thiện luận văn thạc sĩ Đồng thời tơi gửi lời cám ơn chân thành đến Trần Tuấn Linh, thành viên nhóm đề tài, hỗ trợ tơi nhiều thời gian xây dựng sở liệu phát triển cài đặt giải pháp cho toán luận văn Tôi xin gửi lời cảm ơn chân thành tới thầy, cô giảng viên trường Đại học Cơng nghệ tận tình dạy dỗ hướng dẫn cho suốt trình học tập thạc sĩ trường Và tơi xin gửi lời cảm ơn tới bố mẹ người thân gia đình ni nấng, dạy dỗ, chăm lo cho tơi, động viên tơi hồn thành thật tốt khóa học thạc sĩ Mặc dù cố gắng hoàn thành luận văn chắn khơng tránh khỏi sai sót Kính mong nhận cảm thơng, bảo tận tình quý thầy cô bạn Tôi xin chân thành cảm ơn! Mục lục Lời cam đoan Lời cảm ơn Danh mục hình vẽ Danh mục bảng biểu Danh mục từ viết tắt MỞ ĐẦU Tính cấp thiết đề tài luận văn Mục tiêu luận văn 2.1 Cơ sở liệu ảnh hoa 2.2 Bộ huấn luyện nhận dạng hoa 2.3 Ứng dụng nhận dạng hoa Cấu trúc luận văn Chương Giới thiệu tổng quan 11 1.1 Bài toán nhận dạng phân loại hoa 11 1.2 Các hướng tiếp cận giải toán .12 1.2.1 Phương pháp Học máy truyền thống .13 1.2.2 Phương pháp Học sâu .15 Chương Mạng nơ-ron tích chập 19 2.1 Kiến trúc Mạng nơ-ron tích chập 19 2.2 Học chuyển giao tinh chỉnh mơ hình huấn luyện 22 2.3 Mạng huấn luyện AlexNet 25 2.3.1 Kiến trúc mạng AlexNet 26 2.3.2 Ứng dụng mạng AlexNet vào toán Nhận dạng, phân loại hoa .27 Chương Hệ thống phần mềm nhận dạng hoa 29 3.1 Tổng quan hệ thống 29 3.2 Mô đun quản lý sở liệu 32 3.3 Bộ huấn luyện mơ hình .33 3.3.1 Môi trường huấn luyện 37 3.3.2 Cấu hình mạng huấn luyện AlexNet 38 3.3.3 Một số hình ảnh đặc trưng mạng AlexNet tính tốn .39 3.4 Các mơ đun phía Server 41 3.5 Ứng dụng phía Client 45 Chương Kết thử nghiệm đánh giá 49 4.1 So sánh với phương pháp Học máy truyền thống .49 4.2 So sánh kết với CSDL sinh tự động .51 4.3 Thử nghiệm ứng dụng thực tế 53 Chương Kết luận 55 TÀI LIỆU THAM KHẢO 56 Danh mục hình vẽ Hình 1.1: Các khó khăn tốn nhận dạng vật thể ảnh 12 Hình 1.2: Sự đa dạng chủng loại loại hoa 12 Hình 1.3: Các thơng tin hình học tính tốn thuật tốn Xử lý ảnh .13 Hình 1.4: Mơ hình hoạt động chung phương pháp Học máy [2] .14 Hình 1.5: Mối quan hệ Học sâu với lĩnh vực liên quan 16 Hình 1.6: Mức độ trừu tượng tăng dần qua tầng học Học sâu [11] 16 Hình 1.7: Bức ảnh tạ hai đầu sinh mơ hình dự đốn Học sâu 17 Hình 2.1: Kiến trúc mạng tích chập .19 Hình 2.2: Ví dụ lọc tích chập sử dụng ma trận điểm ảnh 20 Hình 2.3: Trường hợp thêm/khơng thêm viền trắng vào ảnh tích chập 21 Hình 2.4: Phương thức Avarage Pooling Max Pooling 22 Hình 2.5: Kết thực nghiệm theo số lượng lớp mạng CNN chuyển giao [16] 24 Hình 2.6: Kết huấn luyện sau tinh chỉnh mạng AlexNet [17] 25 Hình 2.7: Kiến trúc mạng AlexNet [20] 26 Hình 2.8: Kiến trúc mạng AlexNet dạng phẳng 27 Hình 3.1: Kiến trúc Client-Server n tầng .30 Hình 3.2: Luồng hoạt động hệ thống 32 Hình 3.3: Biểu đồ ca sử dụng Bộ huấn luyện mơ hình 34 Hình 3.4: Các framework Học sâu tiếng giới 37 Hình 3.5: Cách thức framework Caffe định nghĩa lớp mạng CNN 39 Hình 3.6: Các đặc trưng tiêu biểu lớp tích chập [25] 40 Hình 3.7: Kết ảnh đầu qua lớp tích chập 41 Hình 3.8: Biểu đồ ca sử dụng Server 41 Hình 3.9: Biểu đồ ca sử dụng Client .46 Hình 4.1: Một số ảnh lọc CSDL 20 loại .49 Hình 4.2: Ảnh hoa gốc ảnh sinh tự động 52 Hình 4.3: Kết nhận dạng tốt với loại có đặc trưng riêng biệt 53 Hình 4.4: Kết nhận dạng chưa tốt với loại khơng có đặc trưng riêng biệt .53 Hình 4.5: Kết nhận dạng với loại khơng huấn luyện 54 Danh mục bảng biểu Bảng 4.1: So sánh sơ kết huấn luyện phương pháp 51 Bảng 4.2: Ảnh hưởng ảnh sinh tự động với chất lượng mơ hình nhận dạng .52 Danh mục từ viết tắt Ý nghĩa STT Từ viết tắt CSDL Cơ sở liệu CNN Convolutional Neural Network – Mạng nơ ron tích chập ReLU Rectified Linear Unit – Tinh chỉnh đơn vị tuyến tính GPU Graphics Processing Unit – Bộ vi xử lý đồ họa MỞ ĐẦU Tính cấp thiết đề tài luận văn Hiện nay, nước ta nói riêng nước phát triển có nông nghiệp ngành sản xuất chủ yếu, trình thu hoạch, phân loại đánh giá chất lượng loại sản phẩm nông nghiệp, đặc biệt loại hoa quả, chủ yếu phải thực phương pháp thủ công Đây công việc khơng q khó, tiêu tốn nhiều thời gian, công sức người rào cản mở rộng phát triển quy mô sản xuất nông nghiệp Do đó, nhiều phương pháp tự động hóa cơng việc thu hoạch, nhận dạng đánh giá chất lượng hoa nghiên cứu đưa vào ứng dụng thực tế, sử dụng chủ yếu phương pháp Xử lý ảnh đơn Tuy nhiên, phương pháp chưa thực thỏa mãn yêu cầu khả nhận dạng số lượng lớn loại hoa với độ xác cao bị hạn chế đặc trưng toán nhận dạng hoa quả: số lượng chủng loại lớn với nhiều loại hoa tương tự nhau, biến thiên hình dạng, màu sắc, chi tiết loại khó dự đốn trước… Trong thời gian gần đây, nhờ có phát triển mạnh mẽ khả tính tốn hệ máy tính đại bùng nổ liệu thông qua mạng lưới Internet trải rộng, ta chứng kiến nhiều đột phá lĩnh vực Học máy, đặc biệt lĩnh vực Thị giác máy tính Sự quay lại phát triển vượt bậc phương pháp Học sâu giúp Thị giác máy tính đạt thành tựu đáng kể lĩnh vực Nhận dạng ảnh, có tốn nhận dạng hoa Đề tài nghiên cứu “Nhận dạng phần loại hoa ảnh màu” đưa với hy vọng ứng dụng thành cơng mơ hình học sâu xây dựng hệ thống nhận dạng hoa tự động, đặc biệt loại hoa phổ biến nước ta Mục tiêu luận văn Do thời gian hạn chế thời gian thực nghiên cứu, luận văn trước hết tập trung nghiên cứu, tìm hiểu so sánh phương pháp Học máy truyền thống với phương pháp Học sâu, đồng thời thực cài đặt mơ hình huấn luyện nhận dạng ảnh Học sâu với số lượng hoa hạn chế, sử dụng chúng làm nhận dạng sở cho ứng dụng hỗ trợ nhận dạng hoa điện thoại thông minh 2.1 Cơ sở liệu ảnh hoa Bộ sở liệu ảnh thành phần quan trọng hàng đầu phương pháp Học máy nói chung, sử dụng để phục vụ cho q trình tính tốn tham số huấn luyện, tinh chỉnh mơ hình Thông thường, liệu lớn chọn lọc tỉ mỉ cẩn thận độ xác mơ hình cải thiện, 43 - Các yêu cầu cụ thể: Các thông tin giao thức gửi, nhận liệu phải hợp lệ, cổng giao tiếp phải trạng thái tự do, không bị tranh chấp với chương trình khác - - Điều kiện trước: Các thư viện cần thiết cho chương trình server cài đặt đầy đủ phiên khuyến cáo Chương trình server nạp thành cơng mơ hình nhận dạng Điều kiện sau: Thơng báo cấu hình thành cơng giao thức gửi, nhận liệu với thông tin cụ thể giao thức Tạo danh sách luồng xử lý: - - Mục đích: Khởi tạo trước loạt luồng xử lý, nhằm phục vụ q trình tách riêng tính tốn nhận dạng cho yêu cầu phía client suốt phiên chạy chương trình server Tác nhân, Mơ tả chung: o Tác nhân: Người quản trị hệ thống o Mô tả chung: Trong q trình chạy, để đảm bảo chương trình khơng bị chậm trễ đồng thời có nhiều yêu cầu từ client khác nhau, chương trình server cần thực việc xử lý theo phương pháp đa luồng Nghĩa là: yêu cầu từ phía client xử lý luồng riêng, không bị ảnh hưởng không gây ảnh hưởng đến luồng xử lý khác Để thuận tiện cho việc quản lý tránh tình trạng tràn nhớ (leak-mem) quản lý luồng không tốt, chương trình khởi tạo trước - danh sách loạt luồng xử lý sử dụng cờ trạng thái để giao việc giải phóng luồng Luồng kiện chính: Người quản trị khởi động chương trình server, hàm khởi tạo chương trình tự động gọi câu lệnh thực thi việc khởi tạo danh sách loạt luồng xử lý Số lượng luồng xử lý lưu dạng số file cấu hình chung hệ thống - Luồng thay thế: Chương trình server thông báo khởi tạo thành công luồng xử lý Các yêu cầu cụ thể: Không - Điều kiện trước: Các thư viện cần thiết cho chương trình server cài đặt đầy đủ phiên khuyến cáo Chương trình server hồn thành bước Nạp mơ hình huấn luyện Cấu hình giao thức gửi, nhận liệu - Điều kiện sau: Thông báo tạo thành công danh sách luồng xử lý Gán luồng xử lý cho yêu cầu từ phía Client: 44 - Mục đích: Gán việc tính tốn xử lý cho yêu cầu từ ứng dụng phía client cho luồng xử lý trạng thái rảnh rỗi, nhằm hạn chế tối đa khả gây chậm trễ cho ứng dụng phải xử lý lúc nhiều yêu cầu - Tác nhân, Mô tả chung: o Tác nhân: Thành phần xử lý logic quản lý luồng chương trình server o Mơ tả chung: Mỗi có u cầu từ phía client, server phải kiểm tra trạng thái tính tốn luồng xử lý danh sách khởi tạo từ ban đầu Nếu có luồng xử lý trạng thái rỗi, server gán luồng xử lý cho yêu cầu nhận để luồng xử lý thực phép tính tốn, nhận dạng trả kết cho client tương ứng Nếu toàn luồng xử lý trạng thái tính tốn yêu cầu đưa vào hàng đợi, đợi đến có luồng - - xử lý giải phóng đặt trạng thái rảnh rỗi Luồng kiện chính: Thành phần xử lý logic quản lý luồng xử lý kiểm tra danh sách luồng xử lý, gán yêu cầu nhận cho luồng xử lý rảnh rỗi Luồng thay thế: Nếu khơng có luồng xử lý danh sách trạng thái rảnh rỗi, yêu cầu đưa vào hàng đợi xử lý tiếp có - luồng xử lý hồn thành việc tính tốn trước Các yêu cầu cụ thể: Trong danh sách luồng xử lý cịn luồng trạng thái rảnh rỗi Điều kiện trước: Các luồng xử lý phải khởi tạo thành cơng từ bắt đầu chạy chương trình server - Điều kiện sau: Thông báo gán luồng xử lý thành cơng Giải phóng luồng xử lý: - Mục đích: Cập nhật trạng thái luồng xử lý hồn thành việc tính - tốn nhận dạng cho yêu cầu giao Tác nhân, Mô tả chung: o Tác nhân: Thành phần xử lý logic quản lý luồng chương trình server o Mơ tả chung: Khi luồng xử lý hồn thành việc tính tốn, nhận dạng gửi kết cho phía client, luồng cần giải phòng cách cập nhật lại trạng thái luồng thành trạng thái rảnh rỗi Luồng xử lý tiếp tục đợi đến giao cho yêu cầu nhận dạng từ server 45 - Luồng kiện chính: Thành phần xử lý logic quản lý luồng xử lý cập nhật trạng thái luồng thành trạng thái rỗi luồng thơng báo hồn thành việc xử lý yêu cầu giao trước - Luồng thay thế: Không Các yêu cầu cụ thể: Thành phần xử lý logic quản lý luồng xử lý cần phải có chế để nhận thơng báo hồn thành tính tốn từ luồng danh sách - Điều kiện trước: Các luồng xử lý phải khởi tạo thành công từ bắt đầu chạy chương trình server Luồng xử lý hồn thành tính tốn đưa - thông báo tới thành phần quản lý logic luồng chương trình Điều kiện sau: Thơng báo luồng xử lý hồn thành tính tốn Thành phần quản lý luồng xử lý cập nhật trạng thái luồng thành trạng thái rảnh rỗi Sau đó, thành phần quản lý luồng tiếp tục kiểm tra hàng đợi yêu cầu từ client chưa xử lý, hàng đợi khơng rỗng lấy u cầu từ hàng đợi gán cho luồng xử lý rảnh rỗi 3.5 Ứng dụng phía Client Ứng dụng phía Client [1] ứng dụng điện thoại thông minh, thành phần hệ thống đảm nhiệm vai trò thu thập ảnh đầu vào để nhận dạng, gồm chức sau đây: Chụp ảnh, Chọn ảnh từ thư viện Xem kết nhận dạng mơ đun phía Server trả Ngồi ra, ứng dụng cịn có chức phụ khác, như: Phàn hồi kết quả, Thay đổi ngôn ngữ hiển thị, Xem thông tin ứng dụng hướng dẫn sử dụng ứng dụng Chức Cấu hình địa IP máy chủ chức sử dụng phiên thử nghiệm hệ thống, mơ đun phía Server giai đoạn phát triển kiểm thử chưa đưa vào triển khai thực tế 46 Hình 3.9: Biểu đồ ca sử dụng Client Hình 3.9 cho thấy ca sử dụng ứng dụng phía client, sau ta vào phần đặc tả chi tiết ba ca sử dụng số đó: Chụp ảnh: - Mục đích: Chụp ảnh hoa gửi ảnh chụp lên cho server thực - tính tốn nhận dạng Tác nhân, Mô tả chung: o Tác nhân: Người dùng ứng dụng o Mô tả chung: Khi người dùng muốn thực nhận dạng loại hoa - đó, người dùng chọn chức chụp ảnh trực tiếp ứng dụng Luồng kiện chính: Người dùng thực chụp ảnh hoa quả, ứng dụng thực - mã hóa nén liệu ảnh gửi lên server, đồng thời hiển thị thông báo cho người dùng chờ kết nhận dạng Luồng thay thế: Ứng dụng thông báo lỗi sử dụng camera điện - thoại, thông báo lỗi kết nối đến chương trình server theo địa IP cấu hình Các u cầu cụ thể: Khơng Điều kiện trước: Ứng dụng khởi động thành công, thông tin cấu hình chung cho ứng dụng điện thoại nạp thành công Điều kiện sau: Thông báo người dùng chờ lúc chương trình server thực tính toán nhận dạng 47 Chọn ảnh thư viện ảnh: - Mục đích: Lấy ảnh chụp thư viện ảnh máy điện thoại để gửi lên cho server, u cầu tính tốn nhận dạng - Tác nhân, Mô tả chung: o Tác nhân: Người dùng ứng dụng o Mô tả chung: Khi người dùng muốn thực nhận dạng loại hoa đó, thời điểm người dùng khơng có kết nối mạng để kết nối tới server, người dùng chụp lưu lại ảnh hoa thư viện ảnh máy điện thoại thực việc nhận dạng sau - Luồng kiện chính: Người dùng chọn ảnh lưu thư viện ảnh, ứng dụng thực mã hóa nén liệu ảnh gửi lên server, đồng thời hiển thị thông báo cho người dùng chờ kết nhận dạng - Luồng thay thế: Ứng dụng truy cập vào thư mục thư viện ảnh điện thoại, thông báo lỗi khơng thể kết nối đến chương trình server theo địa IP cấu hình - Các yêu cầu cụ thể: Không Điều kiện trước: Ứng dụng khởi động thành cơng, thơng tin cấu hình chung cho ứng dụng điện thoại nạp thành công - Điều kiện sau: Thông báo người dùng chờ lúc chương trình server thực tính tốn nhận dạng Xem kết quả: - Mục đích: Hiển thị kết nhận dạng hoa nhận từ chương trình server Kết hiển thị cho người dùng bao gồm loại hoa chính, với kết nhận dạng cao nhất, bốn loại hoa với kết nhận dạng thấp Việc hiển thị nhiều loại hoa thay loại giúp người dùng tham khảo loại hoa tương tự, đồng thời phục vụ cho tính - phản hồi kết thông tin nhận dạng bị sai lệch Tác nhân, Mơ tả chung: o Tác nhân: Ứng dụng phía client o Mơ tả chung: Sau chương trình server nhận yêu cầu từ phía client, server thực tính tốn luồng xử lý trả kết cho ứng dụng phía client Lúc ứng dụng hiển thị kết nhận cho người dùng - Luồng kiện chính: Ứng dụng hiển thị cho người dùng kết nhận dạng, gồm danh sách năm loại có kết nhận dạng cao 48 - Luồng thay thế: Ứng dụng hiển thị kết chuỗi ký tự vô nghĩa, nguyên - nhân q trình nhận bóc tách liệu từ server bị lỗi Hoặc Các yêu cầu cụ thể: Không - Điều kiện trước: Ứng dụng gửi ảnh lên server trạng thái đợi kết tính tốn nhận dạng từ server Điều kiện sau: Ứng dụng hiển thị thành công kết nhận cho người dùng Để kết nhận dạng tốt, ảnh đầu vào cần phải thỏa mãn số ràng buộc chính, ràng buộc nhằm đảm bảo tương tự định ảnh đầu vào ảnh liệu sử dụng để huấn luyện, từ nâng cao tỉ lệ nhận dạng xác mơ hình Các ràng buộc cụ thể sau: 1) Trong ảnh đầu vào có loại 2) Hình ảnh ảnh phải chiếm tỉ lệ định ảnh, hình ảnh nhỏ dẫn đến khó khăn tính tốn đặc trưng, gây nhầm lẫn nền, từ gây kết sai lệch 3) Hình ảnh ảnh khơng bị che lấp nhiều vật thể khác, yếu tố có ảnh hưởng lớn đến kết tính tốn đặc trưng lớp mạng 4) Ảnh chụp đầu vào khơng bị q nhịe điều kiện ánh sáng Hiện tại, ứng dụng phía Client phát triển tảng điện thoại thông minh, hệ điều hành Android, tương lai tiếp tục phát triển hệ điều hành tảng khác Việc mở rộng không phức tạp tính tốn nhận dạng phức tạp dược phía Server xử lý, tính phía Client đơn giản hóa khơng có nhiều phụ thuộc vào tảng bên 49 Chương Kết thử nghiệm đánh giá 4.1 So sánh với phương pháp Học máy truyền thống Thực nghiệm với phương pháp Học máy truyền thống: Bước 1: Xây dựng CSDL ảnh hoa cho 20 loại Bước 2: Tiền xử lý ảnh CSDL (lọc nền) gán nhãn Đặc trưng CSDL ảnh ảnh thu thập cách chụp thủ cơng, nhằm đảm bảo ảnh có chất lượng cao, có kích thước tỉ lệ ảnh, với bị loại bỏ hồn tồn Hình 4.1: Một số ảnh lọc CSDL 20 loại - Bước 3: Chọn lọc đặc trưng, cụ thể: o Về màu sắc: Sử dụng 16 đặc trưng số lượng điểm ảnh với giá trị màu tính theo hệ màu HSI (Hue-Saturation-Intensity) Ta không sử dụng hệ màu thường gặp RGB sau chuyển sang hệ màu HSI, ta tách biệt thông tin màu sắc với thành phần khác độ sáng, bão hòa… Cụ thể hơn, ta chia dải màu Hue thành 12 đoạn tương ứng với 12 dải màu (đỏ, vàng, xanh lục…) chia dải giá trị độ khiết màu sắc Saturation thành đoạn, sau thống kê số điểm ảnh có giá trị điểm màu nằm dải để thu 16 giá trị đặc trưng màu sắc cho ảnh đầu vào  Về hình dạng: Sử dụng đặc trưng hình dạng hoa ảnh chu vi, diện tích, độ dài lớn nhất, độ rộng lớn hoa ảnh  Về kết cấu: Sử dụng 10 đặc trưng kết cấu, 10 tham số ma trận GLCM (Grey Level Co-occurrence Matrix) – ma trận tính tốn đặc trưng kết cấu phổ biến lĩnh vực Xử lý ảnh, VD số tham số sử dụng như: Entropy, Energy, Homogenity, Contrast, Correlation… 50 Tổng kết lại, với ảnh đầu vào ta tính tốn 30 giá trị đại diện cho 30 đặc trưng màu sắc, hình dạng kết cấu Những đặc trưng chọn lựa sau trình tìm hiểu báo, cơng trình khoa học sử dụng Học máy toán nhận dạng hoa thống kê đặc trưng sử dụng nhiều nhất, đạt hiệu tốt Bước 4: Huấn luyện mơ hình nhận dạng hoa từ CSDL ảnh xây dựng Bộ CSDL ảnh để so sánh tương đối độ xác mơ hình truyền thống so với mơ hình học sâu tiên tiến bây giờ, số lượng loại hoa hạn chế 20 loại, với số lượng ảnh cho loại 400-600 ảnh - Bước 5: Thống kê độ xác với tỉ lệ training/test 75/25 Kết đạt không cao, đạt ~74.5% liệu test 2.600 ảnh, thử nghiệm thực tế gặp phải sai số lớn (do ảnh chụp thực tế có chất lượng khơng cao khác biệt lớn so với CSDL ảnh để huấn luyện) Thực nghiệm với phương pháp Học sâu: Bước 1: Xây dựng CSDL ảnh hoa cho 20 loại Bước 2: Tiền xử lý ảnh CSDL (lọc nền) gán nhãn Hai bước cần thực lần xây dựng CSDL ảnh huấn luyện cho phương pháp Học máy truyền thống AlexNet dựng Bước 3: Thực bước tính tốn cần thiết để ứng dụng mơ hình Bước 4: Huấn luyện mơ hình nhận dạng hoa từ CSDL ảnh xây Bước 5: Thống kê độ xác với tỉ lệ training/test 75/25 Xem hình kết ta thấy độ xác đạt cao, ~98.8%, vượt trội so với với độ xác mơ hình huấn luyện sử dụng phương pháp Học máy truyền thống Đánh giá kết quả: Với kết thu từ hai mơ hình huấn luyện sử dụng hai phương pháp khác CSDL ảnh chất lượng tốt tiền xử lý gán nhãn cẩn thận, ta rút kết luận sau: Với toán nhận dạng phân loại đối tượng nói chung, khó chọn đặc trưng hiệu quả, Học sâu phương pháp có ưu vượt trội so với phương pháp Học máy truyền thống Học sâu giúp đơn giản hóa q trình huấn luyện mơ hình nhận dạng không yêu cầu tham gia người huấn luyện q trình trích chọn đặc trưng, đồng thời cho phép tái sử dụng mơ hình huấn luyện trước để giảm thời gian cài đặt giải pháp cho tốn nhận dạng Thơng tin tổng quan CSDL ảnh trình huấn luyện kết đạt hai phương pháp tóm lược bảng bên dưới: 51 Bảng 4.1: So sánh sơ kết huấn luyện phương pháp Bộ CSDL ảnh Học máy truyền thống Học sâu - Số lượng hoa cần nhận dạng: 20 loại - Số lượng ảnh trung bình cho loại quả: 400-600 ảnh - Tổng số ảnh sử dụng để huấn luyện: 10.400 ảnh Thời gian huấn luyện Độ xác 120 phút 74.50% 360 phút 98.76% 4.2 So sánh kết với CSDL sinh tự động Trong mục 2.3, ta chứng minh khả Học chuyển giao việc giữ độ xác cao mơ hình huấn luyện với liệu có kích thước khơng lớn Tuy nhiên thực cài đặt tinh chỉnh mơ hình, ta phải liên tục tăng cường, bổ sung CSDL ảnh để mơ hình huấn luyện ngày hiệu quả, tham số đặc trưng cải thiện, riêng biệt hóa cho tốn nhận dạng hoa Để kiểm chứng ảnh hưởng kích thước CSDL ảnh lên độ xác mơ hình nhận dạng, ta thực huấn luyện mơ hình hai lần riêng biệt với liệu gồm ảnh gốc với liệu bao gồm ảnh gốc với ảnh tự động sinh thêm nhờ thuật toán xử lý ảnh Do kết phần thực nghiệm ứng dụng vào chương trình server để sử dụng thực tế, CSDL ảnh sử dụng CSDL ảnh đầy đủ, gồm ảnh thu thập gán nhãn cho 40 loại hoa khác Thực nghiệm với CSDL ảnh gốc: - Số lượng ảnh gốc cho loại quả: 500-1000 ảnh Tổng số ảnh dùng để huấn luyện: 21.000 ảnh - Tổng số ảnh dùng để test: 7.000 ảnh - Thời gian huấn luyện cho 20.000 lượt: tiếng - Độ xác: 65,49% Thực nghiệm với CSDL ảnh sinh tự động từ ảnh gốc: Từ ảnh gốc, sau sử dụng thuật toán xử lý ảnh chiếu nghiêng (skew), thêm nhiễu ghép khác ta thu ảnh để tăng cường cho CSDL ảnh huấn luyện 52 Hình 4.2: Ảnh hoa gốc ảnh sinh tự động - Số lượng ảnh gốc cho loại quả: 500-1000 ảnh Số lượng ảnh sinh thêm từ ảnh gốc: ảnh - Tổng số ảnh dùng để huấn luyện: 210.000 ảnh - Tổng số ảnh dùng để test: 70.000 ảnh Thời gian huấn luyện cho 20.000 lượt: 30 tiếng Độ xác: 98,67% Đánh giá kết quả: Sự cải thiện rõ rệt độ xác mơ hình nhận dạng sau tăng cường CSDL ảnh huấn luyện cho thấy hiệu thực tế phép sinh ảnh tự động sử dụng phương pháp xử lý ảnh Chất lượng nhận dạng ứng dụng thực tế tăng lên ảnh sinh tự động giúp mơ q trình chụp ảnh đời thực, góc chụp khác nhau, nhiễu sinh môi trường, chất lượng máy ảnh… đa dạng mà người dùng sử dụng để chụp ảnh Việc tăng cường CSDL ảnh giải pháp cho trường hợp khó thu thập ảnh để huấn luyện mơ hình, nhiên cần phải ý đến mặt trái việc lạm dụng phương pháp tăng cường ảnh này, nguy gây trạng thái “overfit” liệu (mơ hình nhận dạng khớp với liệu huấn luyện mà bị sai lệch với liệu thực tế) Bảng 4.2 tóm lược lại kết so sánh độ xác mơ hình nhận dạng huấn luyện với hai CSDL khác nhau: CSDL ảnh gốc có bổ sung thêm ảnh sinh tự động thuật toán Xử lý ảnh Bảng 4.2: Ảnh hưởng ảnh sinh tự động với chất lượng mơ hình nhận dạng Bộ CSDL ảnh gốc Bộ CSDL ảnh gốc, bổ sung thêm ảnh sinh tự động Bộ CSDL ảnh Thời gian huấn luyện Độ xác - Số lượng hoa cần nhận dạng: 40 loại - Số lượng ảnh trung bình cho loại quả: 500-1000 ảnh - Tổng số ảnh sử dụng để huấn luyện: 28.000 ảnh tiếng 65,49% 30 tiếng 98,67% - Số lượng hoa cần nhận dạng: 40 loại 53 - Số lượng ảnh trung bình cho loại quả: 5.000-10.000 ảnh - Tổng số ảnh sử dụng để huấn luyện: 280.000 ảnh 4.3 Thử nghiệm ứng dụng thực tế Ứng dụng Nhận dạng hoa - Fruit Recognition - thử nghiệm thực tế với nhiều mẫu hoa khác nhau, chia thành hai nhóm chính: Nhóm huấn luyện nhận dạng nhóm chưa huấn luyện Kết đạt tương đối tốt, cụ thể sau: Nhóm hoa nằm danh sách 40 chọn để xây dựng liệu nhận dạng: Kết nhận dạng đạt độ xác cao, đặc biệt với loại có nét đặc trưng màu sắc hình dạng chuối, long, chơm chơm… Hình 4.3: Kết nhận dạng tốt với loại có đặc trưng riêng biệt Đối với loại có nhiều nét tương đồng lẫn nhau, kết nhận dạng ứng dụng cịn đơi lúc bị nhầm lẫn, đặc biệt trường hợp ảnh chụp theo góc nhìn chưa tốt dẫn đến ảnh đặc trưng riêng Những sai sót khơng thể tránh khỏi nhiều trường hợp, mắt người không dễ dàng phân biệt chúng dựa vào hình ảnh chụp mà khơng có hỗ trợ giác quan khác khứu giác hay vị giác Hình 4.4: Kết nhận dạng chưa tốt với loại khơng có đặc trưng riêng biệt 54 Có thể thấy hình trên, hình ảnh đào chụp góc độ chưa tốt, khiến cho hệ thống nhận dạng nhầm lẫn Tuy nhiên ta thấy điều qua thông số thể độ xác nhận dạng mà mơ hình đưa ra: tỉ lệ nhận dạng mận chi đạt 41,67%, không cao nhiều so với đào 34,28%, thấp so với tỉ lệ nhận dạng thơng thường (lớn 90%) Nhóm hoa nằm ngồi danh sách 40 quả: Hệ thống tính tốn trả kết nhận dạng 40 loại hoa có tỉ lệ giống với loại cần nhận dạng Độ tương đồng hai loại ta nhận thấy rõ ràng: Hình 4.5: Kết nhận dạng với loại khơng huấn luyện Trong trường hợp hình trên, ta yêu cầu hệ thống nhận dạng bòn bon, bịn bon khơng có danh sách 40 huấn luyện nhận dạng nên kết trả loại có tương đồng cao nhất, nhãn Ngoài ra, kết thực nghiệm thu cho thấy hệ thống nhận dạng đạt kết tương đối chuẩn xác với trường hợp hình ảnh ảnh đầu vào bị che khuất phần, điều kiện ánh sáng không thực tốt trường hợp ảnh bị biến dạng nhẹ Đây khó khăn tốn nhận dạng vật thể nói chung mà ta đề cập tới phần mở đầu luận văn, lý giải cho điều trình thu thập ảnh ban đầu sinh ảnh tự động từ ảnh gốc, mơ hình nhận dạng huấn luyện để nhận trường hợp tương tự Khả dự đoán mạnh mẽ giúp cho phương pháp Học sâu, đặc biệt mạng huấn luyện no ron tích chập CNN trở thành giải pháp mạnh mẽ lĩnh vực nhận dạng ảnh 55 Chương Kết luận Luận văn nghiên cứu, tìm hiểu tốn tự động nhận dạng phân loại hoa ảnh màu, thực phát triển, cài đặt phương án giải cho toán dựa thống kê hướng tiếp cận cơng bố qua nhiều báo, cơng trình khoa học giới Các kết mà luận văn đạt được, tương ứng với mục tiêu đề ban đầu sau: Hoàn thiện xây dựng sở liệu ảnh phục vụ huấn luyện nhận dạng cho 40 loại hoa phổ biến nước ta, với số lượng ảnh gốc trung bình cho loại từ 500-1000 ảnh Thống kê đặc trưng thường sử dụng để huấn luyện nhận dạng hoa phương pháp Học máy truyền thống, bao gồm đặc trưng màu sắc, hình dạng kết cấu Từ làm sở xây dựng mạng nơ-ron nhân tạo truyền thống so sánh kết với mạng nơ-ron tích chập thuộc nhóm phương pháp Học sâu Cài đặt tinh chỉnh mạng nơ-ron tích chập huấn luyện trước, ứng dụng vào toán nhận dạng hoa Đồng thời xây dựng hệ thống tự động nhận dạng hoa Fruit Recognition System với ứng dụng client điện thoại thông minh Thực nghiệm với liệu test thực tế cho kết tốt, nguyên nhân phạm vi số lượng hoa để nhận dạng hạn chế 40 loại – số khiêm tốn so với số lượng hoa Việt Nam nói riêng giới nói chung Hệ thống tự động nhận dạng hoa cần nhiều cải thiện, đặc biệt khả mở rộng phạm vi loại hoa kích thước, chất lượng CSDL ảnh huấn luyện Trong tương lai, để cải thiện độ xác mơ hình nhận dạng, tơi đề xuất cài đặt thử nghiệm đánh giá loại mơ hình mạng Học sâu huấn luyện trước, đặc biệt mạng đạt kết cao thi Nhận dạng ảnh quy mô lớn ImageNet tổ chức thường niên như: ZF Net (2013), VGG Net (2014), GoogleNet Microsoft ResNet (2015)… 56 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Trần Tuấn Linh (2017) Ứng dụng nhận dạng hoa cho điện thoại thơng minh dựa hình ảnh [2] Vũ Hữu Tiệp (2017) Machine Learning http://machinelearningcoban.com/general/2017/02/06/featureengineering/ Tiếng Anh [3] Andrej Karpathy CS231n Convolutional Neural Networks for Visual Recognition - Image Classification http://cs231n.github.io/classification/ [4] Sadrnia, H., Rajabipour, A., Jafary, A., Javadi, A., & Mostofi, Y (2007) Classification and analysis of fruit shapes in long type watermelon using image processing Int J Agric Biol, 9(1), 68–70 [5] Fu, L., Sun, S., Li, R., & Wang, S (2016) Classification of kiwifruit grades based on fruit shape using a single camera Sensors (Switzerland), 16(7), 1–14 [6] Seng, W C., & Mirisaee, S H (2009) A new method for fruits recognition system Proceedings of the 2009 International Conference on Electrical Engineering and Informatics, ICEEI 2009, 1, 130–134 [7] Arivazhagan, S., Shebiah, R N., Nidhyanandhan, S S., & Ganesan, L (2010) Fruit Recognition using Color and Texture Features Information Sciences, 1(2), 90–94 [8] Zhang, Y., & Wu, L (2012) Classification of fruits using computer vision and a multiclass support vector machine Sensors (Switzerland), 12(9), 12489–12505 [9] Naskar, S (2015) A Fruit Recognition Technique using Multiple Features and Artificial Neural Network, 116(20), 23–28 [10] GilPress (2016) Visually Linking AI, Machine Learning, Deep Learning, Big Data and Data Science | What’s The Big Data? https://whatsthebigdata.com/2016/10/17/visually-linking-ai-machine-learningdeep-learning-big-data-and-data-science/ [11] Lee, H., Grosse, R., Ranganath, R., & Ng, A Y (2009) Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations Proceedings of the 26th Annual International Conference on Machine Learning ICML ’09, 1–8 [12] Huew Engineering (2015) Introduction to Convolution Neural Networks – Huew Engineering https://engineering.huew.co/introduction-to-convolution-neuralnetworks-18981d1cd09a 57 [13] Dumoulin, V., & Visin, F (2016) A guide to convolution arithmetic for deep learning [14] Samer, C H., Rishi, K., & Rowen (2015) Image Recognition Using Convolutional Neural Networks Cadence Whitepaper, 1–12 [15] Andrej Karpathy (n.d.) CS231n Convolutional Neural Networks for Visual Recognition - Transfer Learning http://cs231n.github.io/transfer-learning/ [16] Yosinski, J., Clune, J., Bengio, Y., & Lipson, H (2014) How transferable are features in deep neural networks? Advances in Neural Information Processing Systems 27 (Proceedings of NIPS), 27, 1–9 [17] Jimmie Goode (2015) Classifying images in the Oxford 102 flower dataset with CNNs – Jimmie Goode http://jimgoo.com/flower-power/ [18] Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., Fei-Fei, L (2015) ImageNet Large Scale Visual Recognition Challenge International Journal of Computer Vision, 115(3), 211–252 [19] ImageNet Large Scale Visual Recognition Competition 2012 (ILSVRC2012) http://image-net.org/challenges/LSVRC/2012/results.html [20] Krizhevsky, A., Sutskever, I., & Geoffrey E., H (2012) ImageNet Classification with Deep Convolutional Neural Networks Advances in Neural Information Processing Systems 25 (NIPS2012), 1–9 [21] Jia, Y., Shelhamer, E., Donahue, J., Karayev, S., Long, J., Girshick, R., Darrell, T (2014) Caffe: Convolutional Architecture for Fast Feature Embedding http://arxiv.org/abs/1408.5093 [22] Welcome — Theano http://deeplearning.net/software/theano/ 0.9.0 documentation [23] Torch | Tutorials for learning Torch http://torch.ch/docs/tutorials.html [24] TensorFlow https://www.tensorflow.org/ [25] Andrej Karpathy (n.d.) CS231n Convolutional Neural Networks for Visual Recognition Visualizing what ConvNets learn http://cs231n.github.io/understanding-cnn/ ... Nhận dạng ảnh, có tốn nhận dạng hoa Đề tài nghiên cứu ? ?Nhận dạng phần loại hoa ảnh màu? ?? đưa với hy vọng ứng dụng thành cơng mơ hình học sâu xây dựng hệ thống nhận dạng hoa tự động, đặc biệt loại. .. lượng loại hoa nhận dạng số lượng ảnh chụp cho loại hoa Cụ thể: - Số lượng hoa nhận dạng: 40 loại hoa phổ biến nước ta nho, táo, chuối, long… - Số lượng ảnh gốc cho loại quả: 500-1000 ảnh, bao... tin, ví dụ tham số màu sắc, hình dạng, kết cấu, kích thước…, từ ảnh đầu vào để nhận dạng hoa [4, 5] Do đơn xử lý vài ảnh đầu vào biến thiên màu sắc, hình dạng, kích thước… hoa phức tạp, kết đạt