TÓM TẮT ĐỒ ÁN TỐT NGHIỆP Tên đề tài Nhận dạng biển dẫn dịch sang tiếng việt PCA Mơ tả bải tốn Ứng dụng nhận dạng biển dẫn nhƣ tất loại biển phục vụ đời sống ngƣời đề tài thu hút nhiều quan tâm nghiên cứu phát triển Ứng dụng không dừng nhận dạng ký tự mà dịch từ tiếng anh tiếng việt Góp phần xây dựng nên từ điển Anh Việt, nghĩa dịch nghĩa từ hình ảnh Đóng góp tác giả Xây dựng phƣơng pháp trích thơng tin biển dẫn (cụ thể từ ngữ đó) Xây dựng phƣơng pháp áp dụng PCA cho ký tự nêu đƣợc ƣu nhƣợc điểm phƣơng pháp PCA cho việc nhận dạng ký tự Xây dựng từ điển Anh – Việt chủ đề biển dẫn chức i Hình Chức load ảnh, nhận dạng, dịch nghĩa ii MỤC LỤC LỜI CẢM ƠN Error! Bookmark not defined LỜI CAM ĐOAN Error! Bookmark not defined NHẬN XÉT CỦA GIÁO VIÊN HƢỚNG DẪN Error! Bookmark not defined PHIẾU DUYỆT ĐỒ ÁN TỐT NGHIỆP Error! Bookmark not defined TÓM TẮT ĐỒ ÁN TỐT NGHIỆP i MỤC LỤC iii DANH MỤC CÁC HÌNH VẼ v Chƣơng TỔNG QUAN ĐỀ TÀI 1.1 Giới thiệu đề tài 1.2 mục đích ý nghĩa 1.2.1 Mục đích: 1.2.2 Ý nghĩa: 1.3 Biển dẫn 1.3.1 Khái niệm 1.3.2 Ứng dụng 1.4 phƣơng pháp giải quyêt toán đặt 1.4.1 Một số hƣớng giải toán nhận dạng biển dẫn 1.4.2 Một số hƣớng giải nhận dạng ký tự 1.4.3 Một số hƣớng giải dịch sang tiếng việt 1.5 Hƣớng giải đề tài 1.5.1 Đặc điểm bảng dẫn 1.5.2 Các bƣớc thực 1.6 Mục tiêu nhiệm vụ .7 1.6.1 Mục tiêu 1.6.2 Nhiệm vụ 1.7 Bố cục luận văn Chƣơng NỀN TẢNG CÔNG NGHỆ Error! Bookmark not defined 2.1 Mơ Hình Giải Quyết Bài toán Error! Bookmark not defined 2.2 Lý Thuyết Xử Lý Ảnh Error! Bookmark not defined 2.2.1 Tổng quan xử lý ảnh Error! Bookmark not defined 2.2.2 Nhận dạng ảnh Error! Bookmark not defined 2.2.3 Giới thiệu số ứng dụng xử lý ảnh Error! Bookmark not defined iii 2.3 2.3.1 Thƣ Viện Xử Lý Ảnh OPENCV Error! Bookmark not defined Vài nét Computer Vision Error! Bookmark not defined 2.3.2 Thƣ viện mã nguồn mở OpenCV Intel Error! Bookmark not defined 2.4 Hệ Quản Trị Cơ Sở Dữ Liệu MYSQL Error! Bookmark not defined 2.4.1 Khái niệm: Error! Bookmark not defined 2.4.2 Tại dùng MYSQL Error! Bookmark not defined 2.5 khái niệm Tốn học pca (phân tích thành phần chính)Error! Bookmark not defin 2.5.1 Độ lệch chuẩn Error! Bookmark not defined 2.5.2 Hiệp phƣơng sai Error! Bookmark not defined 2.5.3 Ma trận hiệp phƣơng sai Error! Bookmark not defined 2.5.4 Ma trận đại số Error! Bookmark not defined 2.5.5 Eigenvector (Vectơ riêng) Error! Bookmark not defined 2.5.6 Eigenvalue (Giá trị riêng) Error! Bookmark not defined Chƣơng ỨNG DỤNG VÀ THỰC NGHIỆM Error! Bookmark not defined 3.1 Môi trƣờng thực nghiệm Error! Bookmark not defined 3.2 Dữ liệu đầu vào Error! Bookmark not defined 3.3 Quá trình xử lý để nhận dạng dịch nghĩa Error! Bookmark not defined 3.3.1 Tổng quan trình thực Error! Bookmark not defined 3.3.2 Tải ảnh Error! Bookmark not defined 3.3.3 Tách vùng từ có trên biển Error! Bookmark not defined 3.3.4 Chƣơng trình tách ký tự Error! Bookmark not defined 3.3.5 Nhận dạng ký tự PCA Error! Bookmark not defined 3.3.6 Dịch sang tiếng việt Error! Bookmark not defined 3.4 Kết đạt đƣợc Error! Bookmark not defined 3.4.1 Giao diện chƣơng trình Error! Bookmark not defined 3.4.2 Mở ảnh Error! Bookmark not defined 3.4.3 Xem trình xử lý chƣơng trình Error! Bookmark not defined 3.4.4 Nhận dạng dịch Error! Bookmark not defined Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN .9 4.1 Kết luận 4.1.1 Kết đạt đƣợc 4.1.2 Hạn chế 4.2 Hƣớng phát triển 10 DANH MỤC TÀI LIỆU THAM KHẢO Error! Bookmark not defined iv v DANH MỤC CÁC HÌNH VẼ Hình Chức load ảnh, nhận dạng, dịch nghĩa - ii Hình Biển dẫn đƣờng Hình Biển dẫn cổng vào tịa nhà - Hình Biển dẫn phòng Hình Mơ hình giải toán - Error! Bookmark not defined Hình Ví dụ Computer Vision Error! Bookmark not defined Hình Tổ chức thƣ viện OpenCV. - Error! Bookmark not defined Hình Tổng quan trình thực Error! Bookmark not defined Hình Quá trình mở ảnh - Error! Bookmark not defined Hình 10 Quá trình tách từ - Error! Bookmark not defined Hình 11 Biển dẫn đƣợc khoanh vùng chọn Error! Bookmark not defined Hình 12 Sơ đồ tách ký tự - Error! Bookmark not defined Hình 13 ảnh đầu vào để tách hình chứa ký tự - Error! Bookmark not defined Hình 14 Kết nhị phân ảnh. - Error! Bookmark not defined Hình 15 Kết khoanh vùng đối tƣợng - Error! Bookmark not defined Hình 16 Kết tách từ - Error! Bookmark not defined Hình 17 Kết lọc lọc nhiễu - Error! Bookmark not defined Hình 18 Kết tách ký tự - Error! Bookmark not defined Hình 19 Sơ đồ áp dụng PCA nhận dạng ký tự - Error! Bookmark not defined Hình 20 Sơ đồ cài đặt xây dựng PCA - Error! Bookmark not defined Hình 21 Giao diện chƣơng trình - Error! Bookmark not defined Hình 22 Ảnh đƣợc mở đƣợc hiển thị lên picture box Error! Bookmark not defined Hình 23 Hiển thị kết trình xử lý - Error! Bookmark not defined Hình 24 Kết nhận dạng dịch - Error! Bookmark not defined vi Đồ án tốt nghiệp Nhận diện bảng dẫn dịch sang tiếng việt dùng PCA Chƣơng TỔNG QUAN ĐỀ TÀI 1.1 GIỚI THIỆU ĐỀ TÀI Nhận dạng ký tự toán thu hút đƣợc nhiều quan tâm nghiên cứu Qua em muốn tham gia nghiên cứu toán nhận dạng ký tự phƣơng pháp phân tích thành phần gọi tắt PCA phát triển sâu tham gia xây dựng ứng dụng “Nhận dạng biển dẫn dịch sang tiếng việt” trơng đợt làm luận văn Đề tài tập trung vào việc nhận dạng từ biển dẫn dịch sang tiếng việt Ứng dụng phần góp phần vào việc tách ký tự khỏi vùng ảnh, nhận dạng ảnh ký tự, cuối mang dịch nghĩa Cái đích cuối q trình nghiên cứu với mục đích mang lại cho ngƣời dùng nhanh chóng dịch đƣợc nghĩa từ (cụ thể từ tiếng anh) nằm bất ký biển dẫn 1.2 MỤC ĐÍCH VÀ Ý NGHĨA 1.2.1 Mục đích: Với đề tài “Nhận dạng biển dẫn dịch sang tiếng việt” em xác định cho mục đích cần đạt đƣợc cho trình thực luận văn nhƣ sau:  Hiểu thêm đƣợc môn xử lý ảnh  Biết đƣợc cách xây dựng thuật toán (cụ thể thuật toán PCA xây dựng bài)  Tìm hiểu xây dựng ứng dụng winForm ngôn ngữ C++  Biết áp dụng thƣ viện OPENCV cho xử lý ảnh  Nắm bắt chu trình để xây dựng phát triển cho sản phẩm phần mềm  Xây dựng đƣợc ứng dụng hoàn thiện, có khả ứng dụng vào thực tế 1.2.2 Ý nghĩa: Với việc xử lý ảnh thu hút nhiều dự án nghiên cứu phát triển, áp dụng nhiều giải pháp, nhiều kỹ thuật với đề tài xử lý nhận dạng mang cho em ý nghĩa sau:  Tham gia nghiên cứu phát triển thêm phƣơng pháp nhận dạng xử lý ảnh Đồ án tốt nghiệp Nhận diện bảng dẫn dịch sang tiếng việt dùng PCA  Mang lại ứng dụng thiết thực cho ngƣời dùng  Nhanh chóng nắm bắt đƣợc cơng nghệ tƣơng lai 1.3 BIỂN CHỈ DẪN 1.3.1 Khái niệm Biển dẫn biển chứa thơng tin hữu ích, nhằm hƣớng ta nhanh chóng nắm bắt hƣớng dẫn ta hiểu điều Bảng dẫn biển hiệu đƣợc đặt đƣờng, hành lang, khung viên, tịa nhà lớn, có chứa thơng tin chữ ký hiệu liên quan đến lĩnh vực Chẳng hạn nhƣ biển dẫn lối đi, biển thơng tin, biển dẫn trị chơi v.v Một số hình ảnh biển dẫn: Hình Biển dẫn đƣờng Đồ án tốt nghiệp Nhận diện bảng dẫn dịch sang tiếng việt dùng PCA Hình Biển dẫn cổng vào tịa nhà Hình Biển dẫn phịng 1.3.2 Ứng dụng Hiện có nhiều biển dẫn thuộc nhiều lĩnh vực khác đời sống Mục đích để hƣớng dẫn ngƣời hiểu bắt kịp cần thiết thời điểm mong muốn đƣợc hƣớng dẫn Chính nhu cầu em xây dựng phần mềm “Nhận dạng biển dẫn dịch sang tiếng việt” Với Tiêu chí góp phần vào việc làm cho ngƣời hiểu đƣợc bảng dẫn mà chƣa biết ngoại ngữ (cụ thể biển dẫn tiếng anh) 1.4 PHƢƠNG PHÁP GIẢI QUYÊT BÀI TỐN ĐẶT RA Nhằm đạt đƣợc kết trơng đợi nhƣ đề ra, hoàn thành luận văn thời hạn, em chuẩn bị kế hoạch thực công việc chi tiết nhƣ sau:  Liệt kê yêu cầu lớn đề  Đề phƣơng pháp giải với yêu cầu Đồ án tốt nghiệp Nhận diện bảng dẫn dịch sang tiếng việt dùng PCA  Chọn phƣơng pháp giải phù hợp với đề tài cho yêu cầu  Đƣa kết luận rút kinh nghiệm 1.4.1 Một số hƣớng giải toán nhận dạng biển dẫn 1.4.1.1 Hướng tiếp cận phát triển vùng Ý tƣởng phƣơng pháp: Dễ áp dụng cho biển có chứa màu đồng nhất, chẳng hạn màu định, có diện tích định Phƣơng pháp phát triển vùng dùng khung chữ nhật di chuyển để tìm vùng có tính chất thỏa mãn biển dẫn tiến hành nhận dạng Ƣu Điểm: Rất đơn giản, xử lý nhanh tập ảnh có chứa biển dẫn màu định kích thƣớc Nhƣợc điểm: Bảng dẫn thƣờng chứa nhiều màu nhiều màu sắc khác kể kích thƣớc, Vì Phƣơng pháp áp dụng không tối ƣu cho luận 1.4.1.2 Hướng tiếp cận dò biên biến đổi Hough Ý tƣởng phƣơng pháp: Biển dẫn thƣơng đƣợc bao quanh đƣờng dọc ngang Do dùng phƣơng pháp phát biên, sau dùng Hough để trích đoạn thẳng dọc ngang tồn ảnh Giao điểm đoạn thẳng vùng chứa biển dẫn Ƣu điểm: độ xác tƣơng đối cao, đa phần hệ thống nhận dạng phát triển theo hƣớng tiếp cận Nhƣợc điểm: độ phức tạp tính tốn cao Khi ảnh thêm nhiều đối tƣợng khác khối lƣợng tính tốn tăng lên nhiều 1.4.1.3 Hướng tiếp cận phát biên Heuristic Ý tƣởng phƣơng pháp: Áp dụng mặt nạ Sobel để dị tìm cạnh ảnh, , kết ảnh chứa tập cạnh , gọi G(x, y) Sau đó, áp dụng số heuristic biển dẫn nhƣ kích thƣớc, tỉ lệ chiều cao/chiều rộng, sử dụng cửa sổ di chuyển toàn G(x, y) để tìm vùng có số cạnh thỗ điều kiện Ƣu điểm: Khơng lệ thuộc vào ảnh đầu vào Nhƣợc điểm: Chi phí tính tốn cao khơng giải tốt giai đoạn tìm cạnh , đòi hỏi heuristic đƣa vào phải qua thƣc nghiệm kiểm chứng chuyên gia cung cấp Đồ án tốt nghiệp Nhận diện bảng dẫn dịch sang tiếng việt dùng PCA 1.4.1.4 Hướng tiếp cận thủ cơng Ý tƣởng phƣơng pháp: Áp dụng thao tác ngƣời dùng, vẽ khung ảnh, với điều kiện khung nằm biển dẫn Ƣu điểm: Nhanh, gọn, thích hợp cho ứng dụng ngƣời dùng cần dịch chổ không hiểu, tránh nhập nhằng việc nhận dạng bảng dẫn, chi phí tính tốn khơng cao Nhƣợc điểm: Ngƣời dùng vẽ khơng xác vùng biển biển có độ nghiêng độ lệch cao 1.4.2 Một số hƣớng giải nhận dạng ký tự Với tên đề tài “Nhận dạng biển dẫn dịch sang tiếng việt PCA” biết đề tài hƣớng nhận dạng luận dùng giải thuật PCA (phân tích thành phần chính) Thuật tốn PCA với nhận dạng phƣơng pháp nơron, máy học SVN đƣợc dùng nhiều kỹ thuật nhận dạng Kỹ thuật PCA đƣợc nhắc nhiều nhận dạng khuôn mặt Với đề tài tìm hiểu sâu kỹ thuật PCA vấn đề nhận dạng ký tự Cũng nhƣ đƣa đƣợc ƣu nhƣợc điểm kỹ thuật PCA việc nhận dạng ký tự 1.4.3 Một số hƣớng giải dịch sang tiếng việt 1.4.3.1 Hướng giải đọc liệu từ file text Ý tƣởng phƣơng pháp này: Lần chạy chƣơng trình ta load tất liệu từ file text lên lƣu vào mảng Sau trình nhận dạng từ ta dùng vịng lặp để đối chiếu thơng tin liệu có mảng Ƣu điểm: Dễ thực Nhƣợc điểm: Bƣớc đầu chạy chƣơng trình phải load lên hết liệu từ file Nếu file chứa liệu lớn làm ảnh hƣởng tới chƣơng trình Làm cho chƣơng trình chạy chậm Vì đọc file phải dùng vịng lặp lƣu liệu vào biến mảng Tới giai đoạn dịch lần ta lại sử dụng vòng lặp for để đối chiếu dẫn tới tình trạng chƣơng trình chạy lâu Dữ liệu file khơng cú pháp dẫn tới chƣơng trình đọc bị lỗi 1.4.3.2 Hướng giải kết nối sỡ liệu thực truy vấn Ý tƣởng phƣơng pháp này: Phƣơng pháp đƣợc sử dụng sau nhận dạng đƣợc ký tự, ta thực truy vấn sở liệu để lấy liệu Đồ án tốt nghiệp Nhận diện bảng dẫn dịch sang tiếng việt dùng PCA Ƣu điểm: Đạt hiệu cao, không tốn nhiều nhớ để lƣu hết liệu nhƣ đọc liệu từ file Nhƣợc điểm: Khó thực Có thể xuất tình trạng kết nối tới sở liệu 1.5 HƢỚNG GIẢI QUYẾT CỦA ĐỀ TÀI 1.5.1 Đặc điểm bảng dẫn Đƣợc xem qua bảng dẫn từ hình 2,3,4 thấy kích thƣớc biển khơng đồng nhất, khơng loại Và màu màu sắc ký tự bảng khác Với đặc điểm ta áp dụng tiếp cận phƣớng pháp tiếp cần vùng, dò biên Hough phát hiên biên – Heuristic khó khăn Cịn phƣơng pháp cuối phƣơng pháp phƣơng pháp thủ công, Cũng may phƣơng pháp thuận lợi cho việc ngƣời dùng trích chổ họ muốn trích từ bảng dẫn dịch sang đoạn tiếng việt Phƣơng pháp tối ƣu xây dựng tảng di động Do bƣớc đầu thực đề tài liên quan đến xử lý nhận dạng nên chọn làm windown application để dễ thực điều tra độ phức tạp trƣớc làm ứng dụng di động 1.5.2 Các bƣớc thực Để nhận dạng bảng dẫn dịch sang tiếng việc báo cáo ta trình bày bƣớc hƣớng đề tài thực bƣớc theo thứ tự sau: Bƣớc 1: Ảnh truyền vào máy tính, gọi ảnh đầu vào F(x,y) Bƣớc 2: Từ ảnh đầu vào ta sử dụng phƣơng pháp hƣớng tiếp cận thủ cơng để trích từ cần dịch có biển dẫn Để sử dụng phƣơng pháp ta dùng chuột để để khoanh vùng cần trích Bƣớc 3: Tiến hành tách ảnh ký tự vùng khoanh đƣợc đêm lƣu vào mảng Tạm gọi mảng mảng A Để sử dụng phƣơng pháp ta dùng thƣ viện mã nguồn mở OPENCV sử dụng hàm đặc điểm ký tự vào để dễ dàng tách ký tự Bƣớc 4: Mang ảnh ký tự thực nhận dạng thuật toán Thật toán để giải quyết: có nhiều thuật tốn để giải vấn đề này, nhƣ thuật toán nơron, máy học SVN Nhƣng luận chủ yếu để nghiên cứu thuật tốn PCA (Phân tích thành phần chính) Ta tiến hành nhận dạng Đồ án tốt nghiệp Nhận diện bảng dẫn dịch sang tiếng việt dùng PCA phƣơng pháp nghiên cứu sâu ƣu điểm nhƣợc điểm nhận dạng ký tự Bƣớc 5: Ghép ký tự lại để có đƣợc từ hồn chỉnh Sau có kết từ nhận dạng qua thuật toán PCA ký tự ta tiến hành ghép chúng lại để có từ ồn chỉnh Bƣớc 6: Thực truy vấn sỡ liệu để dịch nghĩa Với đặc điểm gọn nhẹ Mysql so với loại sỡ liệu khác Với ta thực bảng nên sử dụng sỡ Mysql thích hợp 1.6 MỤC TIÊU VÀ NHIỆM VỤ 1.6.1 Mục tiêu  Xây dựng đƣợc ứng dụng visual studio, lập trình với C++  Xây dựng demo đơn giản xử lý ảnh  Cài đặt thuật toán PCA  Kết nối đƣợc sở liệu  Tách đƣợc ký tự để mang nhận dạng 1.6.2 Nhiệm vụ  Tìm hiểu ngơn ngữ lập trình C++  Tìm hiểu xử lý ảnh  Tìm hiểu thuật toán PCA bƣớc cài đặt  Tìm hiểu hệ quản trỵ sở liệu MySql: phƣơng thức kết nối, viết câu lệnh truy vấn  Tìm hiểu thƣ viện OPENCV có hàm có chức giúp ích cho việc nhận dạng trích xuất đối tƣợng từ ảnh  Thu thập ảnh để làm tập mẫu cho thuật toán PCA ảnh làm liệu Test 1.7 BỐ CỤC LUẬN VĂN Bố cục luận văn gồm: Chƣơng Tổng quan đề tài Đồ án tốt nghiệp Nhận diện bảng dẫn dịch sang tiếng việt dùng PCA Nội dung chủ yếu chƣơng giới thiệu khái quát vấn đề cần thực hiện, mục tiêu, ý nghĩa mà đề tài hƣớng đến Đề phƣơng pháp giải Chọn phƣơng pháp giải thích hợp cho luận văn Chƣơng Cơ sở lý thuyết Nội dung nghiên cứu lý thuyết liên quan đến trình thực đề tài bao gồm: Lý thiết xử lý ảnh, Lý thuyết thƣ viện OpenCV nhận dạng, lý thuyết hệ quản trị sở MySQL, Lý thuyết thuật toán PCA Chƣơng Thực nghiệm Nội dung bƣớc tiếp cận lý thuyết áp dụng vào toán đặt Nêu bƣớc triển khai kết sơ khai chƣơng trình Chƣơng Kết luận hƣớng phát triển Nội dung rút đƣợc trình giải tốn Những giải đƣợc chƣa giải đƣợc Đặt hƣớng phát triển hƣớng cho luận Đồ án tốt nghiệp Nhận diện bảng dẫn dịch sang tiếng việt dùng PCA KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 1.8 KẾT LUẬN 1.8.1 Kết đạt đƣợc Khi bắt đầu đề tài, em đề mục tiêu cần thực nhƣ bảng bên dƣới số chức bổ sung trình thực dƣới bảo giáo viên hƣớng dẫn Chức Xây dựng giao diện ngƣời Trạng thái Ghi Hoàn thành dùng Xây dựng sở liệu từ Còn sơ khai điển Anh – Việt cho biển dẫn update từ ngƣời dùng Tách từ từ biển dẫn Hoàn thành Tách ký tự Hoàn thành Nhận dạng ký tự PCA Hoàn thành Thao tác truy vấn dịch sang tiếng việt Hoàn thành Xử lý xoay ảnh ảnh bị nghiêng Cần hổ trợ Cơ sở liệu MySql Chƣa hoàn thành Dựa vào bảng chức liệt kê cho thấy chƣơng trình tƣơng đối hồn chỉnh Đồng thời với việc thực chƣơng trình rút đƣợc ƣu nhƣợc điểm thuật toán PCA nhận dạng ký tự 1.8.2 Hạn chế Độ xác chƣơng trình nhận dạng biển dẫn phụ thuộc vào chất lƣợng ảnh Tuy nhiên yếu tố ta điều chỉnh đƣợc cách nâng cao chất lƣợng lọc nhiễu Đồ án tốt nghiệp Nhận diện bảng dẫn dịch sang tiếng việt dùng PCA Việc nhận dạng ký tự cịn nhiều sai sót khơng có đƣợc tập mẫu hồn chỉnh, thuật tốn PCA chƣa tối ƣu cho nhận dạng ký tự Nhận dạng PCA cho ký tự chậm liệu tập mẫu ngày lớn Nhận dạng PCA khơng xác cao liệu tập mẫu không lớn, cộng với yếu tố ta nhận thấy nhận dạng ký tự chƣa thích hợp sử dụng giải thuật PCA 1.9 HƢỚNG PHÁT TRIỂN Phát triển thiết bị di động, tiện lợi cho ngƣời dùng hơn, với xu phát triển mạnh di động, xử lý ảnh, nhận dạng ảnh có nhiều ứng dụng di động Với đề tài nhận dạng biển dẫn thích hợp làm di động hết Một phần tiện lợi cho ngƣời sử dụng, Xây dựng thuật tốn PCA kết hợp với nhận dạng Nơron để có kết xác cao Sử dụng thuật tốn vào việc trích từ nhƣ ký tự cộng với kết hợp hổ trợ từ thƣ viện OpenCV để toán xử lý tối ƣu