ĐẠI HỌC QUỐC GIA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN NGUYỄN XUÂN CƯỜNG NGHIÊN CỨU CÁC KỸ THUẬT XỬ LÝ ẢNH PHỤC VỤ VIỆC NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG TIẾNG VIỆT LUẬN VĂN THẠC SĨ Hà Nội - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN NGUYỄN XUÂN CƯỜNG NGHIÊN CỨU CÁC KỸ THUẬT XỬ LÝ ẢNH PHỤC VỤ VIỆC NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG TIẾNG VIỆT Ngành: Công nghệ Thông tin Chuyên ngành: Quản lý Hệ thống Thông tin Mã số: Chuyên ngành đào tạo thí điẻm LUẬN VĂN THẠC SĨ NGƯỜ I HƯỚNG DẪN KHOA HỌC: Ts Vũ Duy Linh Hà Nội – 2015 LỜI CAM ĐOAN Tôi xin cam đoan rằng, kết nghiên cứu có giúp đỡ lớn thầy hướng dẫn đồng nghiệp quan Các nội dung nghiên cứu kết đề tài hoàn toàn trung thực Trong luận văn, có tham khảo đến số tài liệu số tác giả liệt kê phần “Tài liệu tham khảo” cuối luận văn Tác giả luận văn Nguyễn Xuân Cường LỜI CẢM ƠN Em xin chân thành cảm ơn đến Viện Công Nghệ thông tin, Đại học Công Nghệ, Đại học Quốc gia Hà Nội tạo điều kiện cho em học tập thực luận văn Em xin gửi lời cảm ơn chân thành đến Tiến sĩ Vũ Duy Linh, người tận tình hướng dẫn em trình làm luận văn Em xin cảm ơn quý Thầy Cô nhiệt tình giảng dạy cho chúng em năm học vừa qua Cuối cùng, em xin gửi lời cảm ơn chân thành đến gia đình bạn bè, đồng nghiệp ủng hộ, động viên em để em có điều kiện tốt để học tập nghiên cứu Hà Nội, tháng 6/2015 Nguyễn Xuân Cường – CIO 04 Viện Công nghệ thông tin – Đại học Quốc gia Hà Nội MỤC LỤC BẢNG KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT .6 MỞ ĐẦU CHƯƠNG – TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ THƯ VIỆN OPENCV .9 1.1 Giới thiệu xử lý ảnh 1.1.1 Phần thu nhận ảnh .10 1.1.2 Tiền xử lý 10 1.1.3 Phân đoạn ảnh (phân vùng ảnh) 11 1.1.4 Biểu diễn mô tả .11 1.1.5 Nhận dạng nội suy 11 1.1.6 Cơ sở tri thức .11 1.2 Những vấn đề hệ thống xử lý ảnh 12 1.2.1 Điểm ảnh .12 1.2.2 Độ phân giải ảnh 13 1.2.3 Mức xám ảnh 13 1.2.4 Định nghĩa ảnh số 13 1.2.5 Mối liên hệ điểm ảnh 14 1.3 Những vấn đề khác xử lý ảnh 14 1.3.1 Biến đổi ảnh 14 1.3.2 Nén ảnh .15 1.4 Một số phương pháp biểu diễn ảnh 15 1.4.1 Mã loạt dài 15 1.4.2 Mã xích 15 1.4.3 Mã tứ phân 16 1.5 Thư viện OpenCV 16 1.5.1 Tổng quan 16 1.5.2 Những điểm đặc trưng 17 1.5.3 Các tổ chức 19 1.6 ImageMagick 19 CHƯƠNG – MỘT SỐ PHƯƠNG PHÁP TIỀN XỬ LÝ NÂNG CAO CHẤT LƯỢNG ẢNH 21 2.1 Cải thiện ảnh sử dụng toán tử điểm .21 2.1.1 Tăng độ tương phản (Stretching Contrast) 22 2.1.2 Tách nhiễu phân ngưỡng 23 2.1.3 Biến đổi âm (Digital Negative) 24 2.1.4 Cắt theo mức (Intensity Level Slicing) .24 2.1.5 Trích chọn bit (Bit Extraction) 25 2.1.6 Trừ ảnh 26 2.1.7 Nén dải độ sáng 26 2.1.8 Mô hình hóa biến đổi lược đồ xám 26 2.2 Cải thiện ảnh dùng toán tử không gian .27 2.2.1 Làm trơn nhiễu lọc tuyến tính: lọc trung bình lọc dải thông thấp 28 2.2.2 Làm trơn nhiễu lọc phi tuyến 30 2.2.3 Mặt lạ gờ sai phân làm nhẵn 32 2.2.4 Lọc thông thấp, thông cao lọc dải thông 32 2.2.5 Khuyếch đại nội suy .33 2.2.6 Một số kỹ thuật cải thiện ảnh nhị phân .35 2.3 Khôi phục ảnh 36 2.3.1 Các mô hình quan sát tạo ảnh 38 2.3.2 Các lọc 40 CHƯƠNG – TRIỂN KHAI CHƯƠNG TRÌNH VÀ KẾT QUẢ 43 3.1 Cài đặt tích hợp thư viện OpenCV vào Microsoft Visual Studio 43 3.2 Triển khai chương trình 45 3.2.1 Xử lý phông chứng minh thư 45 3.2.2 Xử lý đường kẻ ô văn 46 3.2.3 Xử lý tăng DPI cho văn 47 3.3 Mã chương trình 48 3.3.1 Đưa ảnh màu đa mức xám 48 3.3.2 Tăng độ nét 49 3.3.3 Tăng độ sáng .51 3.3.4 Tăng độ tương phản 53 3.3.5 Loại bỏ phông .54 3.3.6 Loại bỏ nhiễu .56 3.3.7 Tăng DPI .58 3.3.8 Xóa đường kẻ ô 59 3.4 Hình ảnh triển khai chương trình .62 CHƯƠNG – KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 64 4.1 Kết luận 64 4.2 Hướng phát triển 64 TÀI LIỆU THAM KHẢO 65 BẢNG KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT Ký hiệu OCR Ý nghĩa Optical Character Recognition Nhận dạng ký tự quang học BSD Berkeley Software Distribution MỞ ĐẦU Sự cấp thiết đề tài Xử lý ảnh lĩnh vực mà ngày phát triển ứng dụng rộng rãi nhiều lĩnh vực khác nhờ vào phát triển ngày mạnh mẽ hệ thống máy tính, thuật toán công trình nghiên cứu khác nhiều nhà khoa học giới Ở Việt Nam, ứng dụng xử lý ảnh bước đầu triển khai số lĩnh vực lắp đặt hệ thống nhận dạng biển số xe, nhận dạng vân tay, … Môn học xử lý ảnh trường đại học xem môn học bắt buộc số ngành công nghệ thông tin, điện tử viễn thông, … Tuy nhiên nhìn cách tổng quan số lượng ứng dụng triển khai thực tế ít, lĩnh vực phát triển mạnh mẽ tương lai quan tâm cách nghiêm túc Một ứng dụng phổ biến liên quan mật thiết với xử lý ảnh nhận dạng ký tự quang học – OCR Các chương trình hỗ trợ OCR nhận dạng ký với tỷ lệ 90% ảnh có chất lượng nét font chữ thông dụng Đối với hình ảnh chất lượng thấp, font chữ đặc biệt, chữ viết tay có phông phức tạp kết cho không khả quan, không nhận dạng Với phát triển mạnh mẽ công nghệ, ngày có nhiều yêu cầu cao ứng dụng liên quan đến nhận dạng ký tự quang học, yêu cầu nhận dạng xác hơn, nhanh Nội dung luận văn Với mục đích luận văn có nội dung sau: - Luận văn tổng hợp lý thuyết xử lý ảnh – giải pháp nâng cao chất lượng hình ảnh phục vụ cho nhận dạng, cụ thể nhận dạng tiếng Việt - Luận văn mô tả số phương pháp xử lý ảnh Nền tảng lý thuyết triển khai thử nghiệm luận văn - Luận văn mô tả bước triển khai xử lý ảnh, đưa kết sau xử lý Cấu trúc luận văn Với mục tiêu xây dựng ứng dụng tiền xử lý ảnh phục vụ cho nhận dạng, luận văn chia làm bốn chương: Chương 1: Tổng quan tiền xử lý ảnh thư viện OpenCV Chương giới thiệu khái niệm xử lý ảnh, giới thiệu qua thư viện xử lý ảnh OpenCV Chương 2: Một số phương pháp tiền xử lý nâng cao chất lượng ảnh Từ khái niệm xử lý ảnh đưa Chương I, chương giới thiệu số phương pháp tiền xử lý ảnh như: nhị phân hóa, tăng cường độ sáng, tăng cường độ tương phản, loại bỏ phông nền, khử nhiễu, … Chương 3: Triển khai chương trình kết Chương giới thiệu chương trình triển khai, bước thực kết bước đạt Chương 4: Kết luận hướng phát triển Chương tổng kết lại kết đóng góp mà việc thực đề tài đem lại Ngoài ra, đề xuất phương hướng nghiên cứu tiếp theo, nhằm giúp cho đề tài trở lên hoàn thiện 51 Thử nghiệm hàm GaussianBlur với tham số: - Kích thước hạt nhân làm mờ ảnh: ksize = 5x5 - Tiêu chuẩn theo chiều X: sigmaX = Thử nghiệm hàm addWeightedvới tham số: - Kích thước phần tử đầu tiên: alpha = 1.5 - Kích thước phần tử tiếp theo: beta = -0.5 - Giá trị màu sắc thêm vào hướng: gamma = Ảnh sau làm nét: Hình 3.5 Tăng độ nét 3.3.3 Tăng độ sáng Mỗi điểm ảnh biểu diễn phối hợp giá trị màu sắc bản, ảnh chuyển thành ảnh nhị phân, giá trị màu sắc điểm ảnh Mỗi giá trị điểm ảnh biểu diễn dải giá trị từ đến 255 Trong đó, tương ứng với màu đen, 255 tương ứng với màu trắng Khi điểm ảnh có giá trị màu lớn, gần với 255 ảnh sáng 52 Để tăng độ sáng ảnh, ta tăng giá trị tất điểm ảnh lên lượng định Phương pháp thực qua hàm sau: /* * Brightness blance * Param: * img: image object * beta: brightness value (default: 75) * Return: image object */ Mat brightness(Mat img, int beta = 75) { Mat dst; dst = img + Scalar(beta, beta, beta); return dst; } Thử nghiệm giá trị tăng sáng cho điểm ảnh: beta = 75 Ảnh sau tăng độ sáng: Hình 3.6 Tăng độ sáng 53 3.3.4 Tăng độ tương phản Độ tương phản biểu diễn tỷ số vùng sáng tối hình ảnh, hay nói cách khác tỷ lệ phần sáng phần tối Tăng độ tương phản giúp cho đối tượng ta cần bóc tách hình ảnh bật hẳn đối tượng khác Để tăng độ tương phản ảnh, ta sử dụng hàm convertTo() OpenCV, chương trình thực tăng độ tương phản qua hàm sau: /* * Contrast blance * Param: * img: image object * alpha: contrast value (default: 2) * Return: image object */ Mat contrast(Mat img, double alpha = 2) { Mat dst; img.convertTo(dst, -1, alpha, 0); return dst; } Thử nghiệm tăng độ tương phản: alpha = Ảnh sau tăng độ tương phản: 54 Hình 3.7 Tăng độ tương phản 3.3.5 Loại bỏ phông Sau làm bật đối tượng ảnh, ta tiến hành loại bỏ phông cách loại bỏ điểm ảnh có giá trị nhỏ ngưỡng cố định Hàm threshold() OpenCV trợ giúp xử lý việc này, hàm áp dụng ngưỡng cố định cho phần tử mảng C++:double threshold(InputArray src, OutputArray dst, double thresh, double maxval, int type) Tham số: src – ảnh đầu vào dst – ảnh đầu thresh – giá trị ngưỡng maxval – giá trị cực đại sử dụng với loại THRESH_BINARY ngưỡng THRESH_BINARY_INV type – loại ngưỡng 55 Chương trình triển khai sau: /* * Remove background * Param: * img: image object * Return: image object */ Mat remove_background(Mat img, int val = 150) { Mat dst; threshold(img, dst, val, 255, THRESH_BINARY); return dst; } Thử nghiệm tách ngưỡng giá trị: val = 150 Ảnh sau loại bỏ phông nền: Hình 3.8 Loại bỏ phông 56 3.3.6 Loại bỏ nhiễu Sau loại bỏ điểm ảnh thông qua ngưỡng cố định, điểm ảnh thuộc đối tượng ta cần giữ lại, có điểm ảnh không cần thiết, ta coi nhiễu cần phải loại bỏ Tiến hành phân tích ảnh sau loại bỏ phông nền, khoanh vùng đối tượng ảnh, kiểm tra kích thước vùng đó, nhỏ kích thước cố định tiến hành loại bỏ Hàm findContours() OpenCV giúp khoanh vùng đối tượng ảnh C++: void findContours(InputOutputArray image, OutputArrayOfArrays contours, OutputArray hierarchy, int mode, int method, Point offset=Point()) Tham số: image –ảnh đầu vào contours–số vùng có biên liền phát Mỗi vùng lưu trữ vector điểm hierarchy–tùy chọn vector đầu ra, có chứa thông tin cấu trúc liên kết hình ảnh Nó có nhiều yếu tố, ví dụ số lượng vùng mode– chế độ thu hồi method – phương pháp xấp xỉ biên offset – tùy chọn nhằm bù đắp cho đường biên chuyển Chương trình triển khai sau: /** * Remove noise * Param: * img: image bits (black and white object) 57 * size: double * Return: image object */ Mat remove_noise(Mat img, double size = 20) { // Only accept CV_8UC1 if (img.channels() != || img.type() != CV_8U) { return img; } // Find all coutours Mat dst = img.clone(); vector contours; vector hierarchy; findContours(img, contours, hierarchy, CV_RETR_CCOMP, CV_CHAIN_APPROX_SIMPLE); for (int i = 0; i < contours.size(); i++) { // Calculate coutour area double area = contourArea(contours[i]); // Remove small object by drawing the contour with white color if (area > && area contours; //remove horizontal line findContours(horizontal, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE); drawContours(gray, contours, -1, Scalar(255), CV_FILLED); //remove vertical line findContours(vertical, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE); drawContours(gray, contours, -1, Scalar(255), CV_FILLED); return gray; } Ảnh gốc: Hình 3.11 Ảnh chưa xóa đường kẻ Ảnh sau xóa đường kẻ: Hình 3.12 Ảnh sau xóa đường kẻ 62 3.4 Hình ảnh triển khai chương trình Hình 3.13 Xử lý Chứng minh thư Hình 3.14 Xử lý xóa đường kẻ 63 Hình 3.15 Xử lý tăng DPI cho văn 64 CHƯƠNG – KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 4.1 Kết luận Về luận văn thực mục tiêu nêu ban đầu (nâng cao chất lượng nhận dạng Tiếng Việt) Kết ứng dụng phần dự án xây dựng hệ thống nhập liệu tự động phòng Nội dung số phát triển Luận văn trình bày khái niệm xử lý ảnh, đưa số phương pháp tiền xử lý ảnh Bên cạnh luận văn đưa cách cài đặt chương trình, tích hợp thư viện mã nguồn mở OpenCV vào công cụ lập trình Microsoft Visual Studio, cách sử dụng thư viện OpenCV để xử lý yêu cầu toán đặt Tuy nhiên độ cải thiện chưa cao mong muốn phụ thuộc vào nhiều yếu tố, đặc biệt phụ thuộc vào huấn luyện công cụ nhận dạng 4.2 Hướng phát triển Đề tài đóng gói thành file DLL, ứng dụng module tiền xử lý công cụ nhận dạng Để nâng cao độ xác cho trình nhận dạng cần tiếp tục phát triển, cải thiện chất lượng hình ảnh, xử lý nhiễu tốt hơn, xử lý làm mềm biên cho ký tự 65 TÀI LIỆU THAM KHẢO Nhập môn xử lý ảnh – Lương Mạnh Bá, Nguyễn Thanh Thủy Xử lý ảnh – PGS.TS Nguyễn Quang Hoan Xử lý ảnh – PGS.TS Đỗ Năng Toàn Xử lý ảnh – TS Đỗ Năng Toàn, TS Phạm Việt Bình Ứng dụng xử lý ảnh thực tế với thư viện OpenCV C/C++ – Nguyễn Văn Long http://docs.opencv.org/ http://opencvexamples.blogspot.com/ http://stackoverflow.com/ http://www.bogotobogo.com/ 10.http://vi.wikipedia.org/ [...]... trình tiếp nhận và xử lý ảnh theo cách của con người Trong các bước xử lý đó, nhiều khâu hiện nay đã xử lý theo phương pháp trí tuệ con người 12 Cảnh quan Thu ảnh Nén ảnh Truyền ảnh Lưu ảnh Ảnh được cải tiến Trích chọn đặc trưng Nâng chất lượng ảnh Số hóa Phân đoạn Ảnh số Khôi phục ảnh Ảnh tương tự Thu nhận ảnh Trích chọn quan hệ Phân tích thống kê – cấu trúc Mô tả và nội suy Xử lý ảnh Nhận dạng – biểu... bước cần thiết trong xử lý ảnh nhằm hoàn thiện một số đặc tính của ảnh Nâng cao chất lượng ảnh gồm hai công đoạn khác nhau: tăng cường ảnh và khôi phục ảnh Tăng cường ảnh nhằm hoàn thiện các đặc tính của ảnh như: - Lọc nhiễu, làm trơn ảnh - Tăng độ tương phản, điều chỉnh mức xám của ảnh - Làm nổi biên ảnh Các thuật toán triển khai việc nâng cao chất lượng ảnh hầu hết dựa trên các kỹ thuật trong miền điểm,... quá trình xử lý ảnh số thuận lợi Năm 1964, máy tính đã có khả năng xử lý và nâng cao chất lượng ảnh từ mặt trăng và vệ tinh Ranger 7 của Mỹ bao gồm: làm nổi đường biên, lưu ảnh Từ năm 1964 đến nay, các phương tiện xử lý, nâng cao chất lượng, nhận dạng ảnh phát triển không ngừng Các phương pháp tri thức nhân tạo như mạng noron nhân tạo, các thuật toán xử lý hiện đại và cải tiến, các công cụ nén ảnh ngày... cho xử lý tiếp theo – máy ảnh số, chụp qua điện thoại … là những ví dụ gần gũi Mặt khác, ảnh cũng có thể tiếp nhận từ vệ tinh, có thể quét từ ảnh chụp bằng máy quét ảnh Hình 1.1 dưới dây mô tả các bước cơ bản trong xử lý ảnh Thu nhận ảnh Tiền xử lý ảnh Phân đoạn ảnh Biểu diễn và mô tả Nhận dạng và nội suy Cơ sở tri thức Hình 1.1 Các bước cơ bản trong xử lý ảnh 1.1.1 Phần thu nhận ảnh Ảnh có thể nhận. .. dòng, ảnh tạo ra có dạng hai chiều Chất lượng một ảnh thu nhận được phụ thuộc vào thiết bị thu, vào môi trường (ánh sáng, phong cảnh) 1.1.2 Tiền xử lý Sau bộ thu nhận, ảnh có thể nhiễu, độ tương phản thấp nên cần đưa vào bộ tiền xử lý để nâng cao chất lượng Chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng độ tương phản để làm ảnh rõ hơn, nét hơn 11 1.1.3 Phân đoạn ảnh (phân vùng ảnh) Phân vùng ảnh. .. – OCR Các phương pháp xử lý ảnh bắt đầu từ các ứng dụng chính: nâng cao chất lượng ảnh và phân tích ảnh Ứng dụng đầu tiên được biết đến là nâng cao chất lượng ảnh báo được truyền qua cáp từ London đến New York từ những năm 1920 Vấn đề nâng cao chất lượng ảnh có liên quan tới cân bằng sáng và độ phân giải của ảnh Việc nâng cao chất lượng ảnh được phát triển vào khoảng những năm 1955 Điều này có thể giải... ảnh đầu vào thành các vùng thành phần để biểu diễn phân tích, nhận dạng ảnh Ví dụ: để nhận dạng chữ (hoặc mã vạch) trên phong bì thư cho mục đích phân loại bưu phẩm, cần chia các câu, chữ về địa chỉ hoặc tên người thành các từ, các chữ, các số (hoặc các vạch) riêng biệt để nhận dạng Đây là phần phức tạp và khó khăn nhất trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ chính xác của ảnh Kết quả nhận dạng. .. diễn Hình 1.2 Quá trình xử lý ảnh 1.2Những vấn đề cơ bản trong hệ thống xử lý ảnh 1.2.1 Điểm ảnh Ảnh gốc (ảnh tự nhiên) là ảnh liên tục về không gian và độ sáng Để xử lý bằng máy tính (số), ảnh cần phải được số hóa Số hóa ảnh là sự biến đổi gần đúng một ảnh liên tục thành một tập điểm phù hợp với ảnh thật về vị trí (không gian) và độ sáng (mức xám) Khoảng cách giữa các điểm ảnh đó được thiết lập sao... 1.3 Các thành phần chính của hệ thống xử lý ảnh Ảnh mức xám được áp dụng trong nhiều lĩnh vực như sinh vật học hoặc trong công nghiệp Thực tế chỉ ra rằng bất kỳ ứng dụng nào trên ảnh, mức xám cũng ứng dụng được trên ảnh màu Với lý do đó, hệ thống ban đầu nên chỉ bao gồm các thiết bị thu nhận và hiển thị ảnh đen trắng 1.3Những vấn đề khác trong xử lý ảnh 1.3.1 Biến đổi ảnh Trong xử lý ảnh do số điểm ảnh. .. nhận dạng ảnh phụ thuộc rất nhiều vào công đoạn này 1.1.4 Biểu diễn và mô tả Đầu ra ảnh sau phân đoạn chưa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn) cộng với mã liên kết với các vùng lân cận Việc biến đổi các số liệu này thành dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính 1.1.5 Nhận dạng và nội suy Nhận dạng ảnh là quá trình xác định ảnh Quá trình này thường thu được bằng cách so sánh ... PHƯƠNG PHÁP TIỀN XỬ LÝ NÂNG CAO CHẤT LƯỢNG ẢNH 2.1 Cải thiện ảnh sử dụng toán tử điểm Nâng cao chất lượng bước cần thiết xử lý ảnh nhằm hoàn thiện số đặc tính ảnh Nâng cao chất lượng ảnh gồm hai công... quét ảnh Hình 1.1 dây mô tả bước xử lý ảnh Thu nhận ảnh Tiền xử lý ảnh Phân đoạn ảnh Biểu diễn mô tả Nhận dạng nội suy Cơ sở tri thức Hình 1.1 Các bước xử lý ảnh 1.1.1 Phần thu nhận ảnh Ảnh nhận. .. THÔNG TIN NGUYỄN XUÂN CƯỜNG NGHIÊN CỨU CÁC KỸ THUẬT XỬ LÝ ẢNH PHỤC VỤ VIỆC NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG TIẾNG VIỆT Ngành: Công nghệ Thông tin Chuyên ngành: Quản lý Hệ thống Thông tin Mã số: