TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA CÔNG NGHỆ THƠNG TIN  NGUYỄN HỮU HỢP TÌM HIỂU PHƯƠNG PHÁP PHÁT HIỆN BÓNG CỦA MỘT ĐỐI TƯỢNG QUA ẢNH VIẾT CHƯƠNG TRÌNH MINH HỌA KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC Chuyên ngành: Tin học HÀ NỘI – 2014 TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA CÔNG NGHỆ THƠNG TIN  NGUYỄN HỮU HỢP TÌM HIỂU PHƯƠNG PHÁP PHÁT HIỆN BÓNG CỦA MỘT ĐỐI TƯỢNG QUA ẢNH VIẾT CHƯƠNG TRÌNH MINH HỌA KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC Chuyên ngành: Tin học Người hướng dẫn khoa học Th.S NGUYỄN MINH HIỀN HÀ NỘI – 2014 LỜI CẢM ƠN Trong trình học tập, nghiên cứu tìm hiểu khóa luận tốt nghiệp này, em nhận giúp đỡ thầy, cô giáo bạn bè khoa Công nghệ Thông tin trường Đại học Sư phạm Hà Nội để có kiến thức hiểu biết nhiều chuyên ngành mà theo học Đặc biệt, với hướng dẫn đạo tận tình giáo Th.S Nguyễn Minh Hiền giúp hiểu sâu kiến thức chuyên ngành nói chung đề tài giao nói riêng Qua đây, em xin gửi lời cảm ơn chân thành đến cô giáo Th.S Nguyễn Minh Hiền, người tận tình bảo giúp đỡ em hồn thành khóa luận tốt nghiệp Xuân Hòa, ngày tháng năm 2014 Sinh viên Nguyễn Hữu Hợp LỜI CAM ĐOAN Em xin cam đoan: Đề tài hoàn toàn thân thực giúp đỡ thầy, cô giáo bạn bè khoa Công nghệ Thông tin trường Đại học Sư phạm Hà Nội 2, đặc biệt hướng dẫn cô giáo Th.S Nguyễn Minh Hiền Đề tài có sử dụng tài liệu tham khảo không copy từ tài liệu có sẵn Đề tài khơng trùng với kết nghiên cứu trước Nếu có sai sót em xin hồn tồn chịu trách nhiệm Xuân Hòa, ngày tháng năm 2014 Sinh viên Nguyễn Hữu Hợp MỤC LỤC MỞ ĐẦU CHƯƠNG 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ BÀI TỐN PHÁT HIỆN BĨNG 1.1 Khái quát xử lý ảnh 1.1.1 Xử lý ảnh gì? 1.1.2 Một số khái niệm xử lý ảnh 1.1.3 Nắn chỉnh biến dạng 1.1.4 Khử nhiễu chỉnh mức xám 1.1.5 Trích chọn đặc điểm 1.1.6 Nhận dạng 1.1.7 Nén ảnh 11 1.2 Bài tốn phát bóng 12 1.2.1 Hướng ánh sáng gì? 12 1.2.2 Bóng gì? 13 1.2.3 Bài tốn phát bóng 13 CHƯƠNG 2: CÁC PHƯƠNG PHÁP PHÁT HIỆN BÓNG ĐỐI TƯỢNG 15 2.1 Phương pháp kết hợp mơ hình suy giảm ba màu cường độ sáng 15 2.1.1 Giới thiệu phương pháp 15 2.1.2 Cơ sở lý thuyết 15 2.1.3 Phương pháp sử dụng mơ hình suy giảm ba màu 19 2.1.4 Phương pháp kết hợp mơ hình suy giảm ba màu cường độ sáng……………………………………………………………………… 22 2.1.5 Ví dụ minh họa 24 2.1.6 Kết luận 26 2.2 Phương pháp sử dụng không gian màu YCbCr 27 2.2.1 Giới thiệu phương pháp 27 2.2.2 Cơ sở lý thuyết 27 2.2.3 Không gian màu YCbCr 28 2.2.4 Thuật tốn phát bóng dựa khơng gian màu YCbCr 29 2.2.5 Ví dụ minh họa Error! Bookmark not defined 2.2.6 Kết luận 30 2.3 Phương pháp phát bóng sử dụng không gian màu LAB 30 2.3.1 Giới thiệu phương pháp 30 2.3.2 Cơ sở lý thuyết 31 2.3.3 Không gian màu LAB 31 2.3.4 Phương pháp sử dụng không gian màu LAB 33 2.3.5 Ví dụ minh họa 34 2.3.6 Kết luận 34 CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM 35 3.1 Bài tốn phát bóng 35 3.2 Cơ sở lý thuyết 35 3.3 Giới thiệu ngôn ngữ C# 35 3.4 Phương pháp phát bóng 37 3.5 Các bước xử lý chương trình 38 3.6 Thiết kế cài đặt chương trình 39 3.7 Một số kết chương trình 42 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 44 TÀI LIỆU THAM KHẢO 45 DANH MỤC HÌNH VẼ - BẢNG Hình 1.1: Quá trình xử lý ảnh Hình 1.2: Các bước hệ thống xử lý ảnh Hình 1.3: Ảnh thu nhận ảnh mong muốn Hình 2.1: Các loại bóng ảnh 16 Hình 2.2: Sơ đồ phân loại bóng ảnh 16 Hình 2.3: Ảnh vỉa hè với loại bóng khác 17 Bảng 2.1: Nguồn sáng cường độ vùng bóng 18 Hình 2.4: Hiện tượng tạo bóng với ảnh ngồi trời 19 Hình 2.5: Bóng đối tượng ảnh TAM 21 Hình 2.6: Kết phát bóng với ngưỡng T khác 25 Hình 2.7: Kết phát bóng với ngưỡng T khác 26 Hình 2.8: Hình ảnh khơng gian màu YUV 28 Hình 2.9: Ảnh ban đầu ảnh phát bóng 29 Hình 2.10: Ảnh ban đầu ảnh phát bóng 30 Hình 2.11: Màu sắc kênh màu không gian màu LAB 32 Hình 2.12: Ảnh ban đầu ảnh phát bóng 34 Hình 3.1: From main demo mơ phương pháp phát bóng 39 Hình 3.2: Hướng dẫn cài đặt 39 Hình 3.3: Hướng dẫn cài đặt 40 Hình 3.4: Hướng dẫn cài đặt 40 Hình 3.5: Hướng dẫn cài đặt 41 Hình 3.6: Hướng dẫn cài đặt 41 Hình 3.7: Kết thu chương trình 42 Hình 3.8: Kết thu chương trình 43 MỞ ĐẦU Lý chọn đề tài Ngày nay, Công nghệ Thông tin ứng dụng hầu hết lĩnh vực đời sống, xã hội Cùng với phát triển mạnh mẽ Công nghệ Thông tin việc trao đổi thông tin trở nên phổ biến Trong trao đổi thông tin, thơng tin hình ảnh đóng vai trò vơ quan trọng Hầu ngành nghề, lĩnh vực cần đến hình ảnh để mơ tả hay diễn đạt vấn đề mà họ khó diễn đạt lời chữ viết Vì năm gần có kết hợp chặt chẽ hình ảnh đồ họa lĩnh vực xử lý thông tin Trong Công nghệ Thông tin, xử lý ảnh chiếm vị trí quan trọng ứng dụng đa dạng phong phú nghiên cứu khoa học nhiều lĩnh vực khác thực tiễn Ngoài ra, xử lý ảnh phận quan trọng việc trao đổi thông tin người dùng máy tính Từ đó, giúp người dùng máy tính đưa định cách nhanh chóng xác Trong thực tế, ảnh chứa nhiều đối tượng có đối tượng chính, đối tượng phụ đối tượng gây nhiễu ảnh Một đối tượng gây nhiễu việc phát thông tin ảnh bóng đối tượng yếu tố vật lý tự nhiên gây Với ứng dụng rộng rãi bóng lĩnh vực xử lý ảnh, giao thông thông minh, theo dõi đối tượng,… Bóng phương pháp phát bóng nghiên cứu vài thập kỉ trở lại Trên giới có nhiều nghiên cứu phát bóng đối tượng nhiều tác giả kể đến J Tian cộng ông [1] sử dụng kết hợp mô hình suy giảm ba màu cường độ sáng để phát vùng bóng Trong nghiên cứu khác, C Blajovici cộng ông [2] sử dụng khơng gian màu YCbCr để phát bóng S Murali K Govidan [3] sử dụng khơng gian màu LAB để phát bóng Khơng vậy, phát bóng đối tượng ứng dụng nhiều nghiên cứu khác ảnh cảnh quan đô thị T Souza cộng ông [4] hay ứng dụng ảnh giao thông M Wang cộng ông [5] Tuy giới có nhiều nghiên cứu phát bóng đối tượng qua ảnh đạt thành tựu định Việt Nam nghiên cứu phát bóng đối tượng qua ảnh Xuất phát từ lý kể trên, em chọn đề tài: “Tìm hiểu phương pháp phát bóng đối tượng qua ảnh Viết chương trình minh họa” làm đề tài nghiên cứu Do thời gian vốn kiến thức có hạn, đề tài khơng thể tránh khỏi thiếu sót Vì vậy, em mong nhận đóng góp thầy, giáo bạn để đề tài hoàn thiện Đối tượng phạm vi nghiên cứu  Đối tượng nghiên cứu  Bóng đối tượng ảnh  Các phương pháp phát bóng đối tượng qua ảnh  Phạm vi nghiên cứu Đề tài chủ yếu nghiên cứu bóng đối tượng ảnh gây yếu tố vật lý nguồn sáng trời tạo Ảnh sử dụng đề tài chủ yếu ảnh có cấu trúc đơn giản  Mục tiêu đề tài  Nghiên cứu phương pháp phát bóng đối tượng qua ảnh dựa kết hợp mơ hình suy giảm ba màu cường độ sáng  Nghiên cứu phương pháp phát bóng đối tượng qua ảnh dựa không gian màu YCbCr  Nghiên cứu phương pháp phát bóng đối tượng qua ảnh dựa không gian màu LAB  Dựa nghiên cứu sở lý thuyết bóng phương pháp phát bóng sử dụng kết hợp mơ hình suy giảm ba màu cường độ sáng để xây dựng chương trình thử nghiệm phương pháp phát bóng đối tượng qua ảnh Phương pháp nghiên cứu Để thực đề tài, khóa luận kết hợp mềm dẻo hai phương pháp:  Phương pháp nghiên cứu lý thuyết  Phương pháp nghiên cứu thực nghiệm Các nghiên cứu lý thuyết vừa sở vừa tiền đề cho nghiên cứu thực nghiệm Các nghiên cứu thực nghiệm giúp làm sáng tỏ nghiên cứu lý thuyết Dựa sở lý thuyết phương pháp phát bóng đối tượng qua ảnh, đặc biệt phương pháp phát bóng sử dụng kết hợp mơ hình suy giảm ba màu cường độ sáng em sử dụng để xây dựng chương trình thử nghiệm mơ phương pháp phát bóng đối tượng qua ảnh Ý nghĩa thực tiễn đề tài Đề tài sở phục vụ cho nghiên cứu khoa học có liên quan tới bóng loại bỏ bóng đối tượng qua ảnh Một bước bỏ qua ứng dụng xử lý ảnh nói chung thị giác máy tính nói riêng Các phương pháp phát bóng đối tượng qua ảnh mà đề tài giới thiệu hữu ích cho hệ thống giao thông thông minh Hệ thống giao thông thông minh góp phần làm giảm ách tắc giao thơng vấn đề cấp bách nhiều nước giới có Việt Nam Hình 2.12: Ảnh ban đầu ảnh phát bóng 2.3.6 Kết luận Phương pháp đề cho kết tốt với hình ảnh ngồi trời khắc phục số nhược điểm phương pháp trước cho kết tốt tỷ lệ màu vàng màu xanh trì phạm vi hay việc thất bại việc phát bóng đối tượng Phương pháp cho kết nhanh chóng khơng cần sử dụng nhiều hình ảnh Một vấn đề tồn phương pháp đối tượng tối phân loại sai vùng bóng CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM 3.1 Bài tốn phát bóng  Ảnh đầu vào: Ảnh màu chụp đối tượng bóng đối tượng ánh sáng mặt trời trực tiếp với độ phân giải cao bóng đối tượng rõ ràng Ảnh cảnh giao thông đô thị ảnh chụp đối tượng ánh nắng trực tiếp chụp đồ vật, người,…  Ảnh đầu ra: Ảnh ban đầu sau xử lý chứa vùng bóng đánh dấu việc tơ màu trắng vùng bóng đối tượng 3.2 Cơ sở lý thuyết Trên thực tế, bóng đối tượng ảnh có đặc trưng riêng biệt:  Vùng bóng đối tượng có liên thông với Nghĩa ảnh, vùng bóng đối tượng khác có tương đồng với cường độ, độ tương phản, màu sắc  Trên vùng bóng đối tượng ta nhận thấy đối tượng khác bị bóng đè lên (Ví dụ: Bóng ơtơ đè lên vạch sơn, bóng đối tượng đè lên đám cỏ,…) Trong không gian màu RGB, màu sắc thực tế bị biến đổi bóng đè lên Màu sắc giá trị điểm ảnh vùng nằm xấp xỉ cơng thức dR=dG=dB  Vùng bóng đối tượng ảnh coi vùng tối ảnh, dựa đặc tính ta nhanh chóng xác định vùng có khả chứa bóng ảnh Vùng tối chế độ màu đa cấp xám nằm vùng giá trị xám xác định 3.3 Giới thiệu ngơn ngữ C# C# ngơn ngữ lập trình hướng đối tượng phát triển Microsoft, phần mở đầu cho kế hoạch NET họ Tên ngôn ngữ ký hiệu thăng theo Microsoft đọc C sharp Microsoft phát triển C# dựa C++ Java C# miêu tả ngôn ngữ có cân C++, Visual Basic, Delphi Java Trong trình phát triển, C# trải qua nhiều phiên từ C# 1.0, 2.0, 3.0, 4.0 đến 5.0 Môi trường phát triển ứng dụng C# Visual Studio  Tại phải sử dụng ngôn ngữ C#  C# ngôn ngữ đơn giản: C# loại bỏ nguyên nhân thường gây nhầm lẫn cho lỗi cho người phát triển ngôn ngữ C++, Java bao gồm loại bỏ macro, template, đa kế thừa lớp sở ảo (virtual base class)  C# ngôn ngữ đại: C# chứa đặc tính mong đợi ngôn ngữ đại xử lý ngoại lệ, thu gom nhớ tự động, kiểu liệu mở rộng bảo mật mã nguồn  C# ngôn ngữ hướng đối tượng: C# hỗ trợ đặc tính ngơn ngữ hướng đối tượng (Object Oriented Language) đóng gói (encapsulation), kết thừa (inheritance) đa hình (polymorphism)  C# ngơn ngữ vừa mạnh mẽ vừa mềm dẻo: C# sử dụng cho nhiều dự án khác tạo ứng dụng xử lý văn bản, ứng dụng đồ họa,…  C# ngơn ngữ từ khóa: C# ngơn ngữ từ khóa phần lớn số chúng dùng để mô tả thông tin  C# ngơn ngữ hướng module: mã nguồn C# viết phần gọi lớp, lớp chứa phương thức thành viên Những lớp phương thức sử dụng lại ứng dụng hay chương trình khác Bằng cách truyền mẫu tin tới lớp hay phương thức ta sử dụng lại mã nguồn cách có hiệu  C# ngôn ngữ phổ biến 3.4 Phương pháp phát bóng Dựa đặc tính vật lý bóng phương pháp phát bóng dựa mơ hình suy giảm ba màu cường độ sáng, đề tài đề xuất phương pháp phát bóng chương trình theo bước sau: Bước 1: Chuyển ảnh màu thành ảnh đa cấp xám Từ RGB sang đa cấp xám (Grayscale): Đơn vị ảnh điểm ảnh (pixel), điểm ảnh biểu diễn n bytes hệ màu khác Việc chuyển đổi hệ màu thông thường thực thông qua phép biến đổi ma trận Trong chương trình sử dụng phương pháp chuyển đổi từ ảnh 24 bits RGB sang ảnh bits đa cấp xám Để thực yêu cầu trên, thông thường ta sử dụng công thức áp dụng cho điểm ảnh [x, y]: O(x, y)= IR(x,y) * 0.3086 + IG(x,y) * 0.6094 + IB(x,y) * 0.0820 (1) O(x, y)= IR(x,y) * 0.299 + IG(x,y) * 0.587 + IB(x,y) * 0.114 (2) Với:  (x,y) toạ độ điểm ảnh  IR thành phần màu đỏ I(x,y)  IG thành phần màu xanh I(x,y)  IB thành phần màu xanh dương I(x,y)  O(x,y): giá trị điểm ảnh đầu  I(x,y): giá trị điểm ảnh đầu vào Công thức số (2) sử dụng để cài đặt chương trình Bước 2: Chuyển ảnh đa cấp xám sang ảnh nhị phân dựa ngưỡng xám tính tốn trước Giá trị tính tốn dựa việc thống kê qua ảnh thực tế mức độ xám vùng bóng Giá trị ngưỡng xám nằm giá trị từ tới 255 Trong chương trình thử nghiệm chọn ngưỡng xám 100 Bước 3: Qua ảnh nhị phân ta có vùng chứa bóng khơng Các vùng đối chiếu với vùng ảnh gốc thơng qua vị trí điểm ảnh Vùng chứa điểm ảnh có giá trị phân bố màu sắc khơng gian RGB có xấp xỉ giá trị mà dR= dG = dB coi vùng bóng đánh dấu lại Các vùng lại khơng coi bóng Bước 4: Thông qua bước lọc làm mịn ảnh dựa vào liên thơng màu vùng bóng ta thu ảnh ban đầu tô màu vùng coi bóng 3.5 Các bước xử lý chương trình Chương trình thử nghiệm thiết kế dựa vào thuật toán nghiên cứu thực theo bốn bước Cụ thể sau:  Bước 1: Chọn ảnh đầu vào  Bước 2: Chuyển ảnh cần phát bóng (ảnh đầu vào) thành ảnh đa cấp xám  Bước 3: Chuyển ảnh đa cấp xám bước thành ảnh nhị phân  Bước 4: Chuyển ảnh nhị phân bước thành ảnh tơ màu vùng bóng (ảnh đầu ra)  Bước 5: Lọc làm mịn ảnh Chương trình thử nghiệm tổ chức thành hàm viết ngôn ngữ C# 3.6 Thiết kế cài đặt chương trình  Thiết kế chương trình Hình 3.1: From main demo mơ phương pháp phát bóng Trong form main chương trình có chức chính:  Chọn ảnh: chọn ảnh cần phát bóng (ảnh đầu vào)  Ảnh đa cấp xám: chuyển ảnh đầu vào thành ảnh đa cấp xám  Ảnh nhị phân: chuyển ảnh đa cấp xám thành ảnh nhị phân  Ảnh tô màu vùng bóng: chuyển ảnh nhị phân thành ảnh tơ màu vùng bóng (ảnh đầu ra)  Cài đặt chương trình Để cài đặt chương trình click vào biểu tượng setup làm theo hướng d Hình Hướn dẫn cài đặt Click vào next để tiếp tục cài đặt chương trình Hình 3.3: Hướng dẫn cài đặt Click vào next để tiếp tục cài đặt chương trình Hình 3.4: Hướng dẫn cài đặt Click vào next để tiếp tục cài đặt chương trình Hình 3.5: Hướng dẫn cài đặt Nhấn close để kết thúc cài đặt Hình 3.6: Hướng dẫn cài đặt 3.7 Một số kết chương trình Qua thực nghiệm tập ảnh công cộng ảnh mẫu, chương trình thu thành cơng định, 80% các vùng bóng nhận khoanh vùng Chương trình cho kết tốt hình ảnh ngồi trời, có cấu trúc đơn giản đặc biệt vùng bóng cứng ảnh Với tập ảnh sử dụng từ báo cáo khác: (1) (2) (3) Hình 3.7: Kết ảnh thu chương trình (4) Với tập ảnh thực tế: (1) (2) (3) (4) Hình 3.8: Kết thu chương trình Với:  (1): ảnh gốc ( ảnh đầu vào)  (2): ảnh dạng đa cấp xám  (3): ảnh dạng nhị phân  (4): ảnh tô màu vùng bóng (ảnh đầu ra) KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Sau thời gian nỗ lực nghiên cứu đề tài giao với giúp đỡ tận tình thầy, cô giáo bạn bè khoa Công nghệ Thông tin trường Đại học Sư Phạm Hà Nội đặc biệt cô giáo Th.S Nguyễn Minh Hiền đề tài đạt số kết quả:  Đã nghiên cứu đề xuất phương pháp phát bóng đối tượng qua ảnh sử dụng kết hợp mơ hình suy giảm ba màu cường độ sáng  Đã nghiên cứu đề xuất phương pháp phát bóng đối tượng qua ảnh sử dụng không gian màu YUV LAB  Đã xây dựng chương trình thử nghiệm mơ phương pháp phát bóng đối tượng qua ảnh Nhưng bên cạnh hạn chế:  Tập ảnh nghiên cứu bị giới hạn không gian thời gian  Chương trình xử lý tốt ảnh có cấu trúc đơn giản  Do thuật tốn chủ yếu dựa vào đặc tính vật lý nên gây sai sót thay đổi đặc tính vật lý Hướng phát triển Trong tương lai, em muốn tiếp tục tìm hiểu để khắc phục hạn chế nêu Cùng với sử dụng đặc trưng khác bóng kết hợp với việc sử dụng phương pháp lọc để phân loại ảnh bối cảnh khác Nghiên cứu thêm tính loại bỏ bóng để chương trình hồn thiện Khơng phải thay đổi chương trình để chương trình hồn thiện ứng dụng vào thực tế nhiều TÀI LIỆU THAM KHẢO Tài liệu tham khảo [1]: J Tian, L Zhu and Y Tang, “Outdoor Shadow detection by combining tricolor attenuation and indensity”, 2012 [2]: Corina Blajovici, Peter Jozsef Kiss, Zoltan Bonus and Laszlo Varga: “ Shadow detection and removal from a single image”, 2011 [3]: S Murali and K Govidan, “Shadow Detection and Removal From a Single Image Using Lab Color Space”, 2013 [4]: T Souza, L Schnitman and L Oliveira, “Eigen Analysis and Gray Alignment for shadow detection to urban scene images”, 2011 [5]: J.M Wang, Y.C Chung, C.L Chang and S.W Chen, Shadow Detection and Remove for Traffic Images, Networking, Sensing and Control, 2004 IEEE International Normalization Conference Volume 1, 21 – 23 March 2004 Page(s): 649 – 654 Vol [6]: Masashi Baba, Masayuki Mukunoki and Naoki Asada,“Shadow Removal from a Real Image Based on Shadow Density”, 2004 [7]: Đỗ Năng Tồn, Phạm Việt Bình, “Giáo trình xử lý ảnh”, NXB Khoa học Kỹ thuật, 2008 [8]: Nguyễn Quang Hoan, “Xử lý ảnh”, Đại học bưu viễn thơng, 2006 Một số trang Web tham khảo  http://google.com  http://wikipedia.org  http://tailieu.vn Với từ khóa: shadow, YUV, LAB, TAM, computer vision,… ... định Việt Nam nghiên cứu phát bóng đối tượng qua ảnh Xuất phát từ lý kể trên, em chọn đề tài: Tìm hiểu phương pháp phát bóng đối tượng qua ảnh Viết chương trình minh họa làm đề tài nghiên cứu... hoàn thiện Đối tượng phạm vi nghiên cứu  Đối tượng nghiên cứu  Bóng đối tượng ảnh  Các phương pháp phát bóng đối tượng qua ảnh  Phạm vi nghiên cứu Đề tài chủ yếu nghiên cứu bóng đối tượng ảnh. .. phương pháp phát bóng đối tượng qua ảnh dựa không gian màu YCbCr  Nghiên cứu phương pháp phát bóng đối tượng qua ảnh dựa không gian màu LAB  Dựa nghiên cứu sở lý thuyết bóng phương pháp phát bóng