BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC LẠC HỒNG *** TRẦN CÔNG CHIẾN NGHIÊN CỨU MỘT SỐ KỸ THUẬT TÌM ĐIỂM BẤT ĐỘNG TRONG ẢNH VÀ ỨNG DỤNG Luận văn thạc sĩ công nghệ thông tin Đồng Nai, Năm 2011 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC LẠC HỒNG *** TRẦN CÔNG CHIẾN NGHIÊN CỨU MỘT SỐ KỸ THUẬT TÌM ĐIỂM BẤT ĐỘNG TRONG ẢNH VÀ ỨNG DỤNG Chuyên ngành: CÔNG NGHỆ THÔNG TIN Luận văn thạc sĩ Công nghệ thông tin NGƢỜI HƢỚNG DẪN KHOA HỌC PGS TS: ĐỖ NĂNG TOÀN Đồng Nai – Năm 2011 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu thân Các số liệu, kết trình bày luận văn trung thực Những tƣ liệu đƣợc sử dụng luận văn có nguồn gốc trích dẫn rõ ràng, đầy đủ Học viên Trần Công Chiến LỜI CẢM ƠN Trong trình làm luận văn vừa qua, giúp đỡ bảo nhiệt tình PGS TS Đỗ Năng Tồn – Viện Cơng nghệ thơng tin – Viện khoa học Việt Nam, luận văn tơi hồn thành Mặc dù cố gắng không ngừng với tận tâm thầy hướng dẫn thời gian khả hạn chế nên luận văn khó tránh khỏi thiếu sót Để hồn thành luận văn này, em xin bày tỏ lòng biết ơn sâu sắc đến PGS TS Đỗ Năng Toàn – người thầy tận tình giúp đỡ em suốt trình làm luận văn Em xin bày tỏ lịng biết ơn đến ban lãnh đạo thầy giáo, cô giáo trường Đại học Lạc Hồng giúp đỡ, tạo điều kiện tốt cho em học tập thực luận văn Cuối xin chân thành cảm ơn tất bạn bè gia đình động viên, giúp đỡ tơi lúc khó khăn Biên Hịa, ngày tháng năm 2011 Tác giả Trần Công Chiến CÁC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT 2D 3D CPU RAM SURF K-D Tree Auto-correlation matrix Integral Image Co-variance Matrix CDSL Differentiation Scale DoG Integration Scale LoG Scale Second moment matrix SIFT Dimensions Dimensions Control Processing Unit Random Access Memory Speed Up Robust Feature Cây đa chiều Ma trận tƣơng quan tự động Ảnh tích hợp Ma trận đồng biến Cở sở liệu Tỷ lệ vi phân Difference-of-Gaussian Tỷ lệ tích phân Laplacian-of-Gaussian Tỷ lệ Ma trận moment cấp hai Scale Invariant Feature Transform DANH MỤC CÁC HÌNH V Hình Hình 1.1 Hình 1.2 Hình 1.3 Hình 2.1 Hình 2.2 Hình 2.3 Hình 2.4 Hình 2.5 Hình 2.6 Hình 2.7 Hình 2.8 Hình 2.9 Hình 2.10 Hình 2.11 Hình 2.12 Hình 2.13 Hình 2.14 Hình 2.15 Hình 2.16 Hình 2.17 Hình 2.18 Hình 2.19 Hình 2.20 Hình 2.21 Hình 2.22 Hình 2.23 Hình 2.24 Mô tả Sơ đồ tổng quát hệ nhận dạng Hai đối tượng mặt phẳng Các tứ giác hình trịn mặt phẳng hai chiều Xây dựng thể không gian tỷ lệ Các giá trị cực đại cực tiểu ảnh DoG Các giai đoạn lựa chọn điểm khóa Bộ mơ tả điểm khóa Một thể đa tỷ lệ tín hiệu Các mức khác thể khơng gian tỷ lệ Ví dụ tỷ lệ đặc trưng Phát điểm quan tâm bất biến tỷ lệ Điểm quan tâm bất biến tỷ lệ ảnh bị biến đổi affine Biểu đồ giải thích phép chuẩn hóa affine Phát lặp lại điểm quan tâm bất biến affine Phát điểm quan tâm bất biến affine Các xấp xỉ đạo hàm bậc hai Gaussian Thể dạng hình chóp khơng gian tỷ lệ Biểu đồ tỷ lệ phát Những điểm quan tâm phát cánh đồng hoa hướng dương Phép lọc Haar wavelet để tính tốn đặc trưng Gán hướng cho cho điểm quan tâm Chi tiết ảnh Graffiti thể kích thước cửa sổ mô tả hướng tỷ lệ khác Xây dựng mô tả Các mục mô tả miền So khớp giứa hai điểm quan tâm có đọ tương phản khác Ảnh graffity Ảnh so sánh góc nhìn Trang 8 20 21 24 28 32 34 37 40 42 45 52 54 57 58 59 59 61 61 62 63 63 64 65 66 Hình 2.25 Hình 2.26 Hình 3.1 Hình 3.2 Hình 3.3 Hình 3.4 Hình 3.5 Hình 3.6 Ảnh so sánh cường độ sáng Ảnh so sánh tỷ lệ Ví dụ tốn nhận dạng đối tượng Sơ đồ chức nhận dạng đối tượng Kết nhận dạng ảnh chứa nhiều đối tượng huấn luyện Kết nhận dạng đối tượng bị che khuất phần Kết nhận dang đối tượng trước sau khoanh vùng chọn đối tượng Không nhận dạng đối tượng bị che lấp nhiều 66 67 68 70 73 74 75 76 MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii CÁC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT iii DANH MỤC CÁC HÌNH VẼ iv MỤC LỤC v MỞ ĐẦU Chƣơng 1: KHÁI QUÁT VỀ NHẬN DẠNG ĐỐI TƢỢNG VÀ ĐIỂM BẤT ĐỘNG 1.1 Tổng quan nhận dạng đối tƣợng 1.1.1 Không gian biểu diễn đối tƣợng, không gian diễn dịch 1.1.1.1 Không gian biểu diễn đối tƣợng 1.1.1.2 Không gian diễn dịch 1.1.2 Mơ hình chất nhận dạng đối tƣợng 1.1.2.1 Mơ hình 1.1.2.2 Bản chất trình nhận dạng 1.1.3 Bài toán nhận dạng đối tƣợng 1.2 Điểm bất động vai trò điểm bất động nhận dạng đối tƣợng 10 1.2.1 Lý thuyết điểm bất động 10 1.2.2 Vai trò điểm bất động nhận dạng đối tƣợng 11 1.2.2.1 Trích chọn đặc trƣng bất biến từ điểm bất động 12 1.2.2.2 So khớp đặc trƣng 14 Chƣơng 2: MỘT SỐ KỸ THUẬT TÌM ĐIỂM BẤT ĐỘNG TRONG ẢNH 16 2.1 Harris 16 2.2 SIFT (Scale Invarian Feature Tranforms) 19 2.2.1 Phát cực trị 19 2.2.1.1 Tần số lấy mẫu theo tỷ lệ 21 2.2.1.2 Tần số lấy mẫu vùng không gian 22 2.2.2 Định vị điểm khóa 23 2.2.3 Gán hƣớng cho điểm khóa 27 2.2.4 Xây dựng mô tả cục 28 2.3 Harris-Laplacian 31 2.3.1 Không gian tỷ lệ 31 2.3.2 Hàm Harris thích nghi tỷ lệ 34 2.3.3 Sự lựa chọn tỷ lệ tự động 36 2.3.4 Thuật toán phát điểm bất động 37 2.3.4.1 Thuật toán 38 2.3.4.2 Một vài ví dụ 39 2.4 Harris-Affine 40 2.4.1 Mục tiêu 41 2.4.2 Ma trận moment cấp hai Affine 41 2.4.2.1 Phép biến đổi affine ma trận moment cấp hai 43 2.4.2.2 Phép đo tính đẳng hƣớng 45 2.4.3 Kỹ thuật phát điểm bất động 47 2.5 SURF (Speed Up Robust Feature) 55 2.5.1 Ảnh tích hợp (integral image) 55 2.5.2 Phát Fast-Hessian 56 2.5.3 Sự biểu diễn không gian tỷ lệ 58 2.5.4 Định vị điểm quan tâm 59 2.5.5 Bộ mô tả điểm quan tâm so khớp 60 2.5.5.1 Gán hƣớng 60 2.5.5.2 Bộ mô tả dựa tổng đặc trƣng Haar wavelet 62 2.5.5.3 Lập mục so khớp 64 2.6 So sánh - Kết luận 65 Chƣơng 3: ỨNG DỤNG ĐIỂM BẤT ĐỘNG TRONG NHẬN DẠNG ĐỐI TƢỢNG 68 3.1 Bài toán nhận dạng đối tƣợng 68 3.1.1 Mơ hình tốn nhận dạng đối tƣợng 70 3.1.2 Thuật toán 70 3.2 Cài đặt thử nghiệm 72 2.2.1 Cài đặt chƣơng trình 72 2.2.2 Kết thực nghiệm 72 KẾT LUẬN 77 TÀI LIỆU THAM KHẢO 79 MỞ ĐẦU Quá trình nhận dạng đối tƣợng bao gồm việc thu thập hình ảnh liệu giác quan, qua tham khảo thành phần thiết yếu với nhớ suy diễn nhẩm Trong ngƣời thực tất hành động gần nhƣ lập tức, nhiệm vụ khó khăn nhiều cho máy tính Bƣớc xác định yếu tố giác quan khác cần thiết cho nhận thức đối tƣợng Trong có nhiều cách, mà thiết bị thị giác cho máy tính khả 'thấy' nhiều Máy tính cần phải biết đối tƣợng trơng nhƣ nào, hình dạng khác kích thƣớc mà đối tƣợng có, vv Các đối tƣợng khác tùy thuộc vào góc nhìn, chiếu sáng, che lấp gây đối tƣợng khác phía trƣớc Sự phát triển phần cứng phƣơng diện thu nhận, hiển thị, với tốc độ xử lý mở nhiều hƣớng cho phát triển phần mềm, đặc biệt Cơng nghệ xử lý ảnh phát triển nhanh Nó giải đƣợc tốn phát hiện, nhận dạng tự động loại đối tƣợng thực tế, chẳng hạn tạo hệ thống phát kẻ gian đột nhập vào quan cần đƣợc giám sát sau hành nhƣ Kho bạc, Ngân hàng v.v thay cần phải có đội bảo vệ canh gác cẩn thận Nhận dạng mặt ngƣời ảnh có nhiều ý nghĩa quân sự, an ninh v.v Rõ ràng toán phát đối tƣợng nhƣ nhận dạng đối tƣợng ngày quan trọng phát triển xã hội, đặc biệt quan trọng cho xã hội Việt Nam Bài toán nhận dạng đối tƣợng tốn có mặt nhiều ứng dụng khác lĩnh vực thị giác máy tính nhƣ nhận dạng ảnh, theo dõi đối tƣợng, tìm kiếm, vv Nhận dạng đối tƣợng có nhiều cách tiếp cận để giải quyết, nhiên với loại đối tƣợng có phƣơng ...BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC LẠC HỒNG *** TRẦN CÔNG CHIẾN NGHIÊN CỨU MỘT SỐ KỸ THUẬT TÌM ĐIỂM BẤT ĐỘNG TRONG ẢNH VÀ ỨNG DỤNG Chuyên ngành: CÔNG NGHỆ THÔNG TIN Luận văn thạc sĩ Công nghệ... vấn đề Nhận thức đƣợc điều này, chọn đề tài luận văn: ? ?Nghiên cứu kỹ thuật tìm điểm bất động ảnh ứng dụng? ?? Bố cục luận văn bao gồm phần mở đầu, phần kết luận ba chƣơng nội dung đƣợc tổ chức nhƣ... điểm bất động ảnh Chƣơng trình bày kỹ thuật xác định điểm bất động ảnh dựa vào để xây dựng đặc trƣng bất biến đối tƣợng sử dụng đặc trƣng cho việc so khớp nhận dạng đối tƣợng Chƣơng 3: Ứng dụng điểm