Một số nội dung về ảnh panorama và kỹ thuật ghép ảnh 1 MỤC LỤC LỜI NÓI ĐẦU 2 CHƢƠNG I KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ GHÉP ẢNH . 4 1.1. Tổng quan về xử lý ảnh . 4 1.1.1 Giới thiệu chung về xử lý ảnh 4 1.1.2 Ảnh và biểu diễn ảnh 7 1.1.3 Ảnh xám . 10 1.1.4 Biến đổi ảnh . 12 1.2. Ghép ảnh và ảnh Panorama . 13 1.2.1. Kỹ thuật ghép ảnh . 13 1.2.2 Ảnh panorama 19 Chƣơng 2: GHÉP ẢNH DỰA TRÊN KỸ THUẬT NẮN CHỈNH HÌNH HỌC 26 2.1 Một số vấn đề của bài toán . 26 2.1.1 Xác định các cặp điểm đặc trƣng . 26 2.1.2 Xác định ảnh cần nắn chỉnh . 26 2.2 Nắn chỉnh hình dạng bức ảnh 27 2.2.1 Sơ đồ thuật toán ghép ảnh dựa trên nắn chỉnh hình học 27 2.2.2 Xây dựng thuật toán nắn chỉnh dựa vào các cặp điểm đặc trƣng 27 2.2.3 Biến đổi hình dạng bức ảnh dựa trên hàm biến đổi hàm f . . 29 2.3. Ghép ảnh sau khi năn chỉnh . 30 Chƣơng 3: CHƢƠNG TRÌNH THỬ NGHIỆM . 32 3.1. Giới thiệu chƣơng trình 32 3.2. Các chức năng của chƣơng trình 32 KẾT LUẬN . 38 TÀI LIỆU THAM KHẢO . 40 PHỤ LỤC 41 Một số nội dung về ảnh panorama và kỹ thuật ghép ảnh 2 LỜI NÓI ĐẦU Ngày nay, Việt Nam đang bƣớc vào hội nhập với nền kinh tế của thế giới, một điều đặt ra là: Làm sao để quảng bá hình ảnh Việt Nam nhiều hơn nữa với bạn bè quốc tế? Làm sao để những hình ảnh đất mẹ phải sống động, mới mẻ, quyến rũ chứ không lặp lại những cảm xúc đơn điệu? Từ lâu rồi các nhiếp ảnh gia đã dành trọn sự tìm tòi và đam mê của mình để vƣợt qua những câu hỏi đó với mong muốn đƣợc góp một phần vào việc "tiếp thị" hình ảnh Việt Nam. Tất cả họ đều mong muốn rằng thông qua những bức ảnh đó ngƣời xem có thể làm một chuyến “du lịch ảo” từ Bắc chí Nam qua những danh lam thắng cảnh nổi tiếng nhƣ Văn Miếu (Hà Nội), Sầm Sơn (Thanh Hóa), Cửa Lò (Nghệ An), Mỹ Sơn (Quảng Nam), lăng Khải Định (Huế), hồ Xuân Hƣơng (Đà Lạt), TP.HCM . Điều thực sự mới mẻ và thú vị là những thắng cảnh này không phải đƣợc giới thiệu bằng những hình ảnh đơn chiều mà đƣợc giới thiệu bằng không gian “giả” đa chiều thật sống động khiến ngƣời xem có cảm giác không khác gì đứng trƣớc cảnh thật. Tuy nhiên để có những bức ảnh nhƣ thế thật không phải đơn giản. Khi chụp ảnh, độ rộng của ống kính không đủ để tạo nên những bức ảnh đó, bởi vậy ghép ảnh để tạo nên những bức ảnh đẹp là một phƣơng pháp rất hay. Một số nội dung về ảnh panorama và kỹ thuật ghép ảnh 3 Hình 1 Ảnh được ghép từ 14 tấm khác nhau Ghép ảnh còn có rất nhiều ứng dụng trong thực tế nhƣ trong ngành kiến trúc, xây dựng bản đồ địa lý .v.v Song việc ghép các thành phần của các đối tƣợng lại với nhau để thu đƣợc các ảnh tƣơng ứng hoàn thiện hơn là một công việc khó khăn rất nhiều khi phải làm thủ công, mặt khác các ảnh khi thu nhận để ghép thƣờng bị lệch hay biến dạng đi một khoảng nào đấy. Yêu cầu đặt ra cần xác định khoảng sai lệch về thông tin giữa các phần ảnh định ghép, sau đó hiệu chỉnh độ sai lệch và cuối cùng là ghép chúng lại. Nghiên cứu kỹ thuật ghép ảnh còn mở ra cho chúng ta một hƣớng phát triển mới trong tƣơng lai đó là xây dựng kỹ thuật giả lập 3D. Xuất phát từ vấn đề này, đồ án của em là “Một số nội dung về ảnh panorama và kỹ thuật ghép ảnh ‟‟ Đồ án của em gồm các phần sau : Chƣơng 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ GHÉP ẢNH Chƣơng này trình bày tổng quan về bộ môn xử lý ảnh, phƣơng pháp ghép ảnh và một số nội dung về ảnh panorama. Chƣơng 2: GHÉP ẢNH DỰA TRÊN KỸ THUẬT NẮN CHỈNH HÌNH HỌC Chƣơng này giới thiệu về thuật toán ghép ảnh dựa trên kỹ thuật nắn chỉnh hình học với các tập điểm đặc trƣng đầu vào. Chƣơng 3: CHƢƠNG TRÌNH THỬ NGHIỆM Một số nội dung về ảnh panorama và kỹ thuật ghép ảnh 4 Chƣơng 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ GHÉP ẢNH 1.1. Khái quát về xử lý ảnh 1.1.1 Giới thiệu chung về xử lý ảnh Xử lý ảnh là một môn khoa học tƣơng đối mới mẻ so với nhiều ngành khoa học khác, nhất là trên quy mô công nghiệp, đó là một trong những mảng quan trọng nhất trong kỹ thuật thị giác máy tính, là tiền đề cho nhiều nghiên cứu thuộc lĩnh vực này. Hai nhiệm vụ cơ bản của quá trình xử lý ảnh là nâng cao chất lƣợng thông tin hình ảnh và xử lý số liệu cung cấp cho các quá trình khác trong đó có việc ứng dụng thị giác vào điều khiển. Đã có rất nhiều công trình nghiên cứu tại nhiều quốc gia từ năm 1920 đến nay về xử lý ảnh đã góp phần thúc đẩy tiến bộ trong lĩnh vực này lớn mạnh không ngừng [GS. TS. Nguyễn Kim Sách]. Quá trình xử lý ảnh bắt đầu từ việc thu nhận ảnh nguồn (từ các thiết bị thu nhận ảnh dạng số hoặc tƣơng tự) gửi đến máy tính. Ảnh có thể thu nhận qua camera. Thƣờng ảnh thu nhận qua camera là tín hiệu tƣơng tự (loại camera ống kiểu CCIR), nhƣng cũng có thể là tín hiệu số hóa (loại CCD – Charge Coupled Device). Ảnh cũng có thể thu nhận từ vệ tinh qua các bộ cảm ứng (sensor), hay ảnh, tranh đƣợc quét trên scanner. Tiếp theo là quá trình số hóa. Quá trình số hóa (Digitalizer) để biến đổi tín hiệu tƣơng tự sang tín hiệu rời rạc (lấy mẫu) và số hóa bằng lƣợng hóa, trƣớc khi chuyển sang giai đoạn xử lý, phân tích hay lƣu trữ lại. Quá trình phân tích ảnh thực chất bao gồm nhiều công đoạn nhỏ. Trƣớc hết là công việc tăng cƣờng ảnh để nâng cao chất lƣợng ảnh. Do những nguyên nhân khác nhau: có thể do chất lƣợng thiết bị thu nhận ảnh, do nguồn sáng hay do nhiễu, ảnh có thể bị suy biến. Do vậy cần phải tăng cƣờng và khôi phục lại ảnh để làm nổi bật một số đặc tính chính của ảnh, hay làm cho ảnh gần giống Một số nội dung về ảnh panorama và kỹ thuật ghép ảnh 5 với trạng thái gốc – trạng thái trƣớc khi ảnh bị biến dạng. Giai đoạn tiếp theo là phát hiện các đặc tính nhƣ biên, phân vùng ảnh, trích chọn các đặc tính, v.v…. Cuối cùng, tùy theo mục đích của ứng dụng, sẽ là giai đoạn nhận dạng, phân lớp hay các quyết định khác. Các giai đoạn chính của quá trình xử lý ảnh có thể mô tả nhƣ hình 1.1 Hình 1.1 Các giai đoạn chính trong xử lý ảnh Lƣu trữ Thu nhận ảnh Số hóa Phân tích ảnh Nhận dạng Lƣu trữ CAMERA SENSOR Hệ Q Định Một số nội dung về ảnh panorama và kỹ thuật ghép ảnh 6 Với các giai đoạn trên, một hệ thống xử lý ảnh (cấu trúc phần cứng theo chức năng) bao gồm các thành phần tối thiểu nhƣ trong hình 1.2 Hình 1.2 Cấu trúc phần cứng theo chức năng của hệ thống xử lý ảnh. Đối với một hệ thống xử lý ảnh thu nhận qua camera – camera nhƣ là con mắt của hệ thống. Có 2 loại camera: camera ống loại CCIR và camera CCD. Loại camera ứng với chuẩn CCIR quét ảnh với tần số 1/25 và mỗi ảnh gồm có 625 dòng. Loại CCD gồm các photo điốt và làm tƣơng ứng một cƣờng độ sáng tại một điểm ảnh ứng với một phần tử ảnh (pixel). Nhƣ vậy, ảnh là tập hợp các điểm ảnh. Số pixel tạo nên một ảnh gọi là độ phân giải (resolution). Bộ xử lý tƣơng tự(analog processor) thực hiện các chức năng sau: - Chọn camera thích hợp nếu hệ thống có nhiều camera. - Chọn màn hình hiển thị tín hiệu. Màn hình đồ họa Camera Bộ xử lý tƣơng tự Bộ nhớ ảnh Bộ xử lý ảnh số Máy chủ Màn hình Bàn phím Máy in Bộ nhớ ngoài Một số nội dung về ảnh panorama và kỹ thuật ghép ảnh 7 - Thu nhận tín hiệu video thu nhận bởi bộ số hóa (digitalizer). Thực hiện lấy mẫu và mã hóa. - Tiền xử lý ảnh khi thu nhận: Dùng kỹ thuật bảng tra(Look Up Table- LUT). Bộ xử lý ảnh số gồm nhiều bộ xử lý chuyên dụng nhƣ: xử lý lọc, trích chọn đƣờng bao, nhị phân hóa ảnh. Các bộ xử lý này làm việc với tốc độ 1/25 giây. Máy chủ: đóng vai trò điều khiển các thành phần miêu tả ở trên. Bộ nhớ ngoài: Dữ liệu ảnh cũng nhƣ các kiểu dữ liệu khác, để có thể chuyển giao cho các quá trình khác, nó cần đƣợc lƣu trữ. Để có một ƣớc lƣợng, xét thí dụ sau: một ảnh đen trắng cỡ 512 × 512 với 256 mức xám chiếm 256K bytes. Với một ảnh màu cùng kích thƣớc dung lƣợng sẽ tăng gấp 3 lần. 1.1.2 Ảnh và biểu diễn ảnh Ảnh trong thực tế là một ảnh liên tục cả về không gian và giá trị độ sáng. Để có thể xử lý ảnh bằng máy tính thì cần thiết phải tiến hành số hóa ảnh. Quá trình số hóa biến đổi các tín hiệu liên tục sang tín hiệu rời rạc thông qua quá trình lấy mẫu (rời rạc hóa về không gian) và lƣợng tử hóa các thành phần giá trị mà về nguyên tắc bằng mắt thƣờng không thể phân biệt đƣợc hai điểm liền kề nhau. Các điểm nhƣ vậy đƣợc gọi là các pixel (Picture Element) hay các phần tử ảnh hoặc điểm ảnh. Ở đây cần phân biệt khái niệm pixel hay đề cập đến trong các hệ thống đồ họa máy tính. Để tránh nhầm lẫn ta gọi khái niệm pixel này là pixel thiết bị. Khái niệm pixel thiết bị có thể xém xét nhƣ sau: khi ta quan sát màn hình (trong chế độ đồ họa), màn hình không liên tục mà gồm các điểm nhỏ, gọi là pixel. Mỗi pixel gồm một tập tọa độ (x, y) và màu. Nhƣ vậy mỗi ảnh là tập hợp các điểm ảnh. Khi đƣợc số hóa nó thƣờng đƣợc biểu diễn bởi mảng 2 chiều I(n,p): n là dòng và p là cột. Một số nội dung về ảnh panorama và kỹ thuật ghép ảnh 8 Về mặt toán học có thể xem ảnh là một hàm hai biến f(x,y) với x, y là các biến tọa độ. Giá trị số ở điểm (x,y) tƣơng ứng với giá trị xám hoặc độ sáng của ảnh (x là các cột còn y là các hàng). Giá trị của hàm ảnh f(x,y) đƣợc hạn chế trong phạm vi của các số nguyên dƣơng. 0 ≤ f(x,y) ≤ f max. Với ảnh đen trắng mức xám của ảnh có thể đƣợc biểu diễn bởi một số nhƣ sau: 0 )()( dSckf BW Trong đó S BW ( ) là đặc tính phổ của cảm biến đƣợc sử dụng và k là hệ số tỷ lệ xích. Vì sự cảm nhận độ sáng có tầm quan trọng hàng đầu đối với ảnh đen trắng nên S BW ( ) đƣợc chọn giống nhƣ là hiệu suất sáng tƣơng đối. Vì f biểu diễn công suất trên đơn vị diện tích, nên nó bao giờ cũng không âm và hữu hạn. 0≤ f ≤ f max Trong đó f max là giá trị lớn nhất mà f đạt đƣợc. Trong xử lý ảnh, f đƣợc chia thang sao cho nó nằm trong một phạm vi thuận lợi nào đó. Thông thƣờng đối với ảnh xám, giá trị f max là 255 ( 2 8 =256) bởi vì mỗi phần tử ảnh đƣợc mã hóa bởi một byte. Khi quan tâm đến ảnh màu ta có thể mô tả màu qua ba hàm số: thành phần màu đỏ qua R(x,y), thành phần màu lục qua G(x,y) và thành phần màu lam qua B(x,y). Bộ ba giá trị R, G, và B nhận đƣợc từ: 0 )()( dSckR R 0 )()( dSckG G 0 )()( dSckB B Một số nội dung về ảnh panorama và kỹ thuật ghép ảnh 9 Ở đó S R ( ),S G ( ) và S B ( ) theo thứ tự là những đặc tính phổ của các cảm biến (bộ lọc) đỏ, lục và lam. R, G, B cũng không âm và hữu hạn. Ảnh có thể đƣợc biểu diễn theo một trong hai mô hình: mô hình Vector hoặc mô hình Raster. Mô hình Vector: Ngoài mục đích tiết kiệm không gian lƣu trữ, dễ dàng hiển thị và in ấn, các ảnh biểu diễn theo mô hình vector còn có ƣu điểm cho phép dễ dàng lựa chọn, sao chép, di chuyển, tìm kiếm…Theo những yêu cầu này thì kỹ thuật biểu diễn vector tỏ ra ƣu việt hơn. Trong mô hình này, ngƣời ta sử dụng hƣớng vector của các điểm ảnh lân cận để mã hóa và tái tạo lại hình ảnh ban đầu. Các ảnh vector đƣợc thu nhận trực tiếp từ các thiết bị số hóa nhƣ Digitalize hoặc đƣợc chuyển đổi từ các ảnh Raster thông qua các chƣơng trình vector hóa. Mô hình Raster: là mô hình biểu diễn ảnh thông dụng nhất hiện nay. Ảnh đƣợc biểu diễn dƣới dạng ma trận các điểm ảnh. Tùy theo nhu cầu thực tế mà mỗi điểm ảnh có thể đƣợc biểu diễn bởi một hay nhiều bit. Mô hình Raster thuận lợi cho việc thu nhận, hiển thị và in ấn. Các ảnh đƣợc sử dụng trong phạm vi của đề tài này cũng là các ảnh đƣợc biểu diễn theo mô hình Raster. Khi xử lý các ảnh Raster chúng ta có thể quan tâm đến mối quan hệ trong vùng lân cận của các điểm ảnh. Các điểm ảnh có thể xếp hàng trên một lƣới (raster) hình vuông, lƣới hình lục giác hoặc theo một cách hoàn toàn ngẫu nhiên với nhau. 8 láng giềng 4 láng giềng Hình 1.3 Quan hệ trong vùng lân cận giữa các điểm ảnh. . . . . . . ● ● ● . . ● ○ ● . . ● ● ● . . . . . . . . . . . . . ● . . . ● ○ ● . . . ● . . . . . . . Một số nội dung về ảnh panorama và kỹ thuật ghép ảnh 10 Cách sắp xếp theo hình vuông là đƣợc quan tâm đến nhiều nhất và có hai loại: điểm 4 láng giềng (4 liền kề) hoặc 8 láng giềng (8 liền kề). Với điểm 4 láng giềng, một điểm ảnh I(i, j) sẽ có điểm kế cận theo 2 hƣớng i và j; trong khi đó với điểm 8 láng giềng, điểm ảnh I(i, j) sẽ có 4 điểm kế cận theo 2 hƣớng i, j và 4 điểm kế cận theo hƣớng chéo 45 o (Hình 1.3). 1.1.3 Ảnh xám Ảnh xám là ảnh chỉ có các màu sắc độ xám. Thực chất màu xám là màu có các thành phần R,G,B trong hệ thống màu RGB có cùng cƣờng độ. Tƣơng ứng với mỗi điểm ảnh sẽ có một mức xám xác định. Ảnh có nhiều mức xám đƣợc gọi là ảnh đa cấp xám, ảnh chỉ có hai mức xám 0 và 1 đƣợc gọi là ảnh nhị phân. Mức xám là kết quả sự mã hóa tƣơng ứng một cƣờng độ sáng của mỗi điểm ảnh với một giá trị số - kết quả của quá trình lƣợng tử hóa. Cách mã hóa kinh điển thƣờng dùng 16, 32 hay 64 mức. Mã hóa 256 mức là phổ dụng nhất vì lý do kỹ thuật. Vì 2 8 =256 (0 255) nên với 256 mức mỗi pixel sẽ đƣợc mã hóa bởi 8 bit. Lược đồ mức xám (Histogram) hay còn gọi là lƣợc đồ xám của một ảnh là một hàm cung cấp tần suất xuất hiện của mỗi mức xám (Grey level ). Lƣợc đồ xám của một ảnh số có các mức xám trong khoảng [0, L-1] là một hàm rời rạc p(r k )=n k /n. Trong đó n k là số pixel có mức xám thứ r k , n là tổng số pixel của ảnh và k =1,2,3… ,L-1. Do đó p(r k ) cho một xấp xỉ xác suất xảy ra mức xám r k . Vẽ hàm này với tất cả các giá trị của k sẽ biểu diễn khái quát sự xuất hiện các mức xám của một ảnh. Chúng ta cũng có thể thể hiện lƣợc đồ mức xám của ảnh thông qua tần suất xuất hiện mỗi mức xám qua hệ tọa độ vuông góc Oxy. Trong đó, trục hoành biểu diễn số mức xám từ 0 đến N (số bit của ảnh xám). Trục tung biểu diễn số pixel của mỗi mức xám. Theo định nghĩa của lƣợc đồ xám, việc xây dựng nó là khá đơn giản. Thuật toán xây dựng lƣợc đồ xám có thể đƣợc mô tả nhƣ sau: