Đang tải... (xem toàn văn)
Luận văn - Xử lí âm thanh và hình ảnh hoàn chỉnh Nén dữ liệu hình ảnh và video đề cập đến một quá trình mà trong đó lượng dữ liệu sử dụng mà tiêu...
Luận văn Xử lí âm thanh và hình ảnh hoàn chỉnh 1 MỤC LỤC DANH MỤC HÌNH VẼ, BẢNG BIỂU 6 CÁC THUẬT NGỮ VIẾT TẮT 11 CHƯƠNG I: GIỚI THIỆU 15 Hình 1.1: Hình ảnh và video nén để truyền hình ảnh và lưu trữ 16 1.1. Nhu cầu cần thiết của việc nén hình ảnh và video: 16 1.2. Tính khả thi của việc nén hình ảnh và video: 17 1.2.1. Dư thừa thống kê: 17 1.2.1.1. Không gian Redundancy 17 1.2.1.2 Thời gian dự phòng 19 Hình 1.4: Phổ công suất điển hình của một tín hiệu phát sóng truyền hình 22 Hình 1.5: (a) khung 21, và (b) khung hình 22 "Hoa hậu Mỹ" 23 1.2.1.3. Mã hóa Dự phòng 23 1.2.2. Dự phòng PSYCHOVISUAL 25 Hình 1.6 Mô hình hai đơn vị xếp tầng của hệ thống thị giác của con người (HVS) 25 1.2.2.1. Mặt nạ chói 26 Hình 1.7: Một đối tượng thống nhất với màu xám mức I1 với nền tảng là màu xám ở mức I2 27 Hình 1.8 Cầu Burrard ở Vancouver. (a) hình ảnh gốc (lịch sự Shi của Minhuai). (b) Hình ảnh đồng nhất bị hỏng bởi nhiễu phụ trắng Gaussian 29 1.2.2.2. Kết cấu mặt nạ 29 2 Hình 1.9 Giáng sinh tại Winorlia. (a) Bản gốc. (b)-bit lượng tử hóa. (c) Cải thiện lượng IGS với bốn bit 30 1.2.2.3 Tần số mặt nạ 31 1.2.2.4 Mặt nạ thời gian 33 1.2.2.5 Mặt nạ màu 33 1.2.2.6. Chắn màu và ứng dụng của nó trong việc nén Video 36 1.2.2.7. Tóm tắt: Độ nhạy vi phân 37 Hình 1.10: Mức độ nhạy cảm so với tần số không gian. (Sửa đổi từ Van Ness và Bouman[1967] và Mullen[1985].) 38 1.3. Đo lường chất lượng hình ảnh 38 1.3.1 Đo lường chất lượng chủ quan 39 Hình 1.11. Hệ thống xử lý âm thanh hình ảnh 41 1.3.2. Mục tiêu chất lượng đo lường: 41 1.3.2.2 Mục tiêu đo lường chất lượng: 43 1.4 Kết quả lý thuyết thông tin 46 1.4.1 Dữ liệu ngẫu nhiên (ENTROPY) 47 Entropy là một khái niệm rất quan trọng trong lý thuyết thông tin và truyền thông. Vì vậy trong hình ảnh và video nén. Đầu tiên chúng ta xác định nội dung thông tin của một nguồn biểu tượng. Sau đó chúng ta định nghĩa Entropy là nội dung thông tin trung bình chỗ mỗi một biểu tượng, cho mỗi nguồn rời rạc 47 1.4.1.1 Biện pháp thông tin 47 1.4.1.1. Đơn vị đo lường thông tin 47 1.4.1.2 Thông tin trung bình trong mỗi kí hiệu 48 1.4.2 Thuyết mã hóa nguồn Shannon 48 3 1.4.3 Mã hóa định kênh nhiễu của shannon 49 1.4.4. Định lý mã hóa nguồn của shannon 50 1.4.5 Định lý truyền tải thông tin 51 1.5 TÓM TẮT 51 1.6. Các bài tập 52 CHƯƠNG 11: KHỐI KẾT HỢP 53 11.1. Không chồng chéo, cách đều nhau, kích thước cố định, khối kết hợp nhỏ hình chữ nhật 54 Hình 11.1. Khối kết hợp 55 11.2. Tiêu chí kết hợp 56 Hình 11.2. Cửa sổ tìm kiếm và cửa sổ tương quan 57 11.3. Thủ tục tìm kiếm 58 11.3.1. Tìm kiếm đầy đủ 58 11.3.2. Tìm kiếm Logarít 58 Hình 11.3: (a) 2-D lôgarít tìm kiếm thủ tục. tại điểm (j, k+2), (j+2, k+2), (j+2, k+4), và (j+1, k+4). Được tìm thấy để cung cấp cho sự khác nhau tối thiểu trong các bước 1, 2, 3, và 4, tương ứng lôgarít tìm kiếm thủ tục. (b) A 2-D lôgarít tìm kiếm thủ tục tại điểm (j, k-2), (j +2, k-2), và (j +2, k-1) được tìm thấy để cung cấp cho sự khác nhau tối thiểu trong các bước 1, 2, 3, và 4, tương ứng 60 Hình 11.4 thủ tục tìm kiếm ba bước. Điểm (j +4, k-4), (j +4, k-6), và (j +5,k-7) cung cấp cho tối thiểu sự khác nhau trong các bước 1, 2 và 3, tương ứng 61 11.3.3. Ba bước tìm kiếm đơn giản 61 11.3.4. Hướng tìm kiếm liên hợp 61 Hình 11.5: Hướng tìm kiếm liên hợp 62 11.3.5. Lấy mẫu con trong cửa sổ tương quan 62 4 11.3.6. Đa phân giải khối kết hợp 63 Hình 11.6: một ví dụ về lấy mẫu con 2 x 2 trong khối ban đầu và cửa sổ tương quan cho tìm kiếm một cách nhanh chóng 64 Hình 11.7 Gaussian cấu trúc kim tự tháp 65 11.3.7. Ngưỡng phù hợp với nhiều độ phân giải 65 Hình 11.8: Sơ đồ chặn cho phù hợp với ngưỡng ba cấp độ phân giải 67 Bảng 11.1: Các tham số được sử dụng trong những thí nghiệm này 67 Hình 11.10: Khung thứ 20 của chuỗi “Tàu hỏa” 71 Hình 11.11: Khung thứ 20 của chuỗi “Bóng đá” 72 Bảng 11.2: Kết quả thí nghiệm 72 11.4. Kết hợp chính xác 73 11.5 Giới hạn với kỹ thuật kết hợp khối 74 Hình 11.12. Khung 21 tái tạo của "Hoa hậu Mỹ" trình tự bằng cách sử dụngmột cách giải mã H.263 75 11.6. Những cải tiến mới 76 11.6.1. Cấu trúc khối kết hợp 76 Hình 11.13: Kết hợp khối phân cấp 77 Bảng 11.3: Các Kết quả thí nghiệm (II) 77 Bảng 11.4: Các tham số được sử dụng trong khớp khối theo thứ tự 3 mức 78 Hình 11.14: Một phần của bức ảnh với các điểm ảnh được xử lý trong cả 3 mức 80 11.6.2. Khớp khối đa lưới 80 Hình 11.15: Cấu trúc phân cấp 3 mức khác nhau 81 Hinh 11.16 : Sơ đồ của nhiều khối kết hợp 83 5 Hình 11.18 : Khung hình thứ 20 của chuỗi “ vườn hoa” 87 11.6.3 Đoán trước sự thay đổi lĩnh vực chia nhỏ gói dữ liệu 87 Hình 11.20: Khung hình thứ 20 của sự phối hợp chuỗi “bàn đánh bóng bàn” 90 11.6.4. Sự thích ứng vùng phủ các khối 91 Hình 11.21: Sự chổng chéo của các khối thích ứng 92 11.7 Tổng kết 93 11.8 - Bài tập 96 DANH MỤC HÌNH VẼ, BẢNG BIỂU DANH MỤC HÌNH VẼ, BẢNG BIỂU 6 6 CÁC THUẬT NGỮ VIẾT TẮT 11 CHƯƠNG I: GIỚI THIỆU 15 Hình 1.1: Hình ảnh và video nén để truyền hình ảnh và lưu trữ 16 1.1. Nhu cầu cần thiết của việc nén hình ảnh và video: 16 1.2. Tính khả thi của việc nén hình ảnh và video: 17 1.2.1. Dư thừa thống kê: 17 1.2.1.1. Không gian Redundancy 17 1.2.1.2 Thời gian dự phòng 19 Hình 1.4: Phổ công suất điển hình của một tín hiệu phát sóng truyền hình 22 Hình 1.5: (a) khung 21, và (b) khung hình 22 "Hoa hậu Mỹ" 23 1.2.1.3. Mã hóa Dự phòng 23 1.2.2. Dự phòng PSYCHOVISUAL 25 Hình 1.6 Mô hình hai đơn vị xếp tầng của hệ thống thị giác của con người (HVS) 25 1.2.2.1. Mặt nạ chói 26 Hình 1.7: Một đối tượng thống nhất với màu xám mức I1 với nền tảng là màu xám ở mức I2 27 Hình 1.8 Cầu Burrard ở Vancouver. (a) hình ảnh gốc (lịch sự Shi của Minhuai). (b) Hình ảnh đồng nhất bị hỏng bởi nhiễu phụ trắng Gaussian 29 1.2.2.2. Kết cấu mặt nạ 29 Hình 1.9 Giáng sinh tại Winorlia. (a) Bản gốc. (b)-bit lượng tử hóa. (c) Cải thiện lượng IGS với bốn bit 30 1.2.2.3 Tần số mặt nạ 31 7 1.2.2.4 Mặt nạ thời gian 33 1.2.2.5 Mặt nạ màu 33 1.2.2.6. Chắn màu và ứng dụng của nó trong việc nén Video 36 1.2.2.7. Tóm tắt: Độ nhạy vi phân 37 Hình 1.10: Mức độ nhạy cảm so với tần số không gian. (Sửa đổi từ Van Ness và Bouman[1967] và Mullen[1985].) 38 1.3. Đo lường chất lượng hình ảnh 38 1.3.1 Đo lường chất lượng chủ quan 39 Hình 1.11. Hệ thống xử lý âm thanh hình ảnh 41 1.3.2. Mục tiêu chất lượng đo lường: 41 1.3.2.2 Mục tiêu đo lường chất lượng: 43 1.4 Kết quả lý thuyết thông tin 46 1.4.1 Dữ liệu ngẫu nhiên (ENTROPY) 47 Entropy là một khái niệm rất quan trọng trong lý thuyết thông tin và truyền thông. Vì vậy trong hình ảnh và video nén. Đầu tiên chúng ta xác định nội dung thông tin của một nguồn biểu tượng. Sau đó chúng ta định nghĩa Entropy là nội dung thông tin trung bình chỗ mỗi một biểu tượng, cho mỗi nguồn rời rạc 47 1.4.1.1 Biện pháp thông tin 47 1.4.1.1. Đơn vị đo lường thông tin 47 1.4.1.2 Thông tin trung bình trong mỗi kí hiệu 48 1.4.2 Thuyết mã hóa nguồn Shannon 48 1.4.3 Mã hóa định kênh nhiễu của shannon 49 1.4.4. Định lý mã hóa nguồn của shannon 50 8 1.4.5 Định lý truyền tải thông tin 51 1.5 TÓM TẮT 51 1.6. Các bài tập 52 CHƯƠNG 11: KHỐI KẾT HỢP 53 11.1. Không chồng chéo, cách đều nhau, kích thước cố định, khối kết hợp nhỏ hình chữ nhật 54 Hình 11.1. Khối kết hợp 55 11.2. Tiêu chí kết hợp 56 Hình 11.2. Cửa sổ tìm kiếm và cửa sổ tương quan 57 11.3. Thủ tục tìm kiếm 58 11.3.1. Tìm kiếm đầy đủ 58 11.3.2. Tìm kiếm Logarít 58 Hình 11.3: (a) 2-D lôgarít tìm kiếm thủ tục. tại điểm (j, k+2), (j+2, k+2), (j+2, k+4), và (j+1, k+4). Được tìm thấy để cung cấp cho sự khác nhau tối thiểu trong các bước 1, 2, 3, và 4, tương ứng lôgarít tìm kiếm thủ tục. (b) A 2-D lôgarít tìm kiếm thủ tục tại điểm (j, k-2), (j +2, k-2), và (j +2, k-1) được tìm thấy để cung cấp cho sự khác nhau tối thiểu trong các bước 1, 2, 3, và 4, tương ứng 60 Hình 11.4 thủ tục tìm kiếm ba bước. Điểm (j +4, k-4), (j +4, k-6), và (j +5,k-7) cung cấp cho tối thiểu sự khác nhau trong các bước 1, 2 và 3, tương ứng 61 11.3.3. Ba bước tìm kiếm đơn giản 61 11.3.4. Hướng tìm kiếm liên hợp 61 Hình 11.5: Hướng tìm kiếm liên hợp 62 11.3.5. Lấy mẫu con trong cửa sổ tương quan 62 11.3.6. Đa phân giải khối kết hợp 63 9 Hình 11.6: một ví dụ về lấy mẫu con 2 x 2 trong khối ban đầu và cửa sổ tương quan cho tìm kiếm một cách nhanh chóng 64 Hình 11.7 Gaussian cấu trúc kim tự tháp 65 11.3.7. Ngưỡng phù hợp với nhiều độ phân giải 65 Hình 11.8: Sơ đồ chặn cho phù hợp với ngưỡng ba cấp độ phân giải 67 Bảng 11.1: Các tham số được sử dụng trong những thí nghiệm này 67 Hình 11.10: Khung thứ 20 của chuỗi “Tàu hỏa” 71 Hình 11.11: Khung thứ 20 của chuỗi “Bóng đá” 72 Bảng 11.2: Kết quả thí nghiệm 72 11.4. Kết hợp chính xác 73 11.5 Giới hạn với kỹ thuật kết hợp khối 74 Hình 11.12. Khung 21 tái tạo của "Hoa hậu Mỹ" trình tự bằng cách sử dụngmột cách giải mã H.263 75 11.6. Những cải tiến mới 76 11.6.1. Cấu trúc khối kết hợp 76 Hình 11.13: Kết hợp khối phân cấp 77 Bảng 11.3: Các Kết quả thí nghiệm (II) 77 Bảng 11.4: Các tham số được sử dụng trong khớp khối theo thứ tự 3 mức 78 Hình 11.14: Một phần của bức ảnh với các điểm ảnh được xử lý trong cả 3 mức 80 11.6.2. Khớp khối đa lưới 80 Hình 11.15: Cấu trúc phân cấp 3 mức khác nhau 81 Hinh 11.16 : Sơ đồ của nhiều khối kết hợp 83 Hình 11.18 : Khung hình thứ 20 của chuỗi “ vườn hoa” 87 10 [...]... việc tái tạo hình ảnh và video là 1 trong những mối quan tâm chính, để các biện pháp chủ quan cũng như khách quan về chất lượng hình ảnh được giải quyết Từ đó, chúng ta trình bày 1 số kết quả lý thuyết thông tin cơ bản để thấy rằng nó đóng vai trò chủ chốt trong nén hình ảnh và video Hình 1.1: Hình ảnh và video nén để truyền hình ảnh và lưu trữ 1.1 Nhu cầu cần thiết của việc nén hình ảnh và video: Không... niệm cơ bản như thông tin, dữ liệu, chất lượng hình ảnh của hình ảnh và video và độ phức tạp tính toán Chương này đề cập đến 1 số khái niệm cơ bản trong nén hình ảnh và video Đầu tiên, thảo luận về sự cần thiết cũng như tính khả thi của nén dữ liệu hình ảnh và video Việc thảo luận xung quanh việc sử dụng 1 số dư thừa tồn tại trong dữ liệu hình ảnh và video, và nhận thức trực quan về cơ quan thị giác của... trong thế giới 3-D và phải mất hình ảnh của một cảnh như thời gian trôi qua Miễn là khoảng thời gian giữa hai hình ảnh liên tiếp là đủ ngắn, tức là, những hình ảnh được đông đủ, chúng ta có thể tưởng tượng rằng sự giống nhau giữa hai khung hình láng giềng mạnh mẽ Hình 1.5 (a) và (b) chương trình, tương ứng, 21 và 22 khung hình của "Hoa hậu Mỹ" trình tự 19 Hình 1.2 : (a) Một bức ảnh của "Boy và Girl," hồ... học và 1 số đo lường khoa học, chúng ta có thể cần việc tái tạo hình ảnh và video để nhân bản hình ảnh và video gốc Nói theo cách khác, cơ chế bảo quản thông tin được cho phép Đây là kỹ thuật nén không tổn thất Trong các ứng dụng như ảnh động và ti vi, cho phép có 1 lượng thông tin nhât định bị mất mát Đây là kỹ thuật nén có tổn thất Từ định nghĩa, người ta có thể thấy nén dữ liệu hình ảnh và âm thanh. .. khả thi của việc nén hình ảnh và video: Trong phần này chúng ta sẽ thấy rằng việc nén hình ảnh và video không chỉ là một điều cần thiết cho sự phát triển nhanh chóng của truyền thông hình ảnh kỹ thuật số, mà nó cũng khả thi Tính khả thi của nó thuộc về hai kiểu dư thừa, ví dụ, dư thừa thống kê và dư thừa tâm lí thị giác Bằng cách loại bỏ các dư thừa, chúng ta có thể nén hình ảnh và video 1.2.1 Dư thừa... loại: dư thừa interpixel và dư thừa mã hóa Dư thừa interpixel nghĩa là điểm ảnh của một khung hình ảnh và các điểm ảnh của một nhóm các hình ảnh kế tiếp hoặc khung video không phải là thống kê độc lập Ngược lại, chúng là tương quan với mức độ khác nhau.(Lưu ý rằng sự khác biệt và mối quan hệ giữa hình ảnh và chuỗi video được thảo luận trong Chương 10, khi chúng ta bắt đầu thảo luận về nén video) Mối... trừ các khu vực cạnh Điều này được thể hiện trong hình 1.2 Hình 1.2 (a) là một hình ảnh bình thường - một cậu bé và một cô gái trong công viên, và có độ phân giải 883 x 710 Cường độ hồ sơ dọc theo dòng 318 và 262 cột được mô tả trong hình 1.2 (b) và (c), tương ứng Để tham khảo dễ dàng, vị trí của các 318 dòng và 262 cột hình ảnh được hiển thị trong hình 1.2 (d) Đó là, trục thẳng đứng đại diện cho giá... tiêu biểu là hình ảnh và video được nén xuống để đáp ứng yêu cầu về tốc độ bít (thấp hơn hoặc bằng giá trị tốc độ bít tối đa), trong khi chất lượng của tái tạo hình ảnh và video đáp ứng 1 yêu cầu dành cho 1 ứng dụng nào đó và độ phức tạp tính toán ở mức phải chăng dành cho 1 ứng dụng Các sơ đồ khối trong hình 1.1 mô tả các chức năng của nén dữ liệu hình ảnh và video trong truyền dẫn hình ảnh và lưu trữ... phương trình 1.4 và 1.5 sang 2 phương trình trên, chúng ta có thể YIQ trực tiếp trong điều khoản của RGB Đó là Có nghĩa là: 35 Mô hình YCbCr- Theo như trên ta có thể thấy thành phần mầu U và V có sự khác biệt giữa màu hiệu chỉnh gama B và độ sáng chói Y, và hiệu chỉnh gama R và độ chói Y một cách tương ứng Cặp thành phần màu I và Q cùng với Db và Dr đều là biến đổi tuyến tính của U và V Do đó, chúng... mỗi điểm ảnh 31 Hình 1.9: (tiếp) Lớp tần số có thể được minh họa sử dụng trong hình 1.9 trên Trong hình 1.9c tiếng ồn ngẫu nhiên của tần số cao đã được thêm vào ảnh trước khi lượng tử hóa Phương pháp này được gọi là sự lượng tử cải thiện tỷ lệ (IGS) xám (Gonzalez and Woods), 1992 Với mức lượng tử giống như nhau, 16 như trong hình 1.9b, chất lượng hình ảnh của hình 1.9c cải thiện đáng kể so với hình 1.9b: . Luận văn Xử lí âm thanh và hình ảnh hoàn chỉnh 1 MỤC LỤC DANH MỤC HÌNH VẼ, BẢNG BIỂU 6 CÁC THUẬT NGỮ VIẾT TẮT 11 CHƯƠNG I: GIỚI THIỆU 15 Hình 1.1: Hình. chốt trong nén hình ảnh và video. Hình 1.1: Hình ảnh và video nén để truyền hình ảnh và lưu trữ. 1.1. Nhu cầu cần thiết của việc nén hình ảnh và video: Không