ĐẠI HỌC BÁCH KHOA HÀ NỘI Viện Công Nghệ Thông Tin Truyền thông - - Báo Cáo Bài Tập Lớn Xử Lý Dữ Liệu Đa Phương Tiện Đề tài: Kỹ thuật Scalable Video Coding (SVC) nén video Giảng viên hướng dẫn: PGS.TS Nguyễn Thị Hoàng Lan Hà Nội, Tháng năm 2019 Mục lục Contents I Giới Thiệu Chung Scalable Video Coding (SVC) 1.Khái niệm I.1.1 Khái niệm - Scalable Video Coding (SVC) kỹ thuật mã hóa liệu video Chia liệu video mã hóa thành nhiều luồng bit ( bitstreams) biến luồng luồng bit thành hình ảnh thiết bị đầu cuối Sau mã hóa, luồng bit mở rộng giải mã luồng bit mở rộng cho phép thiết bị thích ứng với bit rate, định dạng mức lượng Các luồng bit phần cấp, có luồng truyền chất lượng tiêu chuẩn luồng thứ cấp có chất lượng nâng cao với độ phần giải frame rate cao - Các thiết bị đầu cuối nhận luồng bit phù hợp với cấu hình máy băng thông mạng Điều giúp giảm tốc độ khung hình, độ phân giải mức tiêu thụ băng thơng hình ảnh, ngăn hình ảnh bị vỡ E.g: thiết bị cấu hình thấp ( vài điện thoại động ) nhận lớp sở luồng bít chất lượng thấp máy tính cấu hình cao mạng khỏe nhận lớp sở luồng bit tang cường - Khả mở rộng hiệu quả: chức loại bỏ phần luồng bit đạt hiệu suất phù hợp độ phân giải không gian, thời gian SNR hỗ trợ so sánh với mã hóa H.264 / AVC lớp độ phân giải cụ thể tượng tự II Sơ đồ kiến trúc SVC Tác dụng SVC nén video tiến tiến AVC theo chuẩn MPEG-4/ H264 2.1 Sơ đồ kiến trúc SVC Hình 1.Một sơ đồ kiến trúc SVC Một sơ đồ đơn giản hóa Hình cho thấy sơ đồ làm việc SVC Lớp mã hóa H.264 / AVC thơng thường với việc bổ sung SNR khả mở rộng chất lượng đầu kết cấu (dư) cung cấp gọi lớp dự đoán xen kẽ số lượng để giúp Bộ mã hóa lớp (lớp tăng cường) Với đầu vào video số hóa,với cấu trúc gồm tầng Base Layer Coding có nhiệm vụ mã hóa để đầu nhiều dòng bitstream qua multiplex 2.2 Tác dụng nén video tiến tiến AVC theo chuẩn MPEG-4/ H264 SVC cho phép truyền tải giải mã dòng bit cục để cung cấp dịch vụ video với thời gian ngắn với nhiều độ phân giải không gian giảm độ trung thực giữ chất lượng tái tạo tương đối cao so với tỷ lệ dòng bit cục Vì thế, SVC cung cấp chức suy giảm dần môi trường truyền tải mát giảm tỷ lệ bit, cấu trúc, định dạng, thích ứng lượng Những chức cung cấp nâng cao cho truyền tải ứng dụng lưu trữ SVC đạt cải tiến đáng kể hiệu mã hóa với việc tăng hỗ trợ khả mở rộng cho cấu hình mở rộng chuẩn video trước III Các thuật tốn thực kiểu SVC 3.1 Kỹ Thuật SVC theo thời gian(Temporal scalability) Trong chuỗi mã hóa mở rộng thời gian, lớp sở mã hóa cách giảm frame Các lớp cải tiến liên tiếp, mã hóa với lớp sở cung cấp tốc độ khung dần cao Hình 3.7 cho thấy chuỗi mã hóa ba lớp mở rộng thời gian Lớp mã hóa tốc độ khung F0 bao gồm khung mã hóa 0,6,12, Một giải mã H.264/AVC giải mã lớp độc lập Lớp gồm khung 3,9,15 Một giải mã giải mã lớp để tạo chuỗi tốc độ cao với tốc độ 2F0 khung/s Lớp gồm khung 1,2,4,5,7,8 giải mã giải mã lớp 0,1 gửi tới đầu tốc độ 6F0 khung/s Mở rộng thời gian đạt sử dụng cơng cụ mã hóa slice B và/hoặc slice P sẵn có H.264/AVC Các ví dụ hình 3.7 3.8 phát triển sử dụng cấu trúc GOP kim tự tháp có phân tầng Hình 3.7 Sơ đồ mã hóa mở rộng thời gian lớp [5] Hình 3.8 Sơ đồ giải mã mở rộng thời gian [5] Để trọn vẹn hình 3.9 hướng dự đốn cho cấu trúc có phân tầng Lớp sở gồm slice I 12 slice tập slice B đầu tiên, B6 v.v Lớp gồm tập slice B thứ (3,9,15 ) dự đoán từ lớp sở Lớp gồm slice B lại dự đốn từ lớp Do đó, tập giải mã độc lập: Lớp 0, I0,B6,I12, Lớp + lớp 1,I0,B3,B6,B9, Lớp 0+ lớp + lớp 2, I0,B1,B2,B3, Vì cơng cụ dự đốn cần thiết, ảnh P B sử dụng cho tham khảo, hỗ trợ profile main profile high H264/AVC, mở rộng thời gian đạt không cần chuẩn lõi H.264/AVC Hình 3.9 Cấu trúc dự đốn phân cấp [5] 3.2 Kỹ Thuật SVC theo chất lượng Lớp sở mã hóa sử dụng lượng tử tham số QP riêng biệt để tạo luồng bit lớp (hình 3.10) Với khung video đơn A, mã hóa, khung mã hóa giải mã từ lớp sở xây dựng lại (khung A’0), khung A mã hóa lại QP thấp có chất lượng cao hơn, với khung giải mã A’0 sẵn sàng tham khảo dự đoán, để tạo luồng bit lớp cải tiến lớp Lưu ý A’0 thường tham chiếu dự đoán hiệu giống với khung A trừ méo ban đầu nén Các nguồn dự đốn, khung mã hóa trước đệm ảnh giải mã sẵn sàng cho dự đoán MB Một giải mã lớp sở đơn giản giải mã khung A0 Một giải mã lớp cải tiến yêu cầu khung A giải mã, tham khảo dự đoán để xây dựng lại khung A1 chất lượng cao Quá trình lặp lại để tạo tầng lớp 0,1,2 , lớp sử dụng khung xây dựng lại từ lớp bên tham khảo dự đoán sử dụng QP thấp dần SVC cung cấp cơng cụ có khả xây dựng lại lớp cải tiến không cần giải mã đầy đủ thơng tin lớp sở (dự đốn liên tầng bắt buộc) H.264/SVC hỗ trợ mở rộng chất lượng hạt trung bình (MGS) hạt thơ (CGS) CGS có hiệu với trường hợp đặc biệt mở rộng khơng gian đó, hệ số tăng lấy mẫu giảm lấy mẫu Có nghĩa độ phân giải lớp cải tiến giống độ phân giải lớp tham khảo Lớp cải tiến mã hóa QP thấp chất lượng cao lớp tham khảo thấp Tất cơng cụ mã hóa mở rộng khơng gian mơ tả sử dụng để dự đoán khung lớp cải tiến từ khung xây dựng lại lớp tham khảo Một ứng dụng đặc trưng mở rộng chất lượng cung cấp dạng chuỗi mã hóa tốc độ bit mức chất lượng khác nhau, ví dụ chuỗi tốc độ bit thấp trích cho truyền dẫn qua kênh với khả khác Với CGS, số chuỗi có tốc độ bit bị giới hạn số lớp Việc cung cấp số lớn tùy chọn tốc độ bit sử dụng CGS yêu cầu số lớn lớp , điều dẫn tới tăng phức tạp không hiệu để mã hóa Mở rộng chất lượng hạt trung bình (Medium grain quality scalability-MGS) giải giới hạn trích luồng dải tốc độ bit rộng từ luồng bit mở rộng với số nhỏ lớp chất lượng Sử dụng MGS, đơn vị NAL lớp cải tiến bị loại bỏ khỏi luồng bit giải mã đầy đủ Điều làm cho tạo tốc độ bit đầu biến đổi Ví dụ, việc loại bỏ số đơn vị NAL lớp cải tiến làm đáp ứng tốc độ bit đích bất kỳ, với độ dự trữ lỗi xác định Hình 3.10 ví dụ luồng bit thích ứng hồn chỉnh gồm có NALUs lớp sở NALUs lớp cải tiến Hình 3.10 Mở rộng chất lượng trung bình [5] Hình 3.11 Kết hợp mở rộng chất lượng, không gian thời gian [5] Sử dụng MGS, NALUs lớp nâng cao lựa chọn bị loại bỏ để cung cấp luồng tốc độ bit thấp Điểm chất lượng/ tốc độ bit thấp cung cấp luồng lớp sở, bao gồm NALUs lớp sở SVC đặc tả thơng số dự đốn bù chuyển động phải không thay đổi biểu diễn ảnh định lớp sở lớp nâng cao Nó cản trở lệch xây dựng lại bù chuyển động ảnh chủ chốt mã hóa giải mã Sự lệch bị giới hạn tới ảnh chủ chốt 3.3 Kỹ Thuật SVC theo không gian (Spatial scalability): Trong trường hợp mở rộng không gian (hình 3.11), lớp sở có độ phân giải thấp lớp cải tiến liên tiếp giải mã để tạo độ phân giải cao Khung video đầu vào A hạ tần số lấy mẫu mã hóa để tạo dạng A’ độ phân giải thấp Khung A’ mã hóa tạo lớp sở giải mã để gửi đến đầu độ phân giải thấp khung A0 Bộ mã hóa xây dựng lại A0 tăng tần số lấy mẫu để tạo khung tham khảo có độ phân giải ban đầu (A) Khung tham khảo sử dụng tham khảo dự đốn, cho phép mã hóa tạo lớp cải tiến (lớp 1) Tăng tần số lấy mẫu A0 tham khảo dự đoán tốt cho khung A khung, với méo hạ tần số lấy mẫu, mã hóa tăng tần số lấy mẫu Một giải mã lớp cải tiến tăng số mẫu A0 sử dụng để xây dựng lại khung cải tiến giải mã A1 Với mở rộng khơng gian, q trình lặp lại để đưa tầng lớp 0,1,2 Lớp có độ phân giải cao có độ phân giải với chuỗi ban đầu; lớp thấp mã hóa độ phân giải nhỏ dần Lớp sở luồng bit mở rộng khơng gian mã hóa sử dụng cơng cụ H.264/AVC Mã hóa MB lớp cải tiến yêu cầu số thay đổi phụ thuộc vào kiểu dự đốn từ lớp thấp H264/SVC ngồi tiếp cận tăng tần số lấy mẫu lớp thấp cung cấp vài chế độ dự đoán nhằm cải thiện hiệu suất mã hóa kỹ thuật nén mở rộng không gian Trong lớp cải tiến, mã hóa hình 3.11, có số tùy chọn cho việc dự đoán MB Đầu tiên, tất tùy chọn dự đốn thơng thường sẵn sàng Các mode Intra sử dụng mẫu từ khung thời độ phân giải lớp cải tiến, mode inter sử dụng mẫu từ khung xây dựng lại mã hóa trước độ phân giải lớp cải tiến Thứ 2, tùy chọn xa sẵn sàng, sử dụng lớp thấp tăng tần số lấy mẫu, lớp sở hình 3.12, lớp cải tiến độ phân giải thấp lớp tham chiếu Lưu ý rằng, vị trí MB tương ứng với khối nhỏ lớp có độ phân giải thấp Giả sử khối tương ứng 8x8 lớp tham khảo thấp hơn, gọi tỉ lệ 2, hay 2x độ phân giải ngang dọc lớp cải tiến Tuy vậy, hệ số tỉ lệ lớp tùy ý hỗ trợ H264/SVC Các tùy chọn dự đoán: Nâng cấp lớp tham khảo: Với khối Intra, co giãn lớp tham khảo tới độ phân giải lớp (hình 10.8) sử dụng lớp tham khảo tham khảo dự đoán phụ Chế độ sở: sử dụng lựa chọn dự đoán từ khối lớp tham khảo Hình 3.12 Mở rộng chất lượng [5] Hình 3.13 Mở rộng khơng gian lớp [5] 10 Khi mà cờ mode sở thiết lập 1, phần dư gửi lớp cải tiến khơng có lựa chọn dự đốn phụ, tức khơng có chế độ dự đoán bên phân vùng, tham chiếu vector chuyển động Nếu khối vị trí lớp tham khảo mã hóa mode intra, khối intra xây dựng lại từ lớp tham khảo tăng tần số lấy mẫu sử dụng lọc đáp ứng xung giới hạn để tạo dự đoán cho MB Dự đoán trừ từ MB để tạo phần dư lớp cải tiến Nếu khối vị trí lớp cải tiến mã hóa mode Inter, khối lớp cải tiến dự đoán sử dụng dự đoán inter , với số ảnh tham khảo nhau, lựa chọn phân vùng tăng số lấy mẫu từ phân vùng lớp tham khảo vector chuyển động chia tỉ lệ từ vector chuyển động lớp tham khảo Dự đoán vector chuyển động từ lớp tham khảo Nếu cờ dự đoán chuyển động đặt 1, phần vùng MB lớp cải tiến dự đoán sử dụng dự đoán inter với số ảnh tham khảo giống khối lớp tham khảo tương ứng khác biệt vector chuyển động (MVD) tạo nhờ sử dụng vector chuyển động tăng tỉ lệ lớp tham khảo dự đoán Dự đoán dư thừa Khi cờ dự đoán dư thừa đặt 1, dư thừa lớp cải tiến dự đoán từ dư thừa lớp tham khảo Đầu tiên, phần dư lớp tham khảo tăng số lấy mẫu sử dụng phép nội suy tuyến tính phần dư tăng số lấy mẫu trừ từ khối lớp cải tiến ban đầu Sau , phần dư lớp cải tiến hình thành việc sử dụng phương pháp mơ tả trước đó, tức dự đốn intra/inter thơng thường dự đốn mode sở Tín hiệu khác thu được biến đổi , mã hóa truyền thường lệ Cần lưu ý dự đoán lớp bị bắt buộc sau Đầu tiên, MB lớp cải tiến mà mẫu tham chiếu vị trí mã hóa intra (dự đốn intra bắt buộc) Thứ 2, dự đoán intra bắt buộc cố định với dự đoán liên lớp lớp cao Điều có nghĩa MB mã hóa intra lớp tham khảo xây dựng khơng cần phải xây dựng lại MB mã hóa inter Do lớp giải mã sử dụng vòng bù chuyển động đơn (giải mã vòng đơn), dẫn tới phức tạp giải mã thấp đáng kể so với mã hóa video mở rộng chuẩn sớm 11 IV.Sơ đồ thuật tốn SVC theo khơng gian (Spatial scalability) thực đa phân giải ảnh dùng băng lọc số Băng lọc số (Filter Bank) - Filter Bank mảng lọc thơng dải phân tách tín hiệu đầu vào thành nhiều thành phần, phận mang băng tần phụ tín hiệu gốc Một ứng dụng filter bank cân đồ họa , làm suy giảm thành phần với tần số khác kết hợp chúng thành phiên sửa đổi tín hiệu gốc Quá trình phân tách thực filter bank gọi phân tích (có nghĩa phân tích tín hiệu theo thành phần băng con); đầu phân tích gọi tín hiệu băng có nhiều băng có lọc filter bank Q trình tái cấu trúc gọi tổng hợp , nghĩa phục hồi tín hiệu hồn chỉnh q trình lọc (a) băng lọc phân tích , (b) lọc thông thấp thông cao - Nguyên tắc q trình mã hố ảnh băng phân chia ảnh thành nhiều dải tần số thông qua lọc thông thấp, thông dải thông cao - Gọi L H tương ứng lọc thông thấp thông cao chiều 12 (c ) phân vùng miền tần số, (d) Băng lọc tổng hợp - Tần số chiều ảnh tách chiều theo trục w1 w2 - Hình 3c mô tả băng lọc đượcphân thành vùng tần số LL, LH, HL HH Vùng trung tâm (LL) vùng có tần số thấp theocả hai hướng Bốn góc (HH) vùng có thành phần tần số cao theo hai hướng Bốn vùngbên cạnh (HL, LH) vùng có tần số thấp tần số cao, thành phần theo hướng - Sau lượng tử, mã hoá, lưu trữ, truyền giải mã ảnh, băng tăng mẫu với hệ số (hình 3d) thơng qua lọc để loại bỏ thành phần chồng phổ (alias) tín hiệu sinh tăng mẫu Sơ đồ thuật tốn SVC theo khơng gian (Spatial scalability) thực đa phân giải ảnh dùng băng lọc số - Đồng thời khung video hạ tần số lấy mẫu để tạo khung có độ phân giải thấp mã hóa để đưa vào làm lớp sở dùng để làm khung tham khảo đưa vào làm substream - Tín hiệu đầu vào video chuyển đến băng lọc số để phân tách thành nhiều thành phần với mã hóa dể trơ thành lớp tăng cường, sau đưa vào substreams - Các substream bước gộp lại thành bitstreams để phục vụ cho việc truyền tải lưu trữ - Băng lọc phân tích sử dụng nơi tạo thiết bị livestream video nơi truyền video 13 Băng lọc phân tích Băng lọc tổng hợp - - B ă ng lọc tổng hợp sử dụng thiết bị đầu cuối phát video ( máy tính, TV, điện thoại ) Các thiết bị nhận bitstream phù hợp với cấu hình băng thơng mạng thiết bị Sau nhận bitstream phù hợp dòng bitstream giải mã giải mã thiết bị Lớp sở giải mã lúc dùng để tham khảo kết hợp với lớp tăng cường dùng để gộp thành phần tách từ băng lọc phân tích tạo thành khung video sau đưa qua băng lọc tổng hợp đưa đến thiết bị đầu cuối V Kỹ thuật SVC theo không gian Youtube 14 Chất lượng video theo độ phân giải Youtube - Video tải lên youtube với độ phân giải gốc 1080p ( full HD) Khi phát youtube, video tùy chọn độ phân giải khác Youtube app dụng kỹ thuật SVC theo không gian cho video để phù hợp bới đường truyền mạng người dùng Ngồi Youtube áp dụng kỹ thuật SVC theo kiểu khác thời gian , chất lượng Điều chỉnh tốc dộ phát video Youtube 15 ...Mục lục Contents I Giới Thiệu Chung Scalable Video Coding (SVC) 1.Khái niệm I.1.1 Khái niệm - Scalable Video Coding (SVC) kỹ thuật mã hóa liệu video Chia liệu video mã hóa thành nhiều luồng bit... Khi phát youtube, video tùy chọn độ phân giải khác Youtube app dụng kỹ thuật SVC theo không gian cho video để phù hợp bới đường truyền mạng người dùng Ngồi Youtube áp dụng kỹ thuật SVC theo kiểu... tích tạo thành khung video sau đưa qua băng lọc tổng hợp đưa đến thiết bị đầu cuối V Kỹ thuật SVC theo không gian Youtube 14 Chất lượng video theo độ phân giải Youtube - Video tải lên youtube