HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Đào Thị Huyền NGHIÊN CỨU THUẬT TỐN MÃ HĨA VIDEO THEO CHUẨN HEVC VỚI KÍCH THƯỚC NHĨM KHUNG HÌNH THAY ĐỔI THEO NỘI DUNG LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - 2019 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Đào Thị Huyền NGHIÊN CỨU THUẬT TỐN MÃ HĨA VIDEO THEO CHUẨN HEVC VỚI KÍCH THƯỚC NHĨM KHUNG HÌNH THAY ĐỔI THEO NỘI DUNG Chun ngành: HỆ THỐNG THÔNG TIN Mã số: 8.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC : TS VŨ HỮU TIẾN HÀ NỘI - 2019 i LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng tơi Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Tác giả luận văn Đào Thị Huyền ii LỜI CẢM ƠN Để hoàn thành luận văn, nghiên cứu cố gắng thân, em xin gửi lời cảm ơn tới TS Vũ Hữu Tiến, giáo viên trực tiếp hướng dẫn, tận tình bảo định hướng cho em suốt trình thực luận văn Em xin gửi lời cảm ơn chân thành cảm ơn tất thầy giáo Học viện Cơng nghệ Bưu Viễn thông giúp đỡ, tạo điều kiện tốt cho em trình học tập nghiên cứu chương trình Thạc sỹ niên khoá 2017-2019 Cuối cùng, em xin gửi lời cảm ơn tới gia đình, bạn bè người bên cổ vũ tinh thần, tạo điều kiện thuận lợi cho em để em học tập tốt hoàn thiện luận văn Em xin chân thành cảm ơn! iii MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC THUẬT NGỮ VIẾT TẮT DANH MỤC HÌNH ẢNH DANH MỤC BẢNG BIỂU CHƯƠNG 1: TỔNG QUAN VỀ MÃ HÓA VIDEO 1.1 Giới thiệu chung 1.2 Nguyên tắc mã hóa video 1.2.1 Ngun tắc mã hóa video 1.2.2 Kỹ thuật giảm dư thừa thông tin miền không gian 1.2.3 Kỹ thuật giảm dư thừa thông tin miền thời gian 1.2.4 Sơ đồ tổng quát mã hóa video 1.3Giải mã hóa video 1.4Các tiêu chuẩn cho mã hóa tín hiệu video 1.5Định dạng file video 1.6Kết luận chương CHƯƠNG 2: NGHIÊN CỨU THUẬT TỐN MÃ HĨA VIDEO THEO CHUẨN HEVC VỚI KÍCH THƯỚC NHĨM KHUNG HÌNH THAY ĐỔI THEO NỘI DUNG 2.1 Chuẩn video HEVC 2.1.1Những điểm nộ 2.1.2Các kỹ thuật mã 2.2Các thuật tốn mã hóa, giải mã hóa 2.3Mã hóa video theo nhóm ảnh (GOP – Group of Pic 2.4Mã hóa video với GOP biến đổi kích thước theo nộ 2.4.1 Tạo GOP 2.4.2Đánh giá ưu nh 2.5 Đề xuất phương pháp thay đổi kích thước GOP theo nội dung video iv 2.5.1 Kiến trúc mã hóa đề xuất 52 2.5.2 Kỹ thuật tạo GOP thích ứng phương pháp học máy 53 2.5.3 Giới thiệu phần mềm WEKA mô hệ tư vấn 56 Kết luận chương 63 CHƯƠNG 3: MƠ PHỎNG ĐÁNH GIÁ HIỆU NĂNG THUẬT TỐN 65 3.1 Các bước mô 65 3.2 Phân tích kết mô 66 3.3 Kết luận chương 69 KẾT LUẬN VÀ KIẾN NGHỊ 70 DANH MỤC CÁC TÀI LIỆU THAM KHẢO 71 v DANH MỤC THUẬT NGỮ VIẾT TẮT Từ viết Thuật n AC Alternatin BMA Block Ma CCF Crosscorr DC Direct Cu DCT Discrete DPCM Different Modulati FPS Frame pe ISO Internatio Organisa MAE Mean abs MB Macroblo MSE Mean Sq NTSC National tem Com PAL Phase Alt PSNR Peak sign Union– Internatio ITU Telecomm UTQ Uniform UTQ-DZ Uniform VLC Variable VBR Variable MPEG Moving P Group JPEG Joint Pho Experts G VCEG Video Co Group vi CTB Coding T CTU Coding T CB Coding B CU Coding U CLI Comman interface vii DANH MỤC HÌNH ẢNH Hình 1.1: Sơ đồ khối codec DPCM xử lý video Hình 1.2 Biểu diễn lượng tử Hình 1.3 Biểu diễn lượng UTQ (a) UTQ-DZ (b) _ Hình 1.4 (a) Sự khác biệt khung hình thời trước đó; (b) Ảnh sau bù chuyển động _ Hình 1.5 Vùng tìm vector chuyển động macro block thời 10 Hình 1.6 Sơ đồ nguyên lý tổng quát mã hóa video _ 12 Hình 1.7 Sơ đồ giải mã hóa tín hiệu video 15 Hình 2.1 So sánh chuẩn video H.264 H.265 17 Hình 2.2 Hiệu mã hóa tablet Qualcom _ 18 Hình 2.3 Sơ đồ khối mã hóa HEVC 19 Hình 2.4 Cấu trúc CTU 21 Hình 2.5 Cấu trúc CTB 22 Hình 2.6 Cấu trúc CTB chia nhỏ _ 23 Hình 2.7 Cấu trúc PB 24 Hình 2.8 Cấu trúc TB 24 Hình 2.9 Chế độ chia tách CB thành PBs 27 Hình 2.10 Chia nhỏ CTB thành CB, TB 29 Hình 2.11 Chia nhỏ ảnh thành mảng (a) tile (b) 30 Minh họa trình xử lý song song wavefront (c) _ 30 Hình 2.12 Các chế độ hướng cho dự đốn hình ảnh _ 31 Hình 2.13 Vị trí lấy mẫu số ngun phân đoạn cho phép nội suy thành phần chói _ 35 Hình 2.14 Ba chế phương pháp quét hệ số HEVC _ 39 Hình 2.15 Bốn dạng gradient sử dụng SAO 41 Hình 2.16 Dự đoán bù chuyển động chiều hai chiều 46 Hình 2.17 GOP tĩnh GOP biến đổi _ 47 Hình 2.18 Cấu trúc GOP phân cấp thích ứng 49 60 Các phân cụm (Cluster builders) WEKA tương ứng với mơ hình tìm nhóm ví dụ tương tự tập liệu Các kỹ thuật phân cụm hỗ trợ WEKA bao gồm: Expectation maximization (EM), k-Means, … Các kỹ thuật phân cụm hiển thị kết so sánh với cụm thực tế Hình 2.27 Giao diện lựa chọn chức Cluster Sau lựa chọn phân cụm, khung cửa sổ Cluster mode có lựa chọn: - Use training set: Các cụm học kiểm tra tập học - Supplied test set: Sử dụng tập liệu khác để kiểm tra cụm học - Percentage split: Chỉ định tỷ lệ phân chia tập liệu ban đầu cho việc xây dựng tập kiểm tra - Classes to clusters evaluation: So sánh độ xác cụm học lớp định 61 Lựa chọn Store clusters for visualization dùng để lưu lại phân lớp nhớ để hiển thị sau Ignore attributes dùng để lựa chọn thuộc tính khơng tham gia vào q trình học cụm Hình 2.28 Giao diện lựa chọn chức Associate Associate có chức khám phá luật kết hợp từ liệu Tại cửa sổ này, lựa chọn mô hình phát luật kết hợp từ nút Choose Khung cửa sổ Associator output hiển thị thông tin quan trọng bao gồm: - Run information: Các tùy chọn mơ hình phát luật kết hợp, tên tập liệu, số lượng ví dụ, thuộc tính - Associator model (full training set): Biểu diễn (dạng text) tập luật kết hợp phát Select attributes có chức xác định lựa chọn thuộc tính liên quan liệu, đó: - Attribute Evaluator: Để xác định phương pháp đánh giá mức độ phù hợp thuộc tính, ví dụ như: correlation-based, wrapper, information gain, chi- squared - Search Method: Để xác định phương pháp (thứ tự) xét thuộc tính, ví dụ như: best-first, random, exhaustive, ranking,… 62 Hình 2.29 Giao diện lựa chọn chức Select attributes Visualize có chức hiển thị biểu đồ tương tác chiều liệu giúp để xác định mức độ khó khăn tốn học WEKA thị: Mỗi thuộc tính riêng lẻ (1-D visualization), Một cặp thuộc tính (2-D visualization) Các giá trị (các nhãn) lớp khác hiển thị màu khác Thanh trượt Jitter hỗ trợ việc hiển thị rõ ràng hơn, có nhiều ví dụ (điểm) tập trung xung quanh vị trí biểu đồ Tính phóng to/thu nhỏ (bằng cách tăng/giảm giá trị PlotSize PointSize.) 63 Hình 2.30 Giao diện lựa chọn chức Visualize Kết luận chương Trong chương này, đề tài trình bày nội dung chuẩn mã hóa video HEVC; thuật tốn mã hóa, giải mã hóa bản; kỹ thuật mã hóa video theo GOP, kỹ thuật biến đổi kích thước GOP theo nội dung video, từ đề xuất phương pháp mã hóa video với GOP biến đổi theo nội dung video sử dụng kỹ thuật học máy tiến tiến Trong mã hóa video theo GOP, kích thước GOP yếu tố then chốt ảnh hưởng đến khả cân băng chất lượng video sau mã hóa hiệu mã hóa thuật toán giá trị thường cố định mã hóa Khi đó, chọn kích thước GOP dài để đạt tỷ lệ mã hóa cao phải trả giá việc suy giảm chất lượng video, đặc biệt video có mức độ phức tạp tốc độ cao, ngược lại với việc cải thiện chất lượng video sau mã hóa độ dài GOP 64 cần rút ngắn lại Việc tối ưu kích thước GOP biến đổi theo nội dung video bước tiến lớn ngành công nghiệp mã hóa video Trong chương này, đề tài giới thiệu công cụ xử lý liệu học máy WEKA sử dụng để mô hiệu thuật tốn chương 65 CHƯƠNG 3: MƠ PHỎNG ĐÁNH GIÁ HIỆU NĂNG THUẬT TỐN 3.1 Các bước mơ Bước 1: Tạo liệu Trong bước này, 10 đoạn video cắt thành GOP Các GOP trích trọn đặc trưng đề cập mục 2.5.2 (a) Đồng thời, GOP đưa vào mã hóa H.265 để mã hóa giải mã Với kết đầu giải mã, PSNR GOP tính Giả sử ta có tập liệu frame 1,2,3,4 chuỗi Akiyo sau: {SAD, DoH, AMV, NMV , ASV, ASM, DCV, DCM, ACV, ACM} = {110047, 2831, 1435, 300, 50609, 4254, 821,790, 600,4320} Với frame mã hóa H.265 lần, lần với kích thước GOP = 4, lần với kích thước GOP = (Chia frame thành GOP) Với lần mã hóa, ta có giá trị PSNR tương ứng trường hợp 30 dB 32 dB Như vậy, kết cho thấy mã hóa frame với độ dài GOP = cho chất lượng tốt Vì frame mã hóa với GOP = Như vậy, liệu đặc trưng phân loại GOP2 Tương tự với đoạn frame khác 10 video clip, ta có tập liệu phân làm lớp: GOP2 GOP4 Bước 2: Training Với tập liệu sau phân loại bước 1, ta đưa tập liệu vào học máy thuật toán J48 với 80% liệu dùng để học 20% liệu dùng để kiểm chứng Bước 3: Kiểm tra Để kiểm tra thuật toán đề xuất, bốn chuỗi video sử dụng để đánh giá bao gồm Coastguard, Suzie, Pamphlet Harbor với tham số tóm tắt bảng 3.1 Khung hình bốn chuỗi video hiển thị hình 3.1 66 Test sequences Coastguard Suzie Pamphlet Harbour Hình 3.1 Chuỗi Video thử nghiệm 3.2 Phân tích kết mơ Để đánh giá thuật toán đề xuất, số BD-PSNR (Bjntegaard-Delta PSRN) sử dụng để so sánh, với BD-PSNR để cung cấp độ lợi tương đối hai phương pháp, cách đo khác biệt trung bình hai đường cong đánh giá tỷ lệ sai lệch RD (RD – Rate-Distortion) với đường cong RD chọn làm đường cong sở Nếu BD-PSNR dương, có nghĩa đường cong thứ hai tốt đường cong sở Trong đánh giá này, đường cong RD GOP4 phương pháp đề xuất có tên Adaptive GOP so sánh với đường cong sở GOP2 67 Kết đánh giá hiệu tỷ lệ sai lệch RD cho bốn chuối video thử nghiệm trình bày bảng 3.2 Hình 3.1 So sánh hiệu GOP 2, GOP 4, Adaptive GOP Hình 3.2 So sánh hiệu GOP 2, GOP 4, Adaptive GOP Hình 3.3 So sánh hiệu GOP 2, GOP 4, Adaptive GOP Hình 3.4 So sánh hiệu GOP 2, GOP 4, Adaptive GOP Theo kết biểu diễn bảng 3.2, giá trị PSNR phương pháp đề xuất tốt giá trị GOP tương đương với giá trị GOP2 Giá trị bitrate phương pháp đề xuất cao giá trị GOP4 thấp giá trị GOP2 Do đó, việc lựa chọn GOP2 GOP4 phụ thuộc vào cân PSNR Bitrate Kết cho thấy mức độ suy giảm chất lượng video (về giá trị PSNR) phương pháp đề xuất không đáng kể tiết kiệm nhiều bitrate Bảng 3.2 cho thấy khả tối ưu bitrate phương pháp đề xuất 3,37% 9,62% so với GOP2 GOP4, tương ứng 68 Hình 3.1, 3.2, 3.3 3.4 mơ tả kết hiệu phương pháp đề xuất với phương pháp sử dụng toàn GOP toàn GOP Hình 3.3 đường cong RD (Rate – Distortion) phương pháp đề xuất cao hai phương pháp cịn lại Hình 3.1, 3.2 phương pháp đề xuất cho chất lượng video tương đương với phương pháp GOP = 2, hình 3.4 phương pháp đề xuất tương đương với GOP cao GOP Như vậy, với việc áp dụng mơ hình học máy, ta ln chọn độ dài GOP phù hợp kết chất lượng Video đầu cao Sequence Coastguard Average Suzie Average Pamphlet Average Harbour Average 69 3.3 Kết luận chương Trong chương này, tác giả xây dựng mơ hình mơ thực tế, trình bày bước mơ thuật tốn mã hóa video theo chuẩn HEVC với kích thước GOP thay đổi theo nội dung Đồng thời phân tích, so sánh kết thu để từ đánh giá hiệu thuật toán 70 KẾT LUẬN VÀ KIẾN NGHỊ Bên cạnh kiến thức mã hóa giải mã hóa video làm tảng sở cho việc nghiên cứu lĩnh vực âm hình ảnh, đề tài nghiên cứu đánh giá tường minh ảnh hưởng GOP đến chất lượng hiệu thuật toán mã hóa video, từ thấy quan trọng việc điều chỉnh kích thước GOP phù hợp việc tối ưu cân hiệu mã hóa chất lượng video Giải vấn đề tối ưu khả mã hóa cho nhiều loại video với đặc tính chuyển động phức tạp khác mã hóa, điều mà thuật tốn mã hóa khơng làm kích thước GOP thông thường ấn định giá trị suốt q trình mã hóa Trên sở này, đề xuất phương pháp mã hóa với GOP thích ứng hay GOP với kích thước biến đổi theo nội dung video sử dụng kỹ thuật học máy Kiến trúc mã hóa đề xuất xây dựng tảng mã hóa HEVC bản, cải tiến cách kết hợp thành phần điều khiển cấu hình GOP hoạt động nguyên lý trích chọn đặc trưng dựa vào phương pháp học máy để đưa định kích thước GOP phù hợp Hồn thành mơ phỏng, đánh giá hiệu kiến trúc mã hóa đề xuất dựa công cụ xây dựng sẵn Mathlab chương trình mơ hệ tư vấn WEKA Trong trình làm đề tài, trình bày báo cáo tác giả cố gắng đưa đầy đủ thông tin, thuyết minh khoa học Tuy nhiên thời gian trình độ cịn hạn chế, luận văn khơng tránh khỏi thiếu xót Tác giả mong muốn nhận góp ý để đề tài hoàn thiện mạng lại giá trị thiết thực sống Và có điều kiện nghiên cứu tiếp, tác giả nghiên cứu chuyên sâu nhằm đề xuất thuật tốn mã hóa video kỹ thuật tạo GOP thích ứng xử lý phương pháp học máy tối ưu để trích chọn đặc trưng GOP tốt nhằm đem lại hiệu xử lý cao xác Tác giả xin chân thành cảm ơn TS Vũ Hữu Tiến, thầy cô khoa Hệ thống Thông tin tận tình giúp đỡ hỗ trợ tác giả hồn thành luận văn Xin trân trọng cảm ơn!./ 71 DANH MỤC CÁC TÀI LIỆU THAM KHẢO [1] Bruno Zatt, Marcelo Porto, Jacob Scharcanski, Sergio Bampi, (2010), “Gop Structure Adaptive to the Video Content for Efficient H.264/ACV Encoding”, Proceedings of 2010 IEEE 17th International Conference on Image Processing [2] G J Sullivan, J R Ohm, W J Han, and T Wiegand, "Overview of the High Efficiency Video Coding (HEVC) standard," IEEE Transactions on Circuits and Systems for Video Technology, vol 22, no 12, pp 1649-1668, Dec 2012 [3] G Tech, Y Chen, K Müller, J.-R Ohm, A Vetro, and Y.-K Wang, "Overview of the Multiview and 3D Extensions of High Efficiency Video Coding", IEEE Transactions on Circuits and Systems for Video Technology , Vol 26, Issue 1, pp 35-49, Sept 2015 [4] High Efficiency Video Coding, Rec ITU-T H.265 and ISO/IEC 23008-2, Jan 2013 [5] Jill M Boyce, Yan Ye, Jianle Chen, and Adarsh K Ramasubramonian, "Overview of SHVC: Scalable Extensions of the High Efficiency Video Coding Standard", IEEE Transactions on Circuits and Systems for Video Technology, vol 26, no 1, pp.20-34, Jan 2006 [6] K DinhQuoc, X HoangVan, and B Jeon, “An Iterative Algorithm for Efficient Adaptive GOP Size in Transform Domain Wyner-Ziv Video Coding,” Lecture Note in Computer Science, vol.7088, pp.348-358, 2011 [7] Mohammed Ghanbari, (2011), “Standard Codecs Image Compression to Asdvanced Video Coding”, The Institution of Engineering and Technology, Herts, SG1 2AY, United Kingdom [8] Thao Nguyen Thi Huong, Huy Phi Cong, Tien Vu Huu, Xiem Hoang Van, (2018), “Artificial Intelligence Based Adaptive GOP Size Selection for 72 Effective Wyner-Ziv Video Coding”, International Conference on Advanced Technologies for Communications [9] T Wiegand, G J Sullivan, G Bjontegaard, and A Luthra, "Overview of the H.264/AVC Video Coding Standard," IEEE Transactions on Circuits and Systems for Video Technology, vol 13, no 7, pp 560-576, Jul 2003 [10] Ulil S Zulpratita, (2013), “GOP Length Effect Analysis on H.264/AVC Video Streaming Transmission Quality over LTE Network”, International Conference on Computer Science and Information Technology, 3rd ... THƯỚC NHĨM KHUNG HÌNH THAY ĐỔI THEO NỘI DUNG 2.1 Chuẩn video HEVC 2.1.1Những điểm nộ 2.1.2Các kỹ thuật mã 2.2Các thuật toán mã hóa, giải mã hóa 2. 3Mã hóa video theo nhóm ảnh... VIDEO THEO CHUẨN HEVC VỚI KÍCH THƯỚC NHĨM KHUNG HÌNH THAY ĐỔI THEO NỘI DUNG 2.1 Chuẩn video HEVC H.265 /HEVC chuẩn mã hóa video hồn tồn với tên gọi đầy đủ High Efficiency Video Coding (HEVC) Hiệp hội... Huyền NGHIÊN CỨU THUẬT TỐN MÃ HĨA VIDEO THEO CHUẨN HEVC VỚI KÍCH THƯỚC NHĨM KHUNG HÌNH THAY ĐỔI THEO NỘI DUNG Chuyên ngành: HỆ THỐNG THÔNG TIN Mã số: 8.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo