Đang tải... (xem toàn văn)
ĐỒ ÁN HEVC MỞ ĐẦUNhững tiến bộ trong kĩ thuật nén Video đã giúp chúng ta truyền tải được nhiều điểm ảnh hơn thông qua các kênh bị hạn chế về băng thông và đóng góp một phần không nhỏ trong quá trình phát triển nhanh chóng của những công nghệ sử dụng video. Với việc chúng ta ngày càng đạt được hiệu quả mã hóa video cao hơn, các ứng dụng phân giải cao và tinh vi cũng ngày càng phổ biến rộng rãi hơn. Tiêu chuẩn mã hóa video hiệu suất cao H265 hay còn được gọi là HEVC đã ra đời vào tháng 1 năm 2013 và đã đưa ra rất nhiều cải tiến so với những tiêu chuẩn mã hóa Video trước đó. HEVC không những cải thiện được hiệu suất mã hóa so với người tiền nhiệm H264 mà HEVC còn cung cấp những tính năng khác như giải quyết được những yêu cầu về công suất và thông lượng cho các ứng dụng video hiện tại và cả trong tương lai. Mặc dù hiện nay HEVC vẫn là một công nghệ mới và còn chưa được áp dụng rộng rãi, tuy nhiên với những ưu điểm của mình, chắc chắn HEVC sẽ ngày càng phổ biến và được áp dụng trong những ứng dụng giải trí video trong tương lai.Đồ án này sẽ mô tả về cấu trúc cũng như những thuật toán được sử dụng trong tiêu chuẩn HEVC. Đồ án sẽ bao gồm 3 chương:Chương 1: Giới thiệu về chuẩn mã hóa video HEVCChương 2: Các kĩ thuật được sử dụng trong HEVCChương 3: Cấu trúc phần cứng bộ giải mã và bộ mã hóa HEVCBằng sự nghiên cứu của bản thân và sự giúp đỡ của thầy giáo Tiến Sĩ Nguyễn Trung Tấn, Trung Tâm Kĩ Thuật Viễn Thông, Khoa Vô Tuyến Điện Tử, Học VIện Kĩ thuật Quân sự em đã hoàn thành đồ án đúng thời hạn. Do thời gian làm đồ án có hạn và trình độ còn nhiều hạn chế nên sẽ không thể tránh khỏi những thiếu sót. Em rất mong sẽ nhận được sự đóng góp của thầy cô cũng như các bạn học viên khác để hoàn thiện thêm đồ án này. Em xin chân thành cảm ơn thầy giáo Tiến Sĩ Nguyễn Trung Tấn cùng các thầy cô khác trong khoa Vô Tuyến Điện Tử, các bạn học viên lớp CHKTDTK26A, trường Học viện Kĩ thuật Quân sự đã tạo điều kiện giúp đỡ em trong thời gian qua.Hà Nội, Ngày.....Tháng.....Năm 2106 Học viên thực hiện Ngô Anh MinhCHƯƠNG 1GIỚI THIỆU VỀ CHUẨN MÃ HÓA HEVC1.1. Tổng quan về kĩ thuật mã hóa video1.1.1. Nhu cầu thực tế của các kĩ thuật mã hóa videoNgày nay, nhu cầu truyền tải và lưu trữ video ngày càng trở nên phổ biến hơn trong xã hội. Trước đây, nếu chúng ta đã hài lòng với việc xem những video có độ phân giải 720p hay 1080p thì hiện nay nhu cầu đó càng tăng lên với sự xuất hiện của các chuẩn video 2K, 4K và thậm chí là 8K. Tuy nhiên chất lượng hình ảnh càng cao thì yêu cầu về dung lượng lưu trữ cũng như khả năng truyền tải hình ảnh cũng tăng theo. Vì vậy để thuận tiện cho việc lưu trữ và truyền tải hình ảnh, các kĩ thuật nén video ra đời. Có rất nhiều cách để nén video, nhưng thông thường cách phổ biến nhất đó chính là làm giảm chất lượng hình ảnh xuốngmức chấp nhận được để làm giảm dung lượng video. Các kĩ thuật nén video tiên tiến hiện nay sử dụng các kĩ thuật mã hóa hiện đại để làm giảm phần dư trong dữ liệu video. Hình 1.1. Mô hình mã hóa Video1.1.2. Lịch sử phát triển của kĩ thuật mã hóa videoBắt đầu kể từ những năm 1990, sự phát triển các tiêu chuẩn mã hóa video đã được chia thành hai nhánh song song bao gồm: liên lạc video thời gian thực và phân phối hoặc phát sóng các nội dung video. Vào năm 1984, tiêu chuẩn mã hóa video số đầu tiên đã được công bố dưới cái tên ITUT H.120 “Bộ mã hóa và giải mã cho hội nghị truyền hình sử dụng truyền dẫn nhóm số sơ cấp”. Nó được thiết kế cho các ứng dụng hội nghị truyền hình ở tiêu chuẩn SD với tốc độ bit vào khoảng 1.52 Mbits nhưng nó vẫn chưa đạt được các tiêu chí cần thiết để áp dụng cho các ứng dụng phát sóng khác. Các khái niệm cơ bản bao gồm cấu trúc mã hóa DPCM và “bổ sung có điều kiện”, với nội dung từ hình ảnh trước đó được sao chép tới hình ảnh hiện tại trừ trường hợp nội dung khác nhau quá nhiều. Các bảng mã chiều dài thay đổi (VLC) được sử dụng để mã hóa các phần tử cú pháp. Mặc dù không được sử dụng nhiều nhưng H.120 vẫn còn tồn tại trong một số ứng dụng cho tới ngày hôm nay.
1 MỞ ĐẦU Những tiến kĩ thuật nén Video giúp truyền tải nhiều điểm ảnh thông qua kênh bị hạn chế băng thơng đóng góp phần khơng nhỏ q trình phát triển nhanh chóng cơng nghệ sử dụng video Với việc ngày đạt hiệu mã hóa video cao hơn, ứng dụng phân giải cao tinh vi ngày phổ biến rộng rãi Tiêu chuẩn mã hóa video hiệu suất cao H265 hay gọi HEVC đời vào tháng năm 2013 đưa nhiều cải tiến so với tiêu chuẩn mã hóa Video trước HEVC khơng cải thiện hiệu suất mã hóa so với người tiền nhiệm H264 mà HEVC cịn cung cấp tính khác giải yêu cầu công suất thông lượng cho ứng dụng video tương lai Mặc dù HEVC cơng nghệ cịn chưa áp dụng rộng rãi, nhiên với ưu điểm mình, chắn HEVC ngày phổ biến áp dụng ứng dụng giải trí video tương lai Đồ án mơ tả cấu trúc thuật toán sử dụng tiêu chuẩn HEVC Đồ án bao gồm chương: Chương 1: Giới thiệu chuẩn mã hóa video HEVC Chương 2: Các kĩ thuật sử dụng HEVC Chương 3: Cấu trúc phần cứng giải mã mã hóa HEVC Bằng nghiên cứu thân giúp đỡ thầy giáo Tiến Sĩ Nguyễn Trung Tấn, Trung Tâm Kĩ Thuật Viễn Thông, Khoa Vô Tuyến Điện Tử, Học VIện Kĩ thuật Quân em hoàn thành đồ án thời hạn Do thời gian làm đồ án có hạn trình độ cịn nhiều hạn chế nên khơng thể tránh khỏi thiếu sót Em mong nhận đóng góp thầy bạn học viên khác để hoàn thiện thêm đồ án Em xin chân thành cảm ơn thầy giáo Tiến Sĩ Nguyễn Trung Tấn thầy cô khác khoa Vô Tuyến Điện Tử, bạn học viên lớp CHKTDTK26A, trường Học viện Kĩ thuật Quân tạo điều kiện giúp đỡ em thời gian qua Hà Nội, Ngày Tháng Năm 2106 Học viên thực Ngô Anh Minh CHƯƠNG GIỚI THIỆU VỀ CHUẨN MÃ HÓA HEVC 1.1 Tổng quan kĩ thuật mã hóa video 1.1.1 Nhu cầu thực tế kĩ thuật mã hóa video Ngày nay, nhu cầu truyền tải lưu trữ video ngày trở nên phổ biến xã hội Trước đây, hài lịng với việc xem video có độ phân giải 720p hay 1080p nhu cầu tăng lên với xuất chuẩn video 2K, 4K chí 8K Tuy nhiên chất lượng hình ảnh cao yêu cầu dung lượng lưu trữ khả truyền tải hình ảnh tăng theo Vì để thuận tiện cho việc lưu trữ truyền tải hình ảnh, kĩ thuật nén video đời Có nhiều cách để nén video, thông thường cách phổ biến làm giảm chất lượng hình ảnh xuốngmức chấp nhận để làm giảm dung lượng video Các kĩ thuật nén video tiên tiến sử dụng kĩ thuật mã hóa làm giảm phần dư liệu video Hình 1.1 Mơ hình mã hóa Video 1.1.2 Lịch sử phát triển kĩ thuật mã hóa video Bắt đầu kể từ năm 1990, phát triển tiêu chuẩn mã hóa video chia thành hai nhánh song song bao gồm: liên lạc video thời gian thực phân phối phát sóng nội dung video Vào năm 1984, tiêu chuẩn mã hóa video số công bố tên ITU-T H.120 “Bộ mã hóa giải mã cho hội nghị truyền hình sử dụng truyền dẫn nhóm số sơ cấp” Nó thiết kế cho ứng dụng hội nghị truyền hình tiêu chuẩn SD với tốc độ bit vào khoảng 1.5-2 Mbit/s chưa đạt tiêu chí cần thiết để áp dụng cho ứng dụng phát sóng khác Các khái niệm bao gồm cấu trúc mã hóa DPCM “bổ sung có điều kiện”, với nội dung từ hình ảnh trước chép tới hình ảnh trừ trường hợp nội dung khác nhiều Các bảng mã chiều dài thay đổi (VLC) sử dụng để mã hóa phần tử cú pháp Mặc dù không sử dụng nhiều H.120 tồn số ứng dụng ngày hơm Sau tiêu chuẩn mã hóa video khác thành cơng đời mang tên ITU-T H.261 “bộ mã hóa giải mã video cho dịch vụ nghe nhìn p x 64 kbit/s” H.261 ban hành vào năm 1988 thiết kế để vận hành ISDN với tốc độ khoảng 40 kbit/s tới Mbits/s So với H.120, cung cấp hiệu suất mã hóa cải thiện hỗ trợ nhiều tốc độ bit H.261 tiêu chuẩn mã hóa video dựa kế hoạch mã hóa video lai Nó bao gồm khối sở tồn tiêu chuẩn mã hóa video thành cơng Phần lớn cải thiện hiệu suất nén H.261 so với H.120 dự đoán bù chuyển động thực độ xác mẫu Song song với q trình phát triển ITU-T H.261, nhóm chuyên gia ảnh động MPEG bắt đầu q trình phát triển tiêu chuẩn mã hóa video cho việc phân bố quảng bá video Vào 1993, MPEG-1 “Cơng nghệ thơng tin – mã hóa hình ảnh động âm kèm cho phương tiện lưu trữ số lên tới 1.5 Mbit/s – Phần 2: Video” (ISO/IEC 11172-2) phát hành Lõi công nghệ tiêu chuẩn dựa kế hoạch mã hóa lai tương tự với H.261, MPEG-1 thiết kế để giải cần thiết việc phân phối thay liên lạc video Ngồi cơng cụ giới thiệu ITU-T H.261, tiêu chuẩn thêm vào kĩ thuật bù chuyển động song hướng độ xác bán mẫu cho bù chuyển động Nó bao gồm kì vọng để kích hoạt tìm kiếm thuận/ngược nhanh dịng video Chất lượng hình ảnh giải mã tốc độ bit cao đạt tiêu cho băng VHS thời MPEG-1 phát triển xa thành MPEG-2 “Cơng nghệ thơng tin – Mã hóa chung cho hình ảnh động âm kèm – Phần 2: Video”, phát hành vào năm 1995 Phần mở rộng chủ yếu MPEG-2 hỗ trợ mã hóa phần tử video xen kẽ Nhờ đó, mã hóa số truyền hình SD hỗ trợ tốt Ngồi ra, MPEG-2 cịn tiêu chuẩn mã hóa video chứa công cụ cho khả mở rộng khơng gian tái tạo Ngồi MPEG-2 phát hành ITU với tên gọi H.262 đó, coi tiêu chuẩn mã hóa video chung hai tổ chức tiêu chuẩn hóa ITU-T MPEG Vào 1996, ITU-T phát hành H.263 “Mã hóa video cho truyền thơng tốc độ bit thấp” H.263 thiết kế cho ứng dụng hội nghị truyền hình với tốc độ bit cực thấp vượt trội hẳn tất tiêu chuẩn mã hóa video trước đo giới thiệu cơng cụ mã hóa nâng cao thiết kế VLC cải thiện Trong vài năm, H.263 mở rộng thành H.263+ H.263+ + giới thiệu tập hợp lớn cơng cụ mã hóa tăng cường hiệu hoạt động hiệu suất nén khả chống lỗi, phân mảnh liệu Song song với việc ITU-T phát triển xa H.263, MPEG phát triển MPEG-4 “Cơng nghệ thơng tin – mã hóa đối tượng âm thanh–thị giác – Phần 2: Thị giác” Tiêu chuẩn nhắm tới việc trở thành tiêu chuẩn đa phương tiện tích hợp tổng quát phiên cơng bố vào năm 1999 Để biểu diễn thông tin thị giác, tiêu chuẩn bao gồm việc mã hóa video có dạng chữ nhật thơng thường các hình ảnh tĩnh Sau này, cịn hỗ trợ cho việc mã hóa đối tượng có hình dạng nội dung tổng hợp Các ban mở rộng sau MPEG-4 cịn thêm vào bù chuyển động tồn thể độ xác chuyển động phần tư mẫu với lọc nội suy cải thiện Cùng gia tăng nội dung video qua Internet, tiêu chuẩn mã hóa video với hiệu suất nén cao cần nghiên cứu tiêu chuẩn “Mã hóa video tiên tiến” H.264 đời vào năm 2003 Đây tiêu chuẩn mã hóa có hiệu suất nén cao trở thành cơng cụ mã hóa video rộn rãi giới thời điểm Vào năm 2010, báo cáo cho thấy tới 66% số lượng video xem trang web mã hóa với H.264 Hình 1.2 Lịch sử phát triển tiêu chuẩn mã hóa video Ngày nay, với phổ biến nội dung video định dạng HD UHD, chuẩn H.264 khơng cịn đáp ứng đủ với nhu cầu người sử dung Do đó, chuẩn mã hóa video H.265 hay cịn gọi HEVC (High Efficiency Video Coding – Mã hóa video hiệu suất cao) đời Đây kế thừa nâng cấp giao thức mã hóa video tiên tiến H264 So với H264 H265/HEVC cung cấp chất lượng video với tốc độ bit nửa HEVC thích nghi nhanh với đa diện, đa hội nghị nhiều ứng dụng video có độ phân giải cao cao khác Mặc dù nhà sản xuất dè dặt sử dụng HEVC chắn HEVC nhanh chóng trở thành giao thức nén video phổ biến tương lai 1.2 Giới thiệu chuẩn mã hóa video HEVC 1.2.1 Lịch sử đời phát triển HEVC Tiêu chuẩn mã hóa video HEVC đúc kết kinh nghiệm mã hóa video bốn thập kỉ nghiên cứu ba thập kỉ tiêu chuẩn hóa quốc tế nhiều tổ chức giới Năm 2004, nhóm chuyên gia mã hóa video (VCEG) ITU-T bắt đầu nghiên cứu công nghệ tiên tiến tạo chuẩn nén video Vào tháng 10 năm 2004, vài kĩ thuật khác để cải thiện cho chuẩn H.264 khảo sát Vào tháng năm 2005, họp VCEG, VCEG bắt đầu thiết kế chủ để có tên “Những vùng kĩ thuật trọng yếu” (KTA) để nghiên cứu sâu vấn đề Một phần mềm mã mang tên mã KTA thiết lập để đánh giá đề xuất Phần mềm KTA dựa theo phần mềm tham chiếu mơ hình chung (JM) mà phát triển đội phát triển video chung MPEG VCEG cho H.264 Rất nhiều công nghệ đề xuất bổ sung tích hợp vào phần mềm KTA thử nghiệm nhiều lần bốn năm MPEG VCEG thành lập nhóm hợp tác chung mã hóa video (JCT-VC) để phát triển tiêu chuẩn HEVC Mục tiêu nghiên cứu tạo tiêu chuẩn nén video hoàn toàn tạo phần mở rộng cho H264 Ban đầu dự án có tên H.265 H.NGVC sau đổi tên thành HEVC vào năm 2010 Yêu cầu NGVC khả giảm tốc độ bit so 50% có chất lượng hình ảnh tương đường với H.264 với độ phức tạp tính tốn phạm vi từ 0.5 tới lần Tức NGVC làm giảm tốc độ bit 25% với độ phức tạp tính tốn giảm 50% nhiên nhận hình ảnh với chất lượng tương đương H264 tốc độ bit giảm nhiều với độ phức tạp tăng lên chút Nhóm chuyên gia ảnh động ISO/IEC bắt đầu dự án tương tự vào 2007 đặt tên dự án mã hóa video hiệu cao Vào tháng 7/2007, chuyên gia trí mục tiêu dự án làm giảm tốc độ bit 50% so với tiêu chuẩn trước AVC Các tính tốn ban đầu thực với vài chỉnh sửa mã hóa phần mềm tham chiếu KTA VCEG Vào tháng 7/2009, kết thử nghiệm cho thấy độ giảm tốc độ bit 20% so với AVC kết động lực để MPEG hợp tác với VCEG q trình hồn thiện tiêu chuẩn HEVC Vào tháng năm 2010, kêu gọi xuất công nghệ nén video đề VCEG MPEG Tính tới tháng năm 2010 có tổng cộng 27 đề xuất hồn chỉnh đệ trình Các đánh giá cho thấy vài đề xuất đạt chất lượng video tương đương AVC với tốc độ bit giảm nửa nhiều trường hợp thử nghiệm, với giá phải trả độ phức tạp tính tốn tăng từ hai tới mười lần Một vài đề xuất khác lại đạt kết chất lượng chủ quan tốc độ bit tốt với độ phức tạp tính tốn thấp so với phần mềm mã hóa tham chiếu AVC Tại họp tên HEVC thức lựa chọn Vào họp thứ vào tháng 10 năm 2010 nhiều cơng cụ mã hóa cấu hình cho HEVC thơng qua Vào 25/01/2013, ITU thông báo HEVC bước đầu thông qua q trình thơng qua thay (APP) ITU-T Vào 13/04/2013 HEVC/H.265 chấp thuận tiêu chuẩn ITU-T Tiêu chuẩn sau thức phát hành ITU-T vào 07/06/2013 ISO/IEC vào 25/11/2013 Vào 11/07/2014, MPEG thông báo ấn thứ HEVC bao gồm ba phần mở rộng hoàn chỉnh phần mở rộng đa điểm, phần mở rộng phạm vi phần mở rộng quy mô Vào 29/10/2014 phiên HEVC/H.265 chấp thuận tiêu chuẩn ITU-T Sau phát hành thức vào 12/01/2015 Vào 29/04/2015, phiên thứ HEVC/ H.265 chấp thuận tiêu chuẩn ITU-T Hình 1.3 Lịch sử phát triển HEVC 1.2.2 Cấu trúc khối HEVC Chuẩn HEVC thiết kế dựa nguyên tắc mã hóa video lai dựa sở chia khối Theo nguyên tắc này, trước hết hình ảnh phân chia thành khối sau khối dự đốn cách sử dụng dự đốn nội hình ảnh dự đốn liên hình ảnh Trong phương pháp trước sử dụng mẫu giải mã hình ảnh làm mẫu tham chiếu HEVC sử dụng khối chuyển vị hình ảnh giải mã làm mẫu tham chiếu Dự đốn liên hình ảnh thường sử dụng để bù cho chuyển động đối tượng thế giới thực hình ảnh chuỗi video, gọi dự đốn bù chuyển động Trong dự đốn nội hình ảnh khai thác độ dư thừa không gian khối lân 10 cận ảnh, dự đoán bù chuyển động sử dụng số lượng lớn độ dư thừa thời gian hình ảnh Trong hai trường hợp, lỗi dự đốn kết mà hình thành việc so khác biệt khối ban đầu khối dự đoán truyền cách sử dụng mã hóa biến đổi Mã hóa biến đổi khai thác độ dư thừa không gian bên khối bao gồm biến đổi tuyến tính giải tương quan, lượng tử hóa vơ hướng hệ số biến đổi mã hóa entropy mức hệ số chuyển đổi kết Hình 1.4 Sơ đồ khối mã hóa HEVC với giải mã kèm Hiệu mã hóa mà chuẩn mã hóa video lai đạt phụ thuộc vào vài khía cạnh thiết kế sử dụng lọc nội suy cho nội suy mẫu con, hiệu mã hóa entropy kĩ thuật lọc lặp vòng Tuy nhiên sở cho việc cải tiến từ hệ sang hệ khác thường việc tăng số lượng khả hỗ trợ cho mã hóa hình ảnh hay khối mẫu Điều bao gồm tăng độ xác vector chuyển động, 81 lọc vòng lặp (các lọc giải khối SAO) Lưu ý lõi tái tạo chia sẻ phần cứng với lõi dự đoán, lấy kết từ lõi dự đốn Nó khơng cần thêm chi phí bỏ sung đáng kể mã hóa độc lập Cuối cùng, lõi dịng bit thực mã hóa entropy ghi dịng bit cuối Trong HEVC, mã hóa entropy mã hóa số học nhị phân thích nghi theo thuộc tính (CABAC) Lưu ý tham số SAO cần mã hóa dịng bit việc xác định tham số SAO cần hồn thành trước giai đoạn mã hóa CABAC 3.2.3 Liên dự đoán Trong liên dự đoán, phần dư thời gian giảm xuống thông qua ước lượng chuyển động Ước lượng chuyển động so sánh đơn vị dự đốn (PU) với PU lân cận khơng gian khung tham chiếu, chọn có khác biệt với PU Sự thay PU PU tương hợp khung tham chiếu báo hiệu sử dụng vector chuyển động Sự khác biệt pixel PU PU tương hợp khung tham chiếu tạo lỗi dự đoán (con gọi phần dư), mà biến đổi lượng tử hóa mã hóa dịng bit 82 Hình 3.9 Cấu trúc liên dự đoán HEVC So sánh với H264, liên dự đốn HEVC có ba khác biệt chính: (1) đa dạng lớn kích thước khối, (2) định chế độ phức tạp cao cần thiết để đạt đủ độ lợi mã hóa, (3) lọc nội suy pixel dài Trong HEVC, kích thước PU phạm vi từ 4x8/8x4 tới 64x64 Độ phức tạp tính tốn cho việc định phân vùng khối tốt tăng lên đáng kể Để chọn xác chế độ tốt số lượng lớn chế độ có thể, RDO đầy đủ mà tạo gia độ méo ước lượng bit xác cần áp dụng Điều u cầu chế độ liên dự đốn bảo quản vài chế độ cho giai đoạn HCMD sau HEVC tận dụng lọc bội suy nút cho độ xác nội suy cao so với nút HEVC Do độ phức tạp tính tốn pixel cao Để đối phó với gia tăng phức tạp đó, chế song song cao phần cứng cần thiết Điều cần đạt với chi phí tăng lên vừa phải Ngồi ra, chế song song phần cứng gây băng thông truy cập nhớ cao nhiều Một hệ thống nhớ mà hỗ trợ yêu cầu băng thông cao yêu cầu để làm cho ước lượng chuyển động hoạt động hợp lý Kiến trúc tham chiếu thể hình 3.9 3.2.4 Nội dự đốn Nội dự đốn làm giảm phần dư khơng gian video cách dự đoán từ pixel lân cận quanh PU Các pixel lân cận sử dụng cho dự đốn pixel tái tạo trước So với H264, có hai khác biệt chính: (1) gia tăng số chế độ dự đoán (2) chế độ dự đoán lai nội bộ/liên đới bên CTU Với đầu tiên, có tổng cộng 35 chế độ nội có cho kích thước PU Kích thước PU có phạm vi từ 4x4 tới 64x64 phụ thuộc vào cấu hình mã hóa (với PU 64x64, nội dự đoán thực tế xảy mức 32x32 kích thước biến đổi cực đại 32x32) Độ phức tạp cao nhiều tạo chi phí 83 phần cứng đáng kể Ngồi ra, HEVC cho phép sử dụng CU nội bộ/liên đới Sự phụ thuộc dự đoán PU phức tạp giới hạn chế song song phần cứng Để triển khai phần cứng dự đoán nội bộ, kiến trúc cho dự đoán 4x4 nội với lựa chọn mẫu tham chiếu linh hoạt đề xuất Trong ứng dụng thơng lượng cao,hiệu nội dự đốn câng cải thiện Tại ta áp dụng hai phương pháp Thứ nhất, ta sử dụng tìm kiếm chế độ giảm tải để hạ thấp yêu cầu tính tốn mức thuật tốn Sau sử dụng nội dự đốn vịng lặp mở-đóng lai để loại bỏ phụ thuộc pixel tái tạo cho phép chế song song mức PU 3.2.4.1 Tìm kiếm chế độ giảm tải Phụ thuộc vào cấu hình, kích thước PU nội HEVC có phạm vi từ 4x4 tới 64x64 Với kích thước, hướng dự đốn chọn từ nhiều 35 chế độ Do số lượng lớn chế độ, chi phí tìm kiếm cao Để giảm chi phí, ta đề xuất thuật toán nội dự đoán nhanh, làm giảm 2/3 tổng chế độ ước lượng kích thước PU Chỉ số lượng giới hạn chế độ tìm kiếm với ngân sách thời gian tài nguyên hạn chế Đầu tiên, ta giả sử quỹ tính tốn C Ta tìm chế độ dự đốn tốt quỹ tính tốn C chế độ Nếu chi phí tìm kiếm chế độ đạt giới hạn, tìm kiếm dừng lại Kết tốt lấy làm chế độ dự đoán Để thực tìm kiếm có hiệu quả, ta sử dụng thuật tốn tìm kiếm nhanh hai bước Trong bước đầu tiên, ta thực tìm kiếm thơ Ta tìm kiếm tồn phạm vi hướng với kích thước bước góc /8 Ta nhận chi phí cho chế độ Trong bước thứ hai, tìm kiếm sàng lọc thực chế độ lân cận góc chưa tìm mà quanh chế độ tốt số chế độ tìm bước thứ Chế độ tốt cập nhật sau lần tìm kiếm Sau đó, tìm kiếm tồn diện thực cho chế độ lại quỹ đạt giới hạn Bằng cách sử 84 dụng thuật tốn này, số lượng chế độ tìm kiếm giảm xuống cịn 1/3 tìm kiếm đầy đủ với tốc độ BD tăng không đáng kể Các chế độ PU kích thước 64x64 bị bỏ qua nội dự đốn nhanh Lợi ích từ kích thước PU lớn cho chế độ liên đới Khi kích thước khung tăng lớn hơn, khu vực đối tượng với chuyển động đồng dự đốn tốt mã hóa cách kinh tế với kích thước khối lớn Tuy nhiên, PU kích thước lớn hữu dụng nội Thực tế, PU kích thước 64x64 chọn (ít 1%) Do đó, nội dự đốn kích thước 64x64 khơng quan trọng bị loại bỏ Với loại bỏ nội dự đốn kích thước 64x64, tập hợp bổ sung DCT SRAM cho nội dự đoán kích thước 64x64 tiết kiệm 3.2.4.2 Nội dự đốn vịng lặp mở/đóng lai Các điểm ảnh tham chiếu nội dự đoán lấy từ PU lân cận tái tạo trước Trong phần mềm HM, chế độ lựa chọn phân vùng CTU định trình RDO đầy đủ Tuy nhiên, trình RDO đầy đủ phần cứng chắn tạo độ trễ lớn trình xử lý nối tiếp tự nhiên CABAC Điều trở thành nhân tố hạn chế thiết kế phần cứng Rất khó để xử lý tồn PU đạt đủ thông lượng xử lý HM Trong công việc này, ta chọn cách loại bỏ phụ thuộc để tránh vấn đề Thuật tốn nội dự đốn vịng lặp mở/đóng lai hữu ích trường hợp Dựa thực tế điểm ảnh gốc gần với điểm ảnh tái tạo QP thấp, phương pháp sử dụng điểm ảnh gốc để thay pixel biên tái cấu trúc Nói cách khác, điểm ảnh tái tạo chưa sẵn sàng, pixel gốc sử dụng thay Ngoài ra, phụ thuộc nội bộ/liên đới nội dự đoán bị loại bỏ trường hợp Do đó, phụ thuộc khơng tồn thuật tốn Bằng kế hoạch vịng lặp mở-đóng 85 lai, chế độ nội cho khối tính tốn song song mà khơng cần chờ tái tạo Với tồn điều chỉnh dự đốn nội bộ, giá 1.03% tốc độ BD tăng lên cấu hình trễ thấp P 3.2.5 Biến đổi lượng tử hóa Sau nội dự đốn liên dự đốn với định chế độ sớm, biến đổi thực Khối tương ứng mẫu phần dư lấy từ khác mẫu đầu vào gốc mẫu dự đốn Nó sau xử lý thêm mã hóa dựa DCT với kích thước biến đổi khác Với phần dư nội dự đoán 4x4 luma, DST sử dụng thay DCT Sau biến đổi, phần dư lượng tử hóa gửi tới mã hóa entropy Do biến đổi phức tạp HEVC, lượng tử hóa thực giai đoạn khác Với biến đổi, kích thước 4x4, 8x8, 16x16, 32x32 Mỗi đơn vị biến đổi (TU) sử dụng kích thước biến đổi lớn chia nhỏ thành khối biến đổi nhỏ cấu trúc tứ phân phần dư Lý cho việc hỗ trợ kích thước biến đổi khác để phù hợp với biến đổi tới đặc tính khơng gian tần số thay đổi tín hiệu phần dư Để tiết kiệm chi phí định biến đổi, số tùy chọn HM sử dụng kích thước biến đổi khả dụng lớn Trong phương pháp hoạt động với vài phần mềm, khơng phù hợp với triển khai phần cứng với yêu cầu tài nguyên phần cứng thay đổi chu kì tính tốn khơng thể tính tốn Phân bố phần dư biến đổi có mối liên hệ mạnh mẽ với đồng kết dự đoán Kết là, ta chọn để sử dụng kích thước biến đổi lớn có biên PU Với định cố định này, chi phí phần cứng giảm xuống với giá tốc độ BD tăng lên 3.02% cấu hình trễ thấp P 86 3.2.6 Các lọc lặp vòng Với lọc lặp vòng, có hai lọc HEVC, lọc giải khối lọc bù thích nghi mẫu So với H264, lọc giải khối HEVC đơn giản hóa Giải khối chia làm hai bước Mỗi hướng (ngang dọc) thực mộ bước Mặt khác, lọc SAO công cụ mã hóa HEVC Nó thu thập số liệu thống kê biến dạng pixel tối thiểu hóa khác mẫu đầu vào mẫu tái tạo cách cộng thêm độ bù thích nghi Các loại lọc SAO chọn từ bù cạnh (EO), bù băng (BO) không đổi (OFF) EO thực phân loại pixel dưa hướng/hình dạng cạnh BO dựa mức pixel Nếu pixel khơng phù hợp cho SAO, đánh dầu khơng đổi Mã hóa SAO phức tạp giải khối Nó bao gồm giai đoạn xác định độ bù, giai đoạn lọc Giai đoạn xác định độ bù thu thập thông tin thống kê cần thiết từ CTU gốc CTU tái tạo Sau đó, độ bù loại định với thông tin thống kê Tiếp theo, giai đoạn lọc thực lọc độ bù theo độ bù loại Trong HM, hai lọc lặp vòng thực nối tiếp Tuy nhiên, điều làm cho đường ống trở nên dài Do SAO yêu cầu CTU gốc CTU dự đoán, giai đoạn tăng lên yêu cầu hai đệm kích thước CTU bổ sung Để giảm số lượng giai đoạn, ta thực lọc giải khối lọc SAO Để loại bỏ độ trễ, việc xác định hệ số SAO sử dụng CTU tái tạo không giải khối thay CTU giải khối Điều gây mát chất lượng giải khối SAO hướng tới thành phần lạ khác Để kết hợp luồng liệu hai lọc, bước giải khối thực vsong song với việc xác định hệ số SAO Bộ đệm CTU tái tạo cung cấp liệu cho hai module cách song song Sau đó, bước giải khối thứ hai thực hiện; 87 lọc SAO thực sau lọc giải khối Theo cách này, lọc vịng lặp thực có hiệu 3.2.7 Mã hóa Entropy Mã hóa entropy sử dụng để loại bỏ phần dư mà chưa bị triệt tiêu cơng cụ dự đốn Nó sử dụng phân bố xác suất phần tử cú pháp Nó đóng vài trị quan trọng mã hóa video CABAC cơng cụ mã hóa mặc định cho HEVC Trong CABAC cung cấp hiệu suất mã hóa cao, q trình thể độ phỵ thuộc liệu bin-tới-bin Kết là, mã hóa CABAC thường xuyên nút cổ chai thơng lượng nghiêm trọng tồn thể mã hóa video Hình 3.10 Kiến trúc CABAC tổng thể cho H264 Với thiết kế phần cứng CABAC, có đường ống hai giai đoạn, ba giai đoạn bốn giai đoạn Bốn gian đoạn phần lớn sử dụng thiết kế thơng lượng cao gần Hình 3.10 thể kiến trúc CABAC tổng thể bốn giai đoạn cho H264 Máy hữu hạn trạng thái cú pháp (FSM) điều khiển thứ tự mã hóa phần tử cú pháp Module truy cập liệu chuẩn bị liệu cần thiết cho 88 nhị phân hóa tạo khn thuộc tính Bộ nhị phân hóa chuyển đổi phần tử cú pháp gốc thành dịng nhị phân Bộ tạo khn thuộc tính xác định trạng thái thuộc tính để sử dụng Sau đó, mã hóa số học nhị phân áp dụng Hình 3.11 Sơ đồ đường ống CABAC bin Bộ mã hóa số học điển hình phân vùng thành bốn giai đoạn chính: trạng thái, phạm vi, thấp đầu Giai đoạn trạng thái cập nhật MPS trạng thái thể hình 3.11 Giai đoạn phạm vi thấp cập nhật giá trị phạm vi giá trị thấp cho mã hóa số học Giai đoạn đầu đảm nhận nhiệm vụ xuất dịng bit Sự chuẩn hóa thực phạm vi thấp sau mã hóa bin để chúng biểu diễn với độ xác bit cố định Ta nhìn thấy phụ thuộc liệu bốn khối Với kiến trúc này, ta đạt bin chu kì Để dạt thơng lượng tốt hơn, mạch tiền chuẩn hóa sử dụng để giảm đường dẫn trọng yếu chuẩn hóa.Trong HEVC, nhiều 20% bin bin đường vòng Do mạch cập 89 nhật phạm vi mơ hình thuộc tính khơng ảnh hưởng tới mã hóa đường vịng, kế hoạch phun bin bỏ qua (BPBS) áp dụng để chia q trình từ dịng bin tái sát nhập thành dịng bit trước giai đoạn cập nhật thấp Hình 3.12 Đa bin (a) sơ đồ khối tổng thể (b) mạch chuyển tiếp trạng thái Với ứng dụng phân giải cao, thông lượng bin CABAC không đủ Do phụ thuộc liệu CABAC, khó để thêm giai đoạn đường ống CABAC Kết là, cần đến kĩ thuật để mã hóa nhiều bin chu kì Một phương pháp CABAC nhiều bin phân tầng Bằng cách phân tầng mạch trạng thái, phạm vi, thấp đầu sử dụng mạch chuyển tiếp trạng thái giai đoạn trạng thái, ta đạt máy CABAC với nhiều bin chu kì thể hình 3.12a, b Một phương pháp khác cho CABAC nhiều bin phương pháp chuyển đổi đơi trạng thái (SDT) Nó kết hợp hai bảng chuyển đổi trạng thái thành với giá bảng lớn Sau đó, giai đoạn xử lý hai bin chu kì SDT kết hợp với kĩ thuật phân tầng 90 Hình 3.13 Kiến trúc đơn giản mã hóa số học nhị phân đa bin Hiệu kĩ thuật phân tầng bị giới hạn gia tăng độ trễ mạch chuyển tiếp trạng thái số lượng giai đoạn phân tầng tăng lên Tần số vận hành bị giảm xuống nhiều giai đoạn phân tầng sử dụng Với thơng lượng cao hơn, kiến trúc phân tích ML áp dụng Ta quan sát từ đường ống CABAC độ phức tạp cho việc xử lý MPS LPS gian đoạn khác Ta chia q trình xử lý thành hai phần: M cho MPS L cho LPS cho việc phân tích thời gian Một kiến trúc CABAC nhiều bin điển hình thể hình 3.13 Sau phân tích, ta quan sát khơng cân hình 3.14 MPS LPS có độ trễ khác Để có thơng lượng cao hơn, ta chia mã hóa số học thành hai mã hóa riêng Hình 3.14 Không cân nhánh kiến trúc đường ống bốn giai đoạn H264 Vơi mã hóa MPS mã hóa LPS, thơng lượng chu kì kiến trúc truyền thống ln bin Nhưng có khả để hồn tồn tận dụng hai mã hóa để mã hóa hai bin chu kì Kiến trúc tương ứng dễ dàng cấu hình 3.15a dạng đơn 91 giản hình 3.15b Bây giờ, hai bin kiểm tra đồng thời chu kì Nếu hai bin MPS, mã hóa M kích hoạt để mã hóa bin đầu tiên, bin thứ hai mã hóa chu kì Hình 3.15 Kiến trúc phân tầng ML (a) Kiến trúc phân tầng ML (b) Dạng biểu diễn đơn giản hóa Tương tự, bin LPS, có mã hóa L kích hoạt Do đó, thơng lượng chu kì cải thiện từ bin tới hai bin Mặc dù đường dẫn trọng yếu trẻ nên dài hơn, mào đầu lại vừa phải đường dẫn trọng yếu gốc mã hóa M L không cân thể hình 3.14 Kiến trúc lựa chọn thơng lượng áp dụng để tăng thông lượng trì đường dẫn trọng yếu tương tự đường dẫn khác Do đó, chiến lược thiết kế tạo đường dẫn trọng yếu toàn lựa chon cân Cả {ML, LM} {MML, MLM, LMM, LL} hình 3.16 ví dụ tốt kiến trúc lựa chọn thơng lượng với đường dẫn trọng yêu cân Số lượng lựa chọn tinh chỉnh để phù hợp với thông lượng mục tiêu Nếu thông lượng cao yêu cầu, kiến trúc lựa chọn thông lượng cá thể phân tầng Ngoài ra, số lượng nhiều M giai đoạn chia sẻ cách chuyển tiếp M kết tới đường dẫn thay mạch lựa chọn thông lượng 92 Hình 3.16 Các ví dụ kiến trúc lựa chọn thông lượng với đường dẫn trọng yếu cân Với yêu cầu tốc độ bin cao, sử dụng máy CABAC riêng lẻ vài tình khơng thể đạt tốc độ bin yêu cầu HEVC hoàn cảnh cung cấp vài kế hoạch song song hóa với giá tăng tốc độ bit biên HEVC cung cấp CABAC song song đầu sóng, ngói, lát với ràng buộc khác phụ thuộc CABAC Nhiều phần khung (tức nhiều CTU) mã hóa thời điểm cấu hình sử dụng để làm hiệu sử dụng cao 3.3 Tổng kết chương Như chương này, vào chi tiết cấu trúc phần cứng mã hóa giải mã HEVC Với giải mã, thách thức kích thước lớn thay đổi đơn vị biến đổi giải sử dụng phép nhân đa số nhớ chuyển vị dựa SRAM cho triển khai hiệu khu vực Tương tự, việc sử dụng phép nhân đa số ghép kênh theo thời gian để tối ưu hóa lọc nội suy dài HEVC mô tả Bộ lọc nội suy dài tạo yêu cầu băng thông tăng lên từ đệm hình ảnh tham chiếu, thứ mà giải vởi nhớ cache bột việc lập đồ nhớ nhận biết độ trễ DRAM 93 Cịn mã hóa vấn đề thiết kế chủ chốt đường ống hệ thông, thiết kế mức module, định chế độ phức tạp cao mà hỗ trợ RDO đầy đủ phần cứng thảo luận Một chip thử nghiệm mà hỗ trợ mã hóa thời gian thực 8K UHDTV HEVC trình bày Mặc dù HEVC tiêu chuẩn phức tạp, ta đạt việc triển khai có hiệu với thiết kế thuật toán kiến trúc đắn Với kĩ thuật trình bày chương này, chúng tơi HEVC sử dụng cho mã hóa thời gian thực cho ứng dụng phân giải cực cao KẾT LUẬN Như vậy, thấy HEVC thực tiêu chuẩn mã hóa video hiệu cao so với tiêu chuẩn mã hóa Video trước Với hiệu suất mã hóa lớn tới 50% so với người tiền nhiệm H264 nhiều cải 94 tiến khác cơng suất, thơng lượng, độ phức tạp tính tốn, HEVC hứa hẹn trở thành tiêu chuẩn áp dụng rộng rãi vào ứng dụng video toàn giới Đồ án cung cấp nhìn chi tiết kĩ thuật sử dụng cấu trúc phần cứng giải mã mã hóa HEVC, giúp HEVC trở thành tiêu chuẩn mã hóa hiệu suất cao Tuy nhiên khơng có nghĩa nhiệm vụ nghiên cứu kết thúc, HEVC cịn mang tới khơng gian dành cho phần mở rộng sau này, giúp HEVC đạt tiêu chất lượng tốt Và nhiệm vụ theo dõi để cập nhật kĩ thuật mã hóa tương lai Đồ án xin kết thúc đây, lần nữa, em xin chân thành cảm ơn thầy giáo Tiến Sĩ Nguyễn Trung Tấn thầy cô khác ngành Điện tử viễn thông trường Học viện Kĩ thuật Quân tạo điều kiện giúp đỡ em thời gian qua TÀI LIỆU THAM KHẢO [1] Vivienne Sze, Madhukar Budagavi and Gary J Sullivan, High Efficiency Video Coding (HEVC) - Algorithms and Architectures Dallas, TX, USA 2014 95 [2] Mathias Wien, High Efficiency Video Coding - Coding Tools and Specification Germany 2015 [3] K R Rao, Do Nyeon Kim and Jae Jeong Hwang, Video Coding Standards Arlington, TX, USA 2014 [4] Bossen F, Bross B, Sühring K and Flynn D, HEVC complexity and implementation analysis [5] B Bross, W.-J Han, J.-R Ohm, G J Sullivan, and T Wiegand, High Efficiency Video Coding (HEVC) Text Specification Draft Stockholm, Sweden 2012 ... 1.2.3 Một số cải tiến HEVC HEVC mang lại nhiều cải tiền so với tiêu chuẩn mã hóa trước Một số cải tiền HEVC bao gồm: • Tồn q trình mã hóa: nhà thiết kế mã hóa cho phép mã hóa video sử dụng tiêu... mà HEVC mang lại tới từ việc sử dụng kích thước đơn vị mã hóa lớn Với đơn vị mã hóa lớn hiệu suất mã hóa tăng thời gian mã hóa lại giảm so với H264 Điều chứng minh phép thử PSNR với mã hóa HEVC. .. kết Hình 1.4 Sơ đồ khối mã hóa HEVC với giải mã kèm Hiệu mã hóa mà chuẩn mã hóa video lai đạt phụ thuộc vào vài khía cạnh thiết kế sử dụng lọc nội suy cho nội suy mẫu con, hiệu mã hóa entropy kĩ