Sơ đồ khối mã hóa DPCM Bộ lọc dự đoán     Thực chất lọc dự đoán gồm nhiều mạch trễ nối tiếp Thời gian trễ TS mạch chu kỳ lấy mẫu Nếu lọc dự đoán dùng mạch trễ dự đoán bậc Nếu dùng mạch trễ liên tiếp dự đoán bậc Dự đoán bậc cho đánh giá tốt bậc 1, tạo khả mã hoá số bit Sơ đồ khối giải mã DPCM Phương pháp mã hóa dự đoán tuyến tính LPC (tt)  Sơ đồ khối mã hóa giải mã LPC:  Mã hóa: Tín hiệu thoại Lấy mẫu fs =8000 mẫu/s Xác định âm hữu {aPitch p(k) Mã hay vô Kích thích hóa kích thích  Giải mã: } H ( z) = G p + ∑ a p (k ) z − k k =1 Pitch Kích thích Giải mã {ap(k)} Bộ tạo tín Bộ lọc IIR hiệu H(z) Tín hiệu Lọc thông thoại thấp   Quá trình mã hóa:  Lấy mẫu: • Tín hiệu tiếng nói lấy mẫu tốc độ f s = 8000 mẫu/s    • Sau chia thành segment: (160 mẫu, 20 ms) Xác định âm hữu hay vô thanh: • Căn vào biên độ (năng lượng) hay tần số tín hiệu segment • Dùng bit để báo cho giải mã biết Ước lượng tần số pitch • Dựa vào hàm tự tương quan • Giá trị pitch lượng tử hóa mã hóa dùng bit Xác định thông số lọc • Các hệ số lọc G, {ap(k)}  Quá trình giải mã:  Xác định tín hiệu kích thích tần số pitch: • Khi segment âm vô thanh: tạo nguồn kích thích nhiễu trắng • Khi segment âm hữu thanh: tạo nguồn chuỗi xung tuần hoàn  Xác định hệ số G {ap(k)} cho segment  Cho tín hiệu kích thích qua lọc tạo tín hiệu thoại Mỗi segment giải mã độc lập, sau kết hợp lại với Kết hợp câu 2.6 trrong đề cương Bài tập liên quan Ưu nhược điểm LPC  Giới hạn 1: Trong số trường hợp, khung âm phân loại thành hữu vô  Giới hạn 2: Việc sử dụng hoàn toàn nhiễu ngẫu nhiên hoàn toàn chuỗi xung có chu kỳ tạo kích thích không phù hợp với thực tế  Giới hạn 3: Thông tin pha tín hiệu nguyên thủy không xem xét  Giới hạn 4: Phương pháp thực việc tổng hợp khung thoại, chuỗi xung dùng để kích thích lọc tổng hợp với hệ số có từ việc phân tích LP vi phạm tảng mô hình AR Mã hóa âm cảm nhận Kỹ thuật che(masking) Con người nghe âm với có mặt âm khác cảm nhận yếu âm có tần số gần với âm cần nghe biên độ lớn Mặt nạ tần số: Khi nghe hai âm mạnh yếu khác với tần số khác xảy lúc, âm mạnh “che khuất” khiến tai không nghe âm yếu Hiệu ứng gọi mặt nạ tần số Mặt nạ thời gian: Nếu âm yếu phát trước sau âm mạnh bị “che khuất” Hiệu ứng gọi mặt nạ thời gian (temporal masking) Mã hóa audio cảm quan (perceptual encoding) kỹ thuật lợi dụng đặc điểm cảm quan tai người để đạt tỷ lệ nén cao với chất lượng nén tốt  Phân tích tín hiệu thành dải tần số riêng biệt qua việc sử dụng dải lọc  Phân tích lượng tín hiệu dải khác xác định ngưỡng che tổng dải tín hiệu dải khác  Lượng tử hóa mẫu dải khác có tỷ lệ xác với mức che  Một tín hiệu mức che không cần mã hóa Tín hiệu mức che lượng tử hóa bit gán qua dải cho bit thêm vào giảm tối đa méo cảm nhận Output Giải thuật mã hóa cảm nhận Bộ lọc chia tín hiệu audio (e.g., 48 kHz sound) thành băng ví dụ MPEG chia thành 32 băng (sub-band filtering) Xác định masking cho băng dựa ngưỡng nghe mức lượng băng liền kề (Psychoacoustic Model) Nếu lượng băng thấp ngưỡng mặt nạ không mã hóa Nếu không xác định số bít cần đại diện hệ số băng cho nhiễu lượng tử ngưỡng mặt nạ Định dạng luồng bít: Chèn phần tiêu đề, mã hóa dùng Huffman vv Ex:  Say, performing the sub-band filtering step on the input results in the following values (for demonstration, we are only looking at the first 16 of the 32 bands): Band 10 11 Leve l 6 5 ❒ The 60dB level of the 8th band gives a masking of 12 dB in the 7th band, 15dB in the 9th (according to the Psychoacoustic model) ❒ The level in 7th band is 10 dB ( < 12 dB ), so ignore it ❒ The level in 9th band is 35 dB ( > 15 dB ), so send it ❒ We only send the amount above the masking level ❒ Therefore, instead of using bits to encode it, we can use bits a saving of bits (= 12 dB) ❒ “determine number of bits needed to represent the coefficient such that, the noise introduced by quantization is below the masking effect” [noise introduced = 12bB; masking = 15 dB] Liên hệ MP#3 LZW Kết quả: input: output : 16*8=128bit 5*8+5*9=85bit tỷ số nén 128/85=1,5 Nénanhr  Tín hiệu video thường chứa đựng lượng lớn thông tin thừa, chúng thường chia thành hai loại:  Thừa tĩnh bên frame (statistical) : Nén ảnh  Thừa động frame (subjective): Nén liên ảnh Nén liên ảnh:  Loại bỏ dư thừa thời gian thực trước hết nhờ sử dụng tính chất giống ảnh liên tiếp (Inter-frame techniques)  Các ảnh tạo nhờ vào thông tin từ ảnh gửi trước (“predicted”)  Phía mã hoá cần gửi ảnh có thay đổi so với ảnh trước, sau ta lại dùng phương pháp nén không gian để loại bỏ dư thừa không gian ảnh sai khác Dự đoán chuyển động bù chuyển động  Nguyên lý dự đoán bù chuyển động tìm vùng ảnh giống gần giống hai ảnh (gọi ảnh tham khảo ảnh dự đoán) Thông tin ảnh dự đoán truyền dạng vector chuyển động tức vector xác định vị trí vùng ảnh thuộc ảnh tham khảo có mặt ảnh dự đoán  Quá trình tìm kiếm hướng chuyển động vật “ước lượng chuyển động” (Motion Estimation) Kết chuyển dịch vật thể theo hai hướng x, y phản ánh giá trị vector gọi “vector chuyển động”  Quá trình khôi phục ảnh dựa vector gọi trình bù chuyển động (motion compensation)  Dựa phán đoán hướng chuyển động ảnh tức ảnh thành phần dãy video thay gần  Hạn chế bớt thông số chuyển động việc dùng vector chuyển động để mô tả dịch chuyển điểm ảnh  Kết tiên đoán tốt điểm ảnh dựa tiên đoán bù chuyển động từ ảnh mã hoá truyền phía trước  Cả hai thông số, sai số chuyển động (biên độ) vectors chuyển động (hướng chuyển động) truyền tới phía bên nhận Nén ảnh;  Nén không gian dựa nguyên tắc phát giống điểm ảnh (pixels) lân cận (Intra-frame coding techniques): Ví dụ JPEG  MPEG  MPEG-1 ~ 1-1.5Mbps (early 90s)  For compression of 320x240 full-motion video at rates around 1.15Mb/s  Applications: video storage (VCD)  MPEG-2 ~ 2-80Mbps (mid 90s)  For higher resolutions  Support interlaced video formats and a number of features for HDTV  Address scalable video coding  Also used in DVD  MPEG-4 ~ 9-40kbps (later 90s)  For very low bit rate video and audio coding  Applications: interactive multimedia and video telephony  MPEG-21 ~ ongoing CHUẨN nén MPEG     Tiêu chuẩn MPEG kết hợp nén ảnh nén liên ảnh Phương pháp nén có tổn hao dựa biến đổi DCT Bù chuyển động MPEG dùng biểu diễn màu YC C r b Nén MPEG kết hợp hài hoà bốn kỹ thuật bản: 1.Tiền xử lý (Preprocessing) Dự đoán trước chuyển động frame mã hoá (temporal prediction) Bù chuyển động giải mã (motion compensation) Mã lượng tử hoá (quatisation coding)        Các lọc tiền xử lý lọc thông tin không cần thiết từ tín hiệu video thông tin khó mã hoá không quan trọng cho cảm thụ mắt người  Kỹ thuật đoán chuyển động dựa nguyên tắc ảnh chuỗi video dường có liên quan mật thiết với theo thời gian: Mỗi frame thời điểm định có nhiều khả giống với frame đứng phía trước phía sau  Các mã hoá tiến hành quét phần nhỏ frame gọi macro blocks, sau phát macro block không thay đổi từ frame tới frame khác Bộ mã hoá tiên đoán trước xuất macro blocks biết vị trí hướng chuyển động Do thay đổi khối frame (motion compesated residual) khối tiên đoán truyền tới bên phía thu Phía bên thu tức giải mã lưu trữ sẵn thông tin mà không thay đổi từ frame tới frame khác nhớ đệm chúng dùng để điền thêm cách đặn vào vị trí trống ảnh khôi phục  A Group-of-Picture (GOP) contains types of frames (I/P/B)  Frame order I1 BBB P1 BBB P2 BBB I2 …  Coding order I1 P1 BBB P2 BBB I2 BBB …  Ảnh loại I (Intra-picture)  Ảnh loại P (Predicted-picture)  Ảnh loại B ( Bi-directional predicted picture) Cấu trúc GOP mô tả hai tham số: N số ảnh GOP M khoảng cách ảnh P-pictures ảnh I  Kiểu ảnh ‘Intra’ (I-pictures) ảnh mã hoá cách độc lập mà không cần tham khảo tới ảnh khác Hiệu nén tín hiệu đạt loại bỏ thừa không gian mà yếu tố thời gian tham gia vào trình  I-pictures dùng cách tuần hoàn để tạo thành điểm tựa cho dòng liệu trình giải mã ảnh P  Ảnh ‘Predictive’ (P-pictures) sử dụng ảnh I P sát phía trước để bù chuyển động dùng để tham khảo cho việc tiên đoán ảnh khác  Mỗi khối ảnh P-picture mã theo kiểu tiên đoán (predicted) mã cách độc lập (intra-coded)  Do sử dụng nén theo không gian thời gian, hiệu nén P-pictures tăng lên cách đáng kể so với I-pictures ẢNh B  Ảnh B- Pictures sử dụng ảnh I P phía trước phía sau cho việc bù chuyển động cho kết nén cao  Mỗi khối B-pictures tiên đoán theo chiều ngược, xuôi, hai hướng mã cách độc lập Để tiên đoán ngược từ ảnh phía sau nó, mã hoá tiến hành xếp lại ảnh từ thứ tự xuất cách tự nhiên sang thứ tự khác ảnh đường truyền  B-pictures truyền sau ảnh dùng để tham khảo phía trước phía sau  Điều tạo độ trễ phải xếp lại thông tin, độ trễ lớn hay nhỏ tuỳ thuộc vào số ảnh B-pictures liên tiếp truyền Cấu trúc dòng bit MPEG Kiến trúc dòng liệu MPEG  Khối: block 8x8 điểm ảnh tín hiệu chói tín hiệu màu  Lớp macroblock: Ảnh số MPEG chia thành Macroblock kích thước  16x16 Trong macroblock có thông tin block Y, block Cr block Cb (theo chuẩn lấy mẫu 4:2:0)  Mảng (Slice): Là chuỗi macroblock kề Kích thước lớn mảng bao gồm toàn ảnh kích thước nhỏ mảng macroblock Slice header chứa đựng vị trí mảng toàn ảnh, hệ số lượng tử dùng để xác định ma trận lượng tử trình giải mã slice  Ảnh (Picture): có loại ảnh ảnh P, I hay ảnh B Picture header chứa thông tin về: thứ tự ảnh nhóm ảnh (thông tin dùng để xếp lại thứ tự ảnh decoder), loại ảnh, kích thước vùng tìm kiếm vector chuyển động  Nhóm ảnh (GOP): nhóm ảnh tổ hợp nhiều ảnh I, P B Như đề cập phần trên, cấu trúc nhóm ảnh xác định hai tham số M N Mỗi nhóm ảnh bắt đầu khung I GOP header chứa mã xác định thời gian ảnh nhóm  Đoạn ảnh (Sequence of pictures): Đoạn ảnh bắt đầu sequence header, sau nhiều GOP, cuối từ mã "end-of-sequence" Sequence header chứa đựng thông số như: kích thước ảnh, khổ ảnh, tần số ảnh, tốc độ bit dòng video số, tần số ảnh kích thước nhớ đệm Bộ mã hóa MPEG tiêu biểu Bộ giải mã MPEG Hoạt động mã hóa MPEG  Quá trình mã hoá cho P pictures B pictures giải thích sau:  Dữ liệu từ khối ảnh (macroblocks) cần mã hoá đưa đến trừ (Subtractor) đoán chuyển động (Motion Estimator)  Bộ đoán chuyển động so sánh khối ảnh đưa vào với khối ảnh đưa vào trước lưu lại ảnh dùng để tham khảo (Reference Picture) Kết đoán chuyển động tìm khối ảnh ảnh tham khảo gần giống với khối ảnh Bộ đoán chuyển động sau tính toán vector chuyển động (Motion Vector), vector đặc trưng cho dịch chuyển theo hai chiều dọc ngang khối ảnh cần mã hoá so với ảnh tham khảo Chúng ta lưu ý vector chuyển động có độ phân giải nửa thực quét xen kẽ  Bộ đoán chuyển động đồng thời gửi khối ảnh tham khảo mà chúng thường gọi khối tiên đoán (Predicted macroblock) tới trừ để trừ với khối ảnh cần mã hoá (thực trừ điểm ảnh tương ứng tức Pixel by pixel) Kết ta sai số tiên đoán (Error Prediction) tín hiệu dư, chúng đặc trưng cho sai khác khối ảnh cần tiên đoán khối ảnh thực tế cần mã hoá  3.Tín hiệu dư hay sai số tiên đoán biến đổi DCT, hệ số nhận sau biến đổi DCT lượng tử hoá để làm giảm số lượng bits cần truyền Các hệ số đưa tới mã hoá Huffman, số bits đặc trưng cho hệ số tiếp tục làm giảm cách đáng kể Dữ liệu từ đầu mã hoá Huffman kết hợp với vector chuyển động thông tin khác (thông tin I, P, B pictures) để gửi tới giải mã  Đối với trường hợp P-pictures, hệ số DCT đưa đến giải mã nội (nằm mã hoá) Tín hiệu dư hay sai số tiên đoán biến đổi ngược lại dùng phép biến đổi IDCT cộng thêm vào ảnh đứng trước để tạo nên ảnh tham khảo (ảnh tiên đoán) Vì liệu ảnh mã hoá giải mã nhờ vào giải mã nội bên mã hoá, ta thực thay đổi thứ tự ảnh dùng phương pháp tiên đoán Giải mã  Quá trình khôi phục lại ảnh giải mã hoàn toàn ngược lại Từ luồng liệu nhận đầu vào, vector chuyển động tách đưa vào bù chuyển động (Motion Compensator), hệ số DCT đưa vào biến đổi ngược IDCT để biến tín hiệu từ miền tần số thành tín hiệu miền không gian Đối với P pictures B pictures, vector chuyển động kết hợp với khối tiên đoán (predicted macroblock) để tạo thành ảnh tham khảo [...]... trong bộ mã hoá được giải mã luôn nhờ vào bộ giải mã nội bộ ngay chính bên trong bộ mã hoá, do đó ta có thể thực hiện thay đổi thứ tự các bức ảnh và dùng các phương pháp tiên đoán Giải mã  Quá trình khôi phục lại ảnh tại bộ giải mã là hoàn toàn ngược lại Từ luồng dữ liệu nhận được ở đầu vào, vector chuyển động được tách ra và đưa vào bộ bù chuyển động (Motion Compensator), các hệ số DCT được đưa vào bộ. .. số này sẽ được đưa tới bộ mã hoá Huffman, tại đây số bits đặc trưng cho các hệ số tiếp tục được làm giảm đi một cách đáng kể Dữ liệu từ đầu ra của mã hoá Huffman sẽ được kết hợp với vector chuyển động và các thông tin khác (thông tin về I, P, B pictures) để gửi tới bộ giải mã  Đối với trường hợp P-pictures, các hệ số DCT cũng được đưa đến bộ giải mã nội bộ (nằm ngay trong bộ mã hoá) Tín hiệu dư hay... chứa mã xác định thời gian của ảnh đầu tiên trong nhóm  Đoạn ảnh (Sequence of pictures): Đoạn ảnh bắt đầu bằng sequence header, sau đó là một hoặc nhiều GOP, cuối cùng là từ mã "end-of-sequence" Sequence header chứa đựng các thông số như: kích thước của ảnh, khổ ảnh, tần số ảnh, tốc độ bit của dòng video số, tần số ảnh và kích thước bộ nhớ đệm Bộ mã hóa MPEG tiêu biểu Bộ giải mã MPEG Hoạt động mã hóa. .. trình mã hoá cho P pictures và B pictures được giải thích như sau:  Dữ liệu từ các khối ảnh (macroblocks) cần được mã hoá sẽ được đưa đến cả bộ trừ (Subtractor) và bộ đoán chuyển động (Motion Estimator)  1 Bộ đoán chuyển động sẽ so sánh các khối ảnh mới được đưa vào này với các khối ảnh đã được đưa vào trước đó và được lưu lại như là các ảnh dùng để tham khảo (Reference Picture) Kết quả là bộ đoán... đồng thời gửi các khối ảnh tham khảo này mà chúng thường được gọi là các khối tiên đoán (Predicted macroblock) tới bộ trừ để trừ với khối ảnh mới cần mã hoá (thực hiện trừ từng điểm ảnh tương ứng tức là Pixel by pixel) Kết quả là ta sẽ được các sai số tiên đoán (Error Prediction) hoặc tín hiệu dư, chúng sẽ đặc trưng cho sự sai khác giữa khối ảnh cần tiên đoán và khối ảnh thực tế cần mã hoá  3.Tín hiệu... ra các khối ảnh trong ảnh tham khảo gần giống nhất với khối ảnh mới này Bộ đoán chuyển động sau đó sẽ tính toán vector chuyển động (Motion Vector), vector này sẽ đặc trưng cho sự dịch chuyển theo cả hai chiều dọc và ngang của khối ảnh mới cần mã hoá so với ảnh tham khảo Chúng ta lưu ý rằng vector chuyển động có độ phân giải bằng một nửa do thực hiện quét xen kẽ  2 Bộ đoán chuyển động cũng đồng thời... bản: 1.Tiền xử lý (Preprocessing) 2 Dự đoán trước sự chuyển động của các frame ở bộ mã hoá (temporal prediction) 3 Bù chuyển động ở bộ giải mã (motion compensation) 4 Mã lượng tử hoá (quatisation coding)        Các bộ lọc tiền xử lý sẽ lọc ra những thông tin không cần thiết từ tín hiệu video và những thông tin khó mã hoá nhưng không quan trọng cho sự cảm thụ của mắt người  Kỹ thuật đoán chuyển... sau nó  Các bộ mã hoá sẽ tiến hành quét lần lượt từng phần nhỏ trong mỗi frame gọi là macro blocks, sau đó nó sẽ phát hiện macro block nào không thay đổi từ frame này tới frame khác Bộ mã hoá sẽ tiên đoán trước sự xuất hiện của các macro blocks khi biết vị trí và hướng chuyển động của nó Do đó chỉ những sự thay đổi giữa các khối trong frame hiện tại (motion compesated residual) và các khối được tiên... Mỗi khối ảnh trong P-picture có thể hoặc được mã theo kiểu tiên đoán (predicted) hoặc được mã một cách độc lập (intra-coded)  Do sử dụng cả nén theo không gian và thời gian, hiệu quả nén của P-pictures được tăng lên một cách đáng kể so với I-pictures ẢNh B  Ảnh B- Pictures có thể sử dụng các ảnh I hoặc P phía trước hoặc phía sau nó cho việc bù chuyển động và do vậy cho kết quả nén cao nhất  Mỗi khối. .. sự thay đổi giữa các khối trong frame hiện tại (motion compesated residual) và các khối được tiên đoán mới được truyền tới bên phía thu Phía bên thu tức bộ giải mã đã lưu trữ sẵn những thông tin mà không thay đổi từ frame này tới frame khác trong bộ nhớ đệm của nó và chúng được dùng để điền thêm một cách đều đặn vào các vị trí trống trong ảnh được khôi phục  A Group-of-Picture (GOP) contains 3 types