Đang tải... (xem toàn văn)
Hiện nay, với việc triển khai mạng thông tin thếhệsau, nhiều ứng dụng mới ra đời nhưtruyền tín hiệu video trên các phương tiện thông tin di động, đa môi trường. Nâng cao hiệu quả sử dụng tài nguyên băng tần của các phương tiện đó là bài toán phải nén tín hiệu video hiệu quảnhất. Vì vậy, đềtài này là một chủ đềcấp thiết cho việc ứng dụng truyền video trên các mạng viễn thông đa môi trường thế hệ mới.
H ỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Trần Mạnh Tuấn NÉN ẢNH TRONG THÔNG TIN SỐ THẾ HỆ SAU Chuyên ngành: Kỹ thuật Viễn thông Mã số: 62.52.02.08 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ N ỘI – 2013 Công trình được hoàn thành tại: HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: 1- TS. Phùng Kim Anh 2- TS. Nguyễn Hữu Hậu Phản biện 1: PGS. TS. Đào Thanh Tĩnh Phản biện 2: PGS. TS. Nguyễn Văn Khang Phản biện 3: PGS. TS. Nguyễn Thế Hiếu Luận án được bảo vệ trước Hội đồng đánh giá luận án tiến sĩ cấp Học viện họp tại Học viện Công nghệ Bưu chính Viễn thông vào hồi 14 giờ 00, ngày 10 tháng 12 năm 2013. Có thể tìm hiểu luận án tại: - Thư viện Quốc gia - Thư viện Học viện Công nghệ Bưu chính Viễn thông 1 M Ở ĐẦU Tính cấp thiết của đề tài Hiện nay, với việc triển khai mạng thông tin thế hệ sau, nhiều ứng dụng mới ra đời như truyền tín hiệu video trên các phương tiện thông tin di động, đa môi trường. Nâng cao hiệu quả sử dụng tài nguyên băng tần của các phương tiện đó là bài toán phải nén tín hiệu video hiệu quả nhất. Vì vậy, đề tài này là một chủ đề cấp thiết cho việc ứng dụng truyền video trên các mạng viễn thông đa môi trường thế hệ mới. Mục tiêu nghiên cứu Tìm các thuật toán hợp lý để ước lượng chuyển động của ảnh trong video sao cho dễ tính toán, đảm bảo độ bám chuyển động của ảnh một cách tốt nhất. - Nghiên cứu đề xuất ứng dụng thuật toán ước lượng chuyển động trong không gian nhiều chiều với nghiệm ước lượng chuyển động tối ưu, độ bám tốt. - Tăng hiệu quả sử dụng băng tần truyền dẫn bằng các thuật toán không cần sử dụng tín hiệu đào tạo. - Thuật toán ước lượng làm việc ổn định trong điều kiện kênh có nhiễu. Đối tượng, phạm vi và phương pháp nghiên cứu Luận án nghiên cứu các phương pháp nén video số, ứng dụng truyền video trong mạng thông tin di động thế hệ mới. Đây là một phạm vi rộng, bao gồm: lượng tử hóa, ước lượng chuyển động của ảnh, mã hóa - giải mã. Luận án tập trung vào việc nghiên cứu các thuật toán ước lượng chuyển động của ảnh, phân tích các kết quả nghiên cứu chuyển động ảnh đã có trước đây; nghiên cứu các thuật toán ước lượng về mặt toán học từ đó tìm ra thuật toán ước lượng hợp lý để đạt mục tiêu đề ra. T ừ phân tích toán học, luận án dùng công cụ mô phỏng để kiểm chứng. 2 Ý ngh ĩa khoa học và thực tiễn của đề tài Ý nghĩa khoa học: Làm phong phú hơn về lý luận ước lượng chuyển động của ảnh bằng thuật toán lặp, đó là: - Dùng thuật toán Kalman: Đây là phương pháp lặp, sử dụng trong không gian nhiều chiều và chỉ ra nghiệm tối ưu của ước lượng chuyển động. - Dùng thuật toán mù: Đây là phương pháp lặp, không cần sử dụng tham chiếu trước mà chỉ cần mối tương quan giữa hai khung ảnh là ước lượng được chuyển động của ảnh. Ý nghĩa thực tiễn: Mở ra khả năng tính toán mới để ước lượng ảnh nhanh hơn, có độ bám chuyển động tốt hơn, tránh được những thông tin dư thừa do độ bám chuyển động không tốt gây ra. Nội dung của luận án Mở đầu: Giới thiệu bài toán và phương pháp nghiên cứu. Chương 1 - Tổng quan về nén video: Giới thiệu vai trò, vị trí, yêu cầu, mô hình hệ thống và một số kỹ thuật nén video. Chương 2 - Tổng quan về ước lượng chuyển động của ảnh: Đây là chương đưa ra những kiến thức cơ bản về ước lượng chuyển động của ảnh, những thuật toán hiện có, đánh giá ưu điểm và nhược điểm của những thuật toán hiện có. Chương 3 - Ước lượng chuyển động bằng các giải pháp mới: Đề xuất áp dụng những thuật toán mới cho việc ước lượng chuyển động của ảnh, đó là thuật toán Kalman và thuật toán mù. Chương 4 - Một số kết quả tính toán số: Trình bày một số kết quả mô phỏng từ đó đưa ra nhận xét, so sánh hiệu năng giữa phương pháp Bayes và phương pháp Kalman. Kết luận và kiến nghị: Nêu lên các kết quả đã đạt được của luận án và chỉ ra các hướng nghiên cứu tiếp theo. 3 CH ƯƠNG 1 TỔNG QUAN VỀ NÉN VIDEO 1.1. Giới thiệu Để truyền được các chương trình video trên các hệ thống thông tin di động, một bài toán đặt ra là phải nén hình ảnh để tiết kiệm băng tần truyền dẫn mà vẫn đảm bảo chất lượng hình ảnh. Trong hoàn cảnh mạng NGN và di động thế hệ sau tiếp tục đòi hỏi phải hoàn thiện hơn các thuật toán nén - giải nén tín hiệu video với mục đích làm cho chất lượng hình ảnh tốt hơn, sử dụng băng tần truyền dẫn hiệu quả hơn. 1.2. Độ dư trong tín hiệu video, nhu cầu cần thiết nén video 1.2.1. Độ dư trong tín hiệu video Mục này trình bày về độ dư trong tín hiệu video, gồm: Độ dư thống kê của ảnh (độ dư không gian, độ dư thời gian, độ dư mã) và độ dư khả năng nhìn thấy. Việc nhận biết độ dư trong tín hiệu video và tìm kiếm giải pháp để loại bỏ độ dư đó chính là nén dữ liệu. 1.2.2. Nhu cầu cần thiết nén video Những thành tựu đạt được trong công nghệ điện tử - viễn thông - tin học đã tạo điều kiện phát triển các kỹ thuật truyền video đáp ứng nhu cầu ngày càng tăng trong các ứng dụng cuộc sống hàng ngày như điện thoại video, hội nghị video, truyền hình độ phân giải cao… Để làm được điều đó, cần thiết phải nén video. 1.3. Khái niệm về nén video Mục này trình bày khái quát về: Khái niệm về nén video, mô hình, chức năng cơ bản, đặc điểm của các phần tử trong hệ thống nén video. Hình 1.5 chỉ ra mô hình nén video tổng quát. 1.4. Yêu cầu về ứng dụng nén video, một số kỹ thuật nén video 1.4.1. Yêu cầu về ứng dụng nén video Mục này trình bày một số yêu cầu về ứng dụng nén video, gồm: Các đặc tính video, yêu cầu truyền dẫn, các đặc tính và hiệu năng của hệ thống nén, yêu cầu về tỷ lệ méo và yêu cầu về tiêu chuẩn. 4 Hình 1.5 H ệ thống nén video tổng quát 1.4.2. Một số kỹ thuật nén video Mục này trình bày một số kỹ thuật nén video cơ bản, bao gồm: - Mã entropy và mã dự đoán: Là mã tiếp cận entropy của nguồn; DPCM sử dụng mô hình nguồn Markov được dùng trong các chuẩn MPEG-1 và H.261. Tuy nhiên, bộ mã hoá này tương đối phức tạp; VLC được dùng kết hợp với DPCM để giảm tốc độ bit. - Mã chuyển đổi khối bằng biến đổi DCT: Gói hầu hết năng lượng tín hiệu gốc vào một số ít các hệ số biến đổi, bỏ qua hệ số chứa ít hoặc không chứa năng lượng. Có ưu điểm là IDCT không tạo ra bất kỳ sự gián đoạn rõ nét nào ở các rìa khối; các biến đổi rời rạc tạo nên tín hiệu được tái cấu trúc có chu kỳ; nhược điểm là tính toán chủ yếu trên giải tích cổ điển, khá phức tạp. - Bù và ước lượng chuyển động: Dựa vào nền tĩnh và sự chuyển động của các ảnh gần. Nếu nền không thay đổi giữa hai khung thì hiệu của chúng bằng 0 và hai khung có thể được mã hoá thành một. Các vật thể chuyển động có thể được phát hiện bằng cách phối hợp v ật thể cận cảnh giữa hai khung 5 CH ƯƠNG 2 TỔNG QUAN VỀ ƯỚC LƯỢNG CHUYỂN ĐỘNG CỦA ẢNH 2.1. Giới thiệu Ước lượng chuyển động là quá trình quan trọng trong việc mô tả, phân tích dãy ảnh, bám mục tiêu và mã hóa video. Việc mô tả và ứng dụng có những yêu cầu khác nhau, do đó phải sử dụng các phương pháp ước lượng chuyển động khác nhau. Chương 2 của luận án tập trung vào việc nghiên cứu các phương pháp ước lượng chuyển động video và so sánh các phương pháp đó, từ đó định hướng cho các giải pháp mới được đề xuất ở chương 3 của luận án. 2.2. Ước lượng chuyển động và các phương pháp ước lượng chuyển động 2.2.1. Ước lượng chuyển động Ước lượng chuyển động là một bộ phận cấu thành trong bài toán mã hoá nén video. Trong ước lượng chuyển động, điểm s=[h, v] T trong khung hiện tại ở thời điểm t sẽ liên quan đến một điểm trong khung tham chiếu trước đó ở thời điểm t-∆t: ( ) ( ( )) t t t f f −∆ = − s s x s (2.1) Mục đích của ước lượng chuyển động là đi tìm véctơ chuyển động x(s)=[x h (s), x v (s)] T . Chú ý rằng x(s) không nhất thiết phải là véctơ chuyển động toàn điểm. Như vậy, phương pháp ước lượng chuyển động có thể cần phải truy cập các giá trị cường độ tại các vị trí không lấy mẫu trong khung tham chiếu. Phương pháp nội suy song tuyến tính thường được sử dụng vì nó dung hòa tốt giữa chất lượng nội suy và độ phức tạp tính toán. Nó được định nghĩa như sau: ( , ) (1 )(1 ) ( , ) (1 ) ( 1, ) (1 ) ( , 1) ( 1, 1) f f i i f f i i f f i i f f i i f h v h v f h v h v f h v h v f h v h v f h v = − − + − + + − + + + + (2.3) trong đó (h i ,v i ) và (h f ,v f ) tương ứng là các phần nguyên và phần phân c ủa các tọa độ điểm (h,v). 6 Các mô hình t ất định và xác suất Trong mô hình tất định, chuyển động được xem là một đại lượng tất định chưa biết. Bằng cách cực đại xác suất của dãy video quan sát được theo sự chuyển động chưa biết có thể ước lượng được đại lượng tất định này. Công thức ước lượng tương ứng thường được xem là bài toán ML. Trong mô hình xác suất, chuyển động được xem là một biến ngẫu nhiên. Tập các véctơ chuyển động tạo thành trường ngẫu nhiên. Trường này thường được mô hình hoá bằng trường ngẫu nhiên Markov (MRF). Việc ước lượng chuyển động có thể được công thức hoá bằng bài toán MAP. Các mô hình tham số và phi tham số Trong mô hình tham số, chuyển động được biểu thị bằng một tập các tham số chuyển động. Như vậy, bài toán ước lượng chuyển động trở thành bài toán ước lượng các tham số chuyển động. Với mô hình tham số, ràng buộc để làm theo đúng quy tắc bài toán ước lượng chuyển động giả định sai được đưa vào trong mô hình chuyển động một cách đầy đủ. Trong mô hình phi tham số, sự ràng buộc rõ ràng (ví dụ: tính trơn tru của trường chuyển động) được đưa vào để làm theo đúng quy tắc bài toán giả định sai về ước lượng chuyển động. Vùng hỗ trợ Vùng hỗ trợ là một tập các điểm mà mô hình chuyển động áp dụng. Vùng hỗ trợ có thể lớn như một khung hoặc nhỏ như một điểm, có thể có kích thước cố định hoặc thay đổi và có thể có hình dạng cân đối hoặc hình dạng tùy ý. 2.2.2. Các phương pháp ước lượng chuyển động Mục này giới thiệu một số phương pháp ước lượng chuyển động thường được sử dụng, đưa ra nhận xét những ưu điểm và nhược điểm của từng phương pháp, bao gồm: - Các phương pháp vi phân: Dựa vào mối quan hệ giữa các biến đổi về không gian và thời gian của cường độ. Các phương pháp này chấp nhận một số giả thiết hạn chế là véctơ chuyển động x phải nhỏ, 7 trái l ại thì nghiệm của bài toán sẽ kém chính xác và nhạy cảm đối với nhiễu. - Các phương pháp hồi quy điểm: Dựa vào sự tối thiểu theo gradient lặp đi lặp lại của lỗi dự đoán. Ước lượng phụ thuộc nhiều vào gradient không gian. Các phương pháp này phải chọn cỡ bước điều khiển phù hợp để dung hoà giữa tốc độ hội tụ và độ chính xác ước lượng. Có thể dễ hội tụ đến các điểm tối ưu cục bộ trong bề mặt lỗi. Vùng có cường độ ít thay đổi, các gián đoạn trong trường chuyển động và những dịch chuyển lớn là không thể xử lý hiệu quả. - Các phương pháp miền tần số: Dựa trên thuộc tính khai triển Fourier, khi dịch chuyển tịnh tiến trong miền không gian tương ứng với dịch pha tuyến tính trong miền tần số. Phương pháp tương quan pha có một số tính chất đặc biệt: Độ phức tạp tính toán nhỏ, đặc biệt khi sử dụng FFT; không nhạy cảm với những thay đổi độ sáng. - Các phương pháp phối hợp khối: Dựa vào việc chia khung ảnh thành các khối con và ước lượng chuyển động cho từng khối. Tuỳ vào việc lựa chọn hàm phối hợp (như NCCF, SSD, SAD) mà có hiệu quả khác nhau. So sánh về chất lượng dự đoán thì: SSD > SAD > NCCF. So sánh về độ phức tạp tính toán thì SAD có độ phức tạp tính toán thấp nhất bởi vì nó không đòi hỏi có phép nhân. - Các phương pháp lặp truyền thống: Đều thuộc họ thuật toán độ dốc, dựa trên toán tử gradient do đó vẫn còn hạn chế là tốc độ hội tụ chậm, độ bám thay đổi của hình ảnh không cao; độ ổn định không cao và vẫn cần có giá trị tham chiếu để so sánh. 8 CH ƯƠNG 3 ƯỚC LƯỢNG CHUYỂN ĐỘNG BẰNG CÁC GIẢI PHÁP MỚI 3.1. Giới thiệu Trong chương 3, luận án đề xuất những giải pháp ước lượng mới và được phân ra thành hai loại chính là: - Ước lượng chuyển động của ảnh bằng thuật toán Kalman: Mục tiêu đạt được là sử dụng ưu thế của thuật toán Kalman là lặp và có độ bám chuyển động tốt hơn so với các phương pháp gradient đồng thời phát huy được ưu thế của thuật toán Bayes là xét đặc điểm tự nhiên của dãy ảnh. - Ước lượng chuyển động của ảnh bằng các thuật toán mù: Mục tiêu đạt được là giải quyết bài toán không cần các thông tin huấn luyện thuật toán như đòi hỏi trong các phương pháp gradient nhằm nâng cao độ sử dụng băng tần truyền dẫn và mở rộng cho trường hợp nhiễu loạn bất kỳ. 3.2. Ước lượng chuyển động bằng Kalman 3.2.1. Đặt bài toán Giả thiết: z biểu diễn khung của một dãy ảnh tại thời điểm t. Trường chuyển động x 1 biểu thị độ lệch giữa z 1 và z 2 cho mỗi pixel tại các thời điểm t 1 , t 2 tương ứng. Trường phân vùng z bao gồm một số nhãn tại mọi pixel, mỗi nhãn biểu thị một mục tiêu chuyển động: ( 1,2, , ) n x n n N = = cho mỗi vị trí của pixel trên lưới Λ; N là tổng số mục tiêu chuyển động. Mục tiêu bài toán là ước lượng sự chuyển động x với các giá trị z đã cho. Trong nghiên cứu này, luận án giả thiết: a) Tập các giá trị đo 1 2 , , , k z z z ký hiệu bằng véctơ z là các giá trị biết trước. b) Mối quan hệ vật lý giữa trạng thái tự nhiên sẽ được ước lượng và các giá trị đo được biểu thị bằng quan hệ: ( , ) g = z x v (3.1) Thực tế mối quan hệ giữa z và độ dịch chuyển x là tuyến tính: [...]... J ( x, ) = trong ú i = uT z v > 0 l tham s k d i Mt phng phỏp khỏc gii quyt bi toỏn k d (3.61) gi l phng phỏp khai trin k d ct ct, trong ú ngi ta b qua cỏc giỏ tr suy bin nh nht bng cỏch ct b nhng thnh phn trong tng ca (3.70) ng vi r < n Nhn xột: Phng phỏp k d Tikhonov liờn quan cht ch vi c lng Bayes Trong phng phỏp ny, thng kờ bc hai ca tp 17 quan sỏt c s dng to nờn mụ hỡnh thụng tin tiờn nghim... ta cng gi thit rng cú th khai trin ma trn tng quan ca nhiu R NN (k ) nh sau: r (k ) (rnN (k ))T R NN (k ) = nn (3.96) rnN (k ) R NN (k ) trong ú rnn(k) l i lng tng ng vi t tng quan ca nhiu trong z, rnN(k) l vộct cha thnh phn tng quan chộo ca cỏc thnh phn nhiu trong zi v hi, RNN(k) l ma trn t tng quan ca cỏc thnh phn nhiu trong vộct hi quy hi Vic tớnh toỏn gradient ca J(x(k)) theo vộct h s c cho... bao gi cng ỳng Trong thc t, vi cỏc bi toỏn c lng, cú th vit h thng phng trỡnh tuyn tớnh di dng tng quỏt nh sau: Hx + v = z hoaởc Hx = z v (3.44) mìn m trong ú H=[hij]IR l mụ hỡnh ma trn, zIR l vộct o chuyn ng ca nh, vIRm l vộct sai s o, xIRn l vộct chuyn ng ca nh cn c lng mc ny, la chn ca nghiờn cu sinh l i tỡm vộct x sao cho ti thiu hm mc tiờu: J p (x) = z - Hx p = v( x) p , p 1 (3.45) trong ú vộct... chớnh xỏc trong c lng chuyn ng ca nh: Do mc dch chuyn tớnh toỏn theo phng phỏp Kalman t n phn thp phõn ca im nh nờn kt qu thc nghim minh chng trng chuyn ng thu c t phng phỏp Kalman mn hn so vi phng phỏp Bayes v s lng cỏc vộct ca trng chuyn ng trong phng phỏp Kalman cng ớt hn so vi phng phỏp Bayes KT LUN Trong khuụn kh ca lun ỏn, nghiờn cu sinh ó nghiờn cu cỏc phng phỏp c lng chuyn ng ca nh trong video,... gim hiu sut s dng ca kờnh 14 - Trong h thng a truy nhp, di ng, quỏ trỡnh o to cn ng b hoc cn gi cỏc tp o to theo tng thi im kt ni mi v phi ci t li ng b õy l iu khú thc hin c khc phc hn ch ú v khụng cn cỏc mu o to trong tớnh toỏn ca thut toỏn, lun ỏn a ra gii phỏp mự 3.4.2 c lng chuyn ng ca nh bng phng phỏp mự 1- c lng chuyn ng ca nh bng thut toỏn k vng hp lý max.max Trong cỏc bi toỏn c lng chuyn ng... im ca phng phỏp Bayes l tc hi t chm, bỏm chuyn ng ca nh khụng cao a ra gii phỏp s dng thut toỏn Kalman trong c lng trng thỏi chuyn ng x Da vo nh lut Bayes, thc hin cỏc bc tớnh nh sau: 1) Tớnh p(z ) 2) Tớnh p(x, z ) v p(z x) 3) Tớnh p(x z ) : S dng mt s phộp bin i toỏn hc, p(x z ) c tớnh nh sau: 10 p(x z ) = HP0 HT + R ( 2 ) n 2 P0 12 12 R 12 (3.11) exp{1 2(x x)T P 1 (x x)} P = P0 P0 HT (HP0... phc tp tớnh toỏn, va tng tc tớnh toỏn v bỏm qu o chuyn ng ca nh theo cỏc u im ca thut toỏn Kalman 3.3 c lng chuyn ng ti u ca nh trong video 3.3.1 t bi toỏn Trong mc 3.2, t c lng chuyn ng nh bng Bayes, lun ỏn ó a ra gii phỏp dựng thut toỏn lp Kalman c lng chuyn ng ca nh trong video nhm hn ch nhc im ca phng phỏp Bayes nhng vn gi c bn cht ni dung chuyn ng ca nh T õy xut hin bi toỏn tỡm c lng tt nht... s tr li cõu hi ú Gi thit trong quỏ trỡnh c lng chuyn ng ca nh, nhiu N tỏc ng vo cỏc thnh phn ca ma trn s liu c trng bng ma trn H v vộct kt qu o chuyn ng z cú sai s n Khi ú, phng trỡnh h thng cú dng: (3.82) ( H đúng + N ) x z đúng + n = z trong ú Hỳng l ma trn s liu khi khụng cú nhiu zỳng l vộct kt qu o chuyn ng ca nh khi khụng cú sai s Hóy xỏc nh nghim x ca mụ hỡnh (3.82) trong trng hp: - Nhiu Gauss... bng 0 - Nhiu l bt k gii bi toỏn ny, lun ỏn chn gii phỏp tỡm x sao cho cc tiu i lng: H trong ú 1 = = 2 F + (1 ) z 2 F (3.83) , H v z tng ng l nhiu lon ca ma 2 n 2 N trn H v vộct z Kho sỏt hm mc tiờu sai s trung bỡnh bỡnh phng chun: J (x) = E{eT (k )e(k )} (3.84) trong ú vộct sai s e c xỏc nh theo cụng thc sau: e(k ) = z Hx(k ) = (z đúng + n) (H đúng + N)x( k ) (3.85) vi Hỳng v zỳng l cỏc tham... nghim chch vỡ cỏc thnh phn 18 nhiu l cỏc hm ca x trỏnh vn ny, lun ỏn s dng hm mc tiờu sai s trung bỡnh bỡnh phng ci tin to nờn c lng khụng chch trờn c s bi toỏn tng bỡnh phng bộ nht (TLS) a ra thut toỏn thớch nghi lp, lun ỏn biu din hm mc tiờu nh sau: m J ( x) = J i ( x) i =1 trong ú J i (x) = E{ 2 (k )} = (3.88) 1 E{ei2 (k )} v ei = zi hT x ( hT l hng i i 2 + xT x th i ca H) Do ú, thut toỏn . là một bộ phận cấu thành trong bài toán mã hoá nén video. Trong ước lượng chuyển động, điểm s=[h, v] T trong khung hiện tại ở thời điểm t sẽ liên quan đến một điểm trong khung tham chiếu trước. tần truyền dẫn hiệu quả hơn. 1.2. Độ dư trong tín hiệu video, nhu cầu cần thiết nén video 1.2.1. Độ dư trong tín hiệu video Mục này trình bày về độ dư trong tín hiệu video, gồm: Độ dư thống. dư trong tín hiệu video và tìm kiếm giải pháp để loại bỏ độ dư đó chính là nén dữ liệu. 1.2.2. Nhu cầu cần thiết nén video Những thành tựu đạt được trong công nghệ điện tử - viễn thông - tin