Đang tải... (xem toàn văn)
Tìm hiểu về chuẩn mã hoá MPEG 7
TÌM HIỂU VỀ MPEG-7 Mục lục 1 I. Khái niệm MPEG-7 MPEG-7 là chuẩn cung cấp một mô tả chuẩn hoá cho phép truy cập và xử lý hiệu quả nội dung đa phương tiện. MPEG-7 sẽ chuẩn hoá tập các bộ mô tả, tập các sơ đồ mô tả, một ngôn ngữ định nghĩa mô tả và các sơ đồ cho mã hoá các mô tả. Nhờ có MPEG-7 mà chúng ta có thể tương tác với dữ liệu đa phương tiện qua nội dung của chúng. Với sự xuất hiện của MPEG-7, rất nhiều ứng dụng hay có thể thực hiện được, đơn giản hơn hãy tưởng tượng một vài ứng dụng được mô tả dưới đây: - Bạn bước vào một kho dữ liệu khổng lồ để tìm một bài hát nhưng quên mất thông tin về bài hát đó như là: tên, tác giả, ca sỹ, . mà chỉ nhớ một đoạn giai điệu của bài hát đó. Không sao, bạn hãy hát lên giai điệu đó qua một hệ thống recorder, âm thanh của bạn sẽ được lấy mẫu rồi trích các đặc trưng rồi hệ thống tự động so sánh và tìm trong kho dữ liệu những bài hát "thích hợp" nhất với những đặc trưng tìm kiếm. - Bạn không muốn xem hết một trận đá bóng mà chỉ muốn xem những bàn thắng trong trận đấu đó? Chỉ cần gửi câu truy vấn đến hệ thống với từ khóa "Goal" hay gì đó (theo hệ thống định nghĩa), lần lượt các bàn thắng sẽ được trình chiếu trước bạn. - Bạn muốn tìm một picture nào đó giống một ảnh cho trước hoặc giống một hình do bạn tự vẽ ra? Hệ thống cũng có thể thực hiện được thông qua trích chọn đặc trưng và so sánh với kho dữ liệu đã có và trả về kết quả. II. Lĩnh vực ứng dụng Lưu trữ và phục hồi cơ sở dữ liệu nghe nhìn (hình ảnh, phim ảnh, phát thanh lưu trữ) Lựa chọn phương tiện truyền thông phát sóng (phát thanh, chương trình truyền hình) Giám sát (điều khiển giao thông, bề mặt giao thông vận tải, dây chuyền sản xuất) Thương mại điện tử và mua sắm trực tuyến (tìm kiếm quần áo / mẫu) Viễn thám (bản đồ học, sinh thái học, quản lý tài nguyên thiên nhiên) Giải trí (tìm kiếm một trò chơi, cho karaoke) Dịch vụ văn hóa (bảo tàng, phòng trưng bày nghệ thuật) Báo chí (tìm kiếm cho các sự kiện, con người) 2 các ứng dụng giáo dục Các ứng dụng y sinh học. Một số ví dụ Văn bản: - Tìm tài liệu AV với các khái niệm mô tả bằng văn bản. Ngữ nghĩa: - Tìm những tài liệu AV tương ứng với ngữ nghĩa được chỉ định Hình ảnh: - Tìm một hình ảnh với một đặc tính tương tự (toàn cầu hay địa phương) Âm nhạc: - Hát một vài đoạn nhạc và tìm kiếm trong kho dữ liệu mẫu tương ứng với âm thanh đã hát. Chuyển động: - Tìm video với quỹ đạo chuyển động của đối tượng cụ thể. III. Thành phần chính của MPEG-7 TagsTags <scene id=1> <time> <camera> <annotation </scene> InstantiationInstantiation TagsTags <scene id=1> <time> <camera> <annotation </scene> InstantiationInstantiation Descriptors:Descriptors: (Syntax & semantic(Syntax & semantic of feature representation)of feature representation) D7 D2 D5 D6 D4 D1 D9 D8 D10 10101 1 0 Encoding & Delivery 10101 1 0 Encoding & Delivery D3 Language Description Definition ⇒⇒ extensionextension DefinitionDefinition Language Description Definition ⇒⇒ extensionextension DefinitionDefinition Description SchemesDescription Schemes D1 D3D2 D5D4D6 DS2 DS3 DS1 DS4 StructuringStructuring Description SchemesDescription Schemes D1 D3D2 D5D4D6 DS2 DS3 DS1 DS4 Description SchemesDescription Schemes D1 D3D2 D5D4D6 DS2 DS3 DS1 DS4 StructuringStructuring Descriptor(D) Cú pháp, ngữ nghĩa thể hiện cho từng thuộc tính, tức là một phần tử (XML) siêu dữ liệu định nghĩa cú pháp và ngữ nghĩa của mỗi đặc tính (feature). Description Shemes(DS) 3 Gồm nhiều cái mô tả hoặc lược đồ mô tả (thành phần). Nó đặc tả cấu trúc và ngữ nghĩa của quan hệ giữa các thành phần. Description Definition Language (DDL) Định nghĩa cú pháp của các công cụ mô tả MPEG-7 và cho phép tạo mới, sửa đổi, mở rộng các lược đồ mô tả và/hoặc cái mô tả. IV. Các chức năng chính của MPEG-7 Systems (ISO / IEC 15938 - 1) Description Definition Language (ISO / IEC 15938 - 2) Visual (ISO / IEC 15938 - 3) Audio (ISO / IEC 15938 - 4) Multimedia Description Schemes (ISO / IEC 15938 - 5) Reference Software (ISO / IEC 15938 - 6) System: Quy định cụ thể các công cụ để chuẩn bị mô tả cho truyền và lưu trữ có hiệu quả (dạng nhị phân), nén mô tả, và cho phép đồng bộ hóa giữa nội dung và mô tả DDL: xác định các tiêu chuẩn (cú pháp) của các công cụ mô tả (DSs, Ds, và kiểu dữ liệu) và để xác định các công cụ mô tả mới. Visual: mô tả nội dung hình ảnh Audio: mô tả nội dung âm thanh MDS: quy định cụ thể các công cụ mô tả tổng quát liên quan đến đa phương tiện bao gồm các nội dung âm thanh và hình ảnh Reference Software: cung cấp một phần mềm thực hiện các tiêu chuẩn. IV.1 MPEG-7 Multimedia Description Schemes(MDS) Thành phần chính. 4 Basic datatypes Links & media localization Basic Tools Models Basic elements Navigation & Access Content management Content description Collections Summaries Variations Content organization Creation & Production Media Usage Semantic aspects Structural aspects User interaction User Preferences Schema Tools User History Views Views IV.1.1 Basic elements. - Schema Tools( Công cụ giản đồ): hỗ trợ sự hình thành, đóng gói, và chú thích của MPEG-7 - Basic datatypes (Các kiểu dữ liệu cơ bản): các loại cung cấp một tập hợp các kiểu dữ liệu mở rộng và cấu trúc toán học như vector và ma trận, đó là cần thiết bởi DSS để mô tả nội dung AV - Links & media localization (Liên kết & Truyền thông địa điểm): địa phương hóa phần của nội dung, và mô tả thời gian, địa điểm, con người, cá nhân, nhóm, tổ chức, và chú thích văn bản khác. - Basic Tools: Hỗ trợ về ngôn ngữ, con người, địa điểm. IV.1.2 Content management (Quản lý nội dung) Cho phép các mô tả về vòng đời của nội dung, từ nội dung đến tiêu dùng. giới thiệu mô tả nội dung MPEG-7 có thể có sẵn trong các hình thức khác nhau, định dạng, chương trình mã hóa, và có thể có một số trường hợp. Ví dụ, một buổi hòa nhạc có thể được ghi lại trong hai phương thức khác nhau: âm thanh và nghe nhìn. Mỗi một trong các phương thức có thể được mã hóa bởi chương trình mã hóa khác nhau. Điều này tạo ra một số hồ sơ phương tiện truyền thông. 5 Bao gồm: - Creation & Production(Sáng tạo và sản xuất) o Tiêu đề, tác giả, địa điểm sáng tạo, thời gian sáng tạo, chú thích kết cấu Chủ đề, mục đích, ngôn ngữ, . - Media(Phương tiện truyền thông ) o mã hóa, lưu trữ và các định dạng tập tin, dịnh dạng, nén, . - Usage(sử dụng nội dung) Sử dụng quyền (Quyền to use), hồ sơ sử dụng, Chủ sở hữu, quyền truy cập, Sử dụng Record, các khía cạnh tài chính, vv… Chỉ một phần của mô tả đó phụ thuộc vào các phương tiện lưu trữ hoặc định dạng mã hóa là MediaInformation mô tả trong phần này. Phần còn lại của mô tả MPEG-7 không phụ thuộc vào các cấu hình khác nhau hoặc các trường hợp và, kết quả là, có thể được sử dụng để mô tả cùng tất cả các bản sao có thể của nội dung. 1. Creation & Production - Mô tả tác giả tạo ra thông tin về quá trình tạo / sản xuất nội dung AV. Thông tin này có thể không thường được chiết xuất từ các nội dung. Thông tin này có liên quan đến vật chất mà nó không được mô tả một cách rõ ràng trong nội dung thực tế. Mô tả các thông tin sáng tạo và sản xuất có như yếu tố hàng đầu cấp, các CreationInformation DS, trong đó bao gồm một sáng tạo D, bằng không hoặc một phân loại D, và số không hoặc nhiều RelatedMaterial Ds. Việc tạo ra D có chứa các công cụ Mô tả liên quan đến việc tạo ra các nội dung, bao gồm địa điểm, ngày, hành động, nguyên vật liệu, nhân viên (kỹ thuật và nghệ thuật) và các tổ chức liên quan. Phân loại D chứa các công cụ Mô tả cho phép phân loại nội dung AV. Phân loại D được sử dụng để mô tả việc phân loại các nội dung AV. Nó cho phép tìm kiếm và lọc dựa trên sở thích người dùng về phân loại theo định hướng người sử dụng (ví dụ, ngôn ngữ, phong cách, thể loại, vv) và phân loại dịch vụ theo định hướng (ví dụ, mục đích, hướng dẫn của cha mẹ, phân khúc thị trường, phương tiện truyền thông đánh giá, vv.) Các vật liệu liên quan D chứa các công cụ Mô tả liên quan đến thông tin bổ sung về nội dung AV có sẵn trong các vật liệu khác. 2. Media - Mô tả của các phương tiện truyền thông liên quan đến một yếu tố cấp cao duy nhất, MediaInformation DS. Nó bao gồm một tùy chọn MediaIdentification D và một hoặc một số Ds MediaProfile 6 Truyền thông xác định D chứa Công cụ Mô tả được cụ thể cho việc xác định các nội dung AV, độc lập với các trường hợp khác nhau có sẵn. Các phương tiện thông tin cấu hình khác nhau của nội dung được mô tả thông qua truyền thông của họ và hồ sơ cho mỗi hồ sơ có thể có trường hợp khác nhau có sẵn phương tiện truyền thông. Truyền thông Hồ sơ D chứa các công cụ Mô tả khác nhau cho phép mô tả của một hồ sơ cá nhân của AV nội dung truyền thông được mô tả. Khái niệm hồ sơ liên quan đến các biến thể khác nhau mà có thể được sản xuất từ một phương tiện truyền thông ban đầu hoặc chủ phụ thuộc vào các giá trị được lựa chọn cho mã hóa, định dạng lưu trữ, vv Các hồ sơ tương ứng với bản gốc hoặc chủ của nội dung AV được xem là bậc thầy hồ sơ phương tiện truyền thông. Đối với mỗi hồ sơ cá nhân có thể có một hoặc nhiều trường hợp phương tiện truyền thông của hồ sơ phương tiện truyền thông tổng thể. Các MediaProfile D gồm có: • MediaFormat D: chứa Công cụ Mô tả được cụ thể cho các định dạng mã hóa của hồ sơ phương tiện truyền thông. • MediaInstance D: chứa các công cụ Mô tả để nhận biết và xác định vị trí các trường hợp phương tiện truyền thông khác nhau (bản sao) có sẵn của một hồ sơ phương tiện truyền thông. • MediaTranscodingHints D: chứa Mô tả Các công cụ chuyển mã định gợi ý của các phương tiện truyền thông được mô tả. Mục đích của D này là để nâng cao chất lượng và giảm độ phức tạp cho các ứng dụng chuyển mã. Các gợi ý chuyển mã có thể được sử dụng trong chuyển mã video và kiến trúc đánh giá chuyển động để giảm sự phức tạp tính toán. • MediaQuality D: đại diện cho thông tin đánh giá chất lượng của một nội dung âm thanh hoặc hình ảnh. Nó có thể được sử dụng để đại diện cho cả hai xếp hạng chất lượng chủ quan và xếp hạng chất lượng khách quan. 3. Usage Nội dung sử dụng thông tin Mô tả Công cụ mô tả thông tin về quá trình sử dụng các nội dung AV. Các mô tả về thông tin sử dụng được kích hoạt bởi các UsageInformation DS, có thể bao gồm một quyền D, bằng không hoặc một D tài chính, và Ds trống không hoặc một số và UsageRecord Ds. 7 Điều quan trọng cần lưu ý là mô tả UsageInformation DS có thể kết hợp giới thiệu mới mỗi lần nội dung được sử dụng (ví dụ, UsageRecord DS, thu nhập trong kiểu dữ liệu tài chính), hoặc khi có những cách thức mới để truy cập vào các nội dung (ví dụ, trống D). Kiểu dữ liệu quyền cho phép truy cập các thông tin cho chủ sở hữu quyền của nội dung chú thích (IPR) và quyền truy cập. Kiểu dữ liệu chứa thông tin tài chính liên quan đến các chi phí phát sinh và thu nhập được tạo ra bởi nội dung AV. Các khái niệm về phần chi phí và thu nhập cho phép việc phân loại chi phí khác nhau và thu nhập như một chức năng của loại của họ. Tổng số và tổng phụ chi phí và thu nhập sẽ được tính toán bởi các ứng dụng từ các giá trị một phần. DS trống có chứa các công cụ Mô tả liên quan đến sự sẵn có để sử dụng nội dung. Các UsageRecord DS chứa các công cụ Mô tả liên quan đến việc sử dụng quá khứ của nội dung. IV.1.3 Content description (Mô tả nội dung) - Structural aspects(lĩnh vực cấu trúc): mô tả nội dung âm thanh-hình ảnh từ điểm nhìn của cấu trúc của nó, chẳng hạn như cấu trúc không gian, thời gian hoặc không- thời gian của nội dung âm thanh hình ảnh, hoặc một cấu trúc phân cấp). - Conceptual aspects(Lĩnh vực khái niệm): mô tả nội dung nghe nhìn từ quan điểm của ngữ nghĩa thực tế và khái niệm khái niệm như vật, sự kiện, khái niệm trừu tượng và các mối quan hệ. IV.1.4 Navigation & access( Danh mục và truy cập) DSS để tạo điều kiện thuận lợi cho duyệt web và truy xuất nội dung nghe nhìn bằng cách định nghĩa tóm tắt, phân vùng và phân tách, và các biến thể của các tài liệu nghe-nhìn Summary(Tóm tắt) - Cấu trúc tóm tắt tổ chức các thông tin thành các cấp độ kế tiếp, mỗi mô tả nội dung âm thanh-hình ảnh ở mức độ chi tiết khác nhau. Nói chung, mức độ gần vào thư mục gốc của hệ thống phân cấp cung cấp bản tóm tắt thô hơn, và mức độ hơn nữa từ gốc cung cấp các bản tóm tắt chi tiết hơn. - Tóm tắt tuần tự cung cấp một chuỗi các hình ảnh hoặc khung hình video, có thể đồng bộ hóa với âm thanh, có thể soạn một slide-show hoặc audio-visual skim. Variations (Biến thể) - Cung cấp thông tin về các biến thể khác nhau của các chương trình nghe nhìn, chẳng hạn như bản tóm tắt và tóm tắt, phiên bản thu nhỏ, nén và độ phân giải thấp, 8 và các phiên bản với các ngôn ngữ và các phương thức khác nhau - âm thanh, video, hình ảnh, văn bản, và vv Cho phép lựa chọn sự thay đổi phù hợp nhất của một chương trình nghe nhìn, mà có thể thay thế nội dung ban đầu, nếu cần thiết, để thích ứng với các khả năng khác nhau của các thiết bị đầu cuối, điều kiện mạng, sở thích của người dung. 1. Summaries Tổng kết các DS mô tả tóm tắt nhỏ gọn nội dung khác nhau AV để tạo điều kiện phát hiện, trình duyệt, và chuyển hướng các nội dung AV. Các mô tả tóm tắt cho phép nội dung AV để được lái trong cả hai một cách phân cấp hoặc tuần tự. Tóm tắt phân cấp tổ chức các nội dung thành các cấp độ kế tiếp của chi tiết. Tóm tắt tuần tự sáng tác trình tự của hình ảnh, có thể đồng bộ hóa với âm thanh, để mô tả một slide-show hoặc AV gầy. DS tổng kết: các-7 MPEG tóm tắt cho phép duyệt web nhanh chóng và hiệu quả và định hướng bởi trừu tượng hóa các thông tin nổi bật từ nội dung AV. Tổng kết các DS chứa các liên kết đến nội dung AV, ở cấp độ của các phân đoạn và khung. Đưa ra một mô tả MPEG-7 tổng hợp, một thiết bị đầu cuối, chẳng hạn như một hộp truyền hình kỹ thuật số set-top, truy cập vào các tài liệu AV sáng tác các bản tóm tắt và làm cho kết quả tương tác tiếp theo với người sử dụng. DS Tổng kết có thể mô tả nhiều tóm tắt nội dung AV nhau, chẳng hạn như cung cấp mức độ chi tiết khác nhau hoặc làm nổi bật các tính năng cụ thể, các đối tượng, các sự kiện, hoặc ngữ nghĩa. Bằng cách bao gồm các liên kết đến nội dung AV trong tóm tắt, nó có thể tạo ra và lưu trữ nhiều bản tóm tắt mà không cần lưu trữ nhiều phiên bản của bản tóm tắt nội dung AV HierarchicalSummary DS: Các HierarchicalSummary DS mô tả việc tổ chức tổng kết thành nhiều cấp độ để mô tả mức độ chi tiết khác nhau theo thời gian. Các HierarchicalSummary DS được xây dựng xung quanh khái niệm chung chung của các phân đoạn thời gian nội dung AV, được mô tả bởi DSS HighlightSegment. 9 HighlightSummary HighlightSummary Hierarchical Summary Highlight Segment Highlight Segment Highlight Segment Highlight Segment Highlight Segment Highlight Segment Highlight Segment Video Data Audio Data SequentialSummary DS: các SequentialSummary DS mô tả tóm tắt bao gồm một chuỗi các hình ảnh hoặc khung hình video, mà có thể đồng bộ hóa với âm thanh. Các SequentialSummary cũng có thể chứa một chuỗi các clip âm thanh. Nội dung AV đã tạo nên SequentialSummary có thể được lưu giữ riêng với nội dung AV ban đầu để cho phép nhanh chóng chuyển hướng và truy cập. Ngoài ra, các SequentialSummary có thể liên kết trực tiếp đến nội dung AV ban đầu để giảm lưu trữ. 2. Variations - Biến thể DS mô tả các biến thể của các nội dung AV, chẳng hạn như nén hoặc các phiên bản, tóm tắt, ngôn ngữ khác nhau, và các hình thức khác nhau, chẳng hạn như âm thanh, video, hình ảnh, văn bản, và vv độ phân giải thấp. Một trong những chức năng nhắm mục tiêu của Biến DS là để cho phép một máy chủ hoặc proxy để chọn sự thay đổi phù hợp với hầu hết các nội dung AV giao theo khả năng của thiết bị đầu cuối, điều kiện mạng, hoặc sở thích người dùng. Những biến tấu DS mô tả các biến thể thay thế khác nhau. Các biến thể có thể tham khảo mới được tác giả nội dung AV, hoặc tương ứng với nội dung AV có nguồn gốc từ một nguồn khác. Một biến thể trung thực giá trị cho chất lượng của sự thay đổi so với bản gốc. Các loại thuộc tính khác biệt cho thấy các loại biến thể, chẳng hạn như bản tóm tắt, trừu tượng, chiết xuất, dịch phương thức, dịch ngôn ngữ, giảm màu, giảm không gian, giảm tốc độ, nén, và vv… 10 . VỀ MPEG- 7 Mục lục 1 I. Khái niệm MPEG- 7 MPEG- 7 là chuẩn cung cấp một mô tả chuẩn hoá cho phép truy cập và xử lý hiệu quả nội dung đa phương tiện. MPEG- 7. tiện. MPEG- 7 sẽ chuẩn hoá tập các bộ mô tả, tập các sơ đồ mô tả, một ngôn ngữ định nghĩa mô tả và các sơ đồ cho mã hoá các mô tả. Nhờ có MPEG- 7 mà chúng ta
