基于內容的信息存取與MPEG-7
加入技術交流群
MPEG-7強調的是提供新的視聽內容描述方案。因此，文本不是MPEG-7的描述目標，但視聽內容可以包含或引用文本。因此，MPEG-7將考慮現有的其他標準組織開發的文本處理方案，并適當地支持這些標準。
四、 如何描述多媒體數據的內容
1.描述原則
在MPEG-7中，考慮了全面的描述原則。
(1) 多重和分層描述
由于描述特征在相應的應用中具有相應的含義，對于不同的用戶領域和不同的應用，描述特征將是不同的。
這意味著相同的資料可以使用不同類型的特征進行描述，以適應具體的應用領域。這里涉及到多重描述和分層描述的問題。在描述上，MPEG-7 允許不同的顆粒度，提供不同的鑒別級別。
多重描述就是在多媒體數據生成處理的各階段，支持對相同資料進行多重描述的能力，并可以把描述附加到相同資料的多份拷貝上。
分層描述基于多媒體資料的抽象級別。分層機制可以允許在不同的抽象級別上描述多媒體內容。抽象級別與特征抽取的方式有關，許多低級特征可以全自動地抽取，而高級特征則需要更多的人工交互。另外，還可以從不同的應用需求角度來描述媒體資料，例如從子對象的角度、運動分析的序列角度、視頻的情節結構等角度描述多媒體內容。
描述模式支持不同描述子的分層表示，第N層描述是 N-1層描述的增強、精煉或補充，以便查詢能有效地一層一層地處理，支持高效的查詢。
(2) 關系描述
用描述模式來表達描述子之間的各種關系，允許描述子在多個描述模式中使用。
MPEG-7支持描述子與不同時間范圍相關聯，可以是層次型的，即描述子與整個數據和部分時間子集關聯;或順序型的，描述子與時間段順序關聯。
(3) 支持查詢方面
支持音頻、視覺或其他描述子在交叉模式下的查詢，如允許基于視覺描述的查詢去檢索音頻數據或相反的過程。
描述模式支持描述子的優先級，以便更有效地處理查詢，同時優先級可以反映信任或可靠級。另外，還可以支持描述子作為句柄，直接引用數據，操縱多媒體資料。
2.多媒體特征類型
MPEG-7支持各種類型的多媒體特征，如:
N維時空特征 對于空間類型，從微觀上看，是對象的紋理和形狀，從宏觀上看，是對象的空間關系和表現空間;時間類型，指對象隨時間變化的軌跡，如音樂區段的持續時間等。
客觀特征 反映視聽數據本身具備的特性。如對象的顏色、形狀、紋理、音頻頻率等。
主觀特征 人對視聽數據的主觀感知。如對情緒(快樂、憤怒)和風格的描述。
產品特征 如記錄作者、生產者、導演等信息。
概念 用于描述事件和活動等概念。
在許多情況下，利用文本信息作為描述是可取的。但必須注意到，有用的描述盡可能獨立于語言范疇，采用清楚的描述形式，如用作者、影片、地名的文本形式。
除了內容的描述，還需要包含其他類型有關多媒體數據的信息：
形式 如編碼模式、數據大小。該信息幫助確定資料是否對用戶是“可讀”的。
存取資料的條件 可以包含版權、許可證和授權信息以及價格數據。
類別 可以包含父等級，用于歸入預定的類。
到其他相關資料的鏈 支持其他信息與數據的關聯。
上下文 資料記錄的場合，如“1996年奧運會男子200 米障礙決賽” 中描述的時間和地點。
交互活動 支持交互活動工具，允許說明與描述相關的交互活動。如與廣告相關的遠程購物中的交互。
MPEG-7數據可以物理上與相關的AV資料在一起或在相同的數據流或在相同的存儲系統中，但描述也可以放在全球的任何其他地方。當內容和它的描述不在一個地方時，需要鏈接AV資料和它們的MPEG-7描述的機制，這些鏈應該是雙向的。
3. 視覺數據的描述
MPEG-7具體對視覺方面的描述子和描述模式有以下方面的要求：
(1) 特征類型
視覺描述允許以下特征(與查詢中使用的信息類型有關)：顏色、視覺對象、紋理、輪廓(草圖)、形狀、靜止和動態圖像、體積、空間關系(相對于圖像和圖像序列中的對象空間和拓撲關系，這個關系是空間合成關系)、運動(如視頻鏡頭中的運動，用于利用時間合成信息來檢索等方面)、變形(如對象的彎曲)、視覺對象的源和它的特性(如源對象、源事件、源屬性、事件、事件屬性等)、模型(如MPEG-4 SNHC)。
(2) 利用描述進行數據可視化
MPEG-7數據描述應該容許被索引數據或多或少地粗略可視化。
(3) 可視數據的格式
支持以下可視數據格式：數字視頻和電影(例如MPEG- 1/2/4)、模擬視頻和電影、電子形式的靜態圖像(如JPEG)或紙上的圖像、圖形、3D模型以及與視頻關聯的編輯數據。
(4) 可視數據類型
可以是自然視頻、靜態圖像、圖形、動畫、三維模型、編輯信息。
4.聽覺數據的描述
同樣，對音頻數據的描述子和描述模式有以下要求：
(1) 特征類型
頻率輪廓線、音頻對象、音色、和聲、頻率特征、振幅包絡、時間結構(包括節奏)、文本內容(語音或歌詞)、聲波近似值(通過哼唱一段旋律或發出一種聲音效果來生成)、原型聲音(典型的用于示例查詢)、空間結構(用于多通道聲源，如立體聲、5.1通道等，每個聲道有特定的映像)、聲源和它的特性(例如源對象、源時間、源屬性、事件、事件屬性和典型的關聯場景)、模型(如MPEG-4 SAOL)。
(2) 描述數據的聽覺化
類似視覺數據的要求。
(3) 聽覺數據格式
數字音頻(如MPEG-1音頻、CD)、模擬音頻(如錄音帶介質)、MIDI(包括一般的MIDI和Karaoke格式)、基于模型的音頻、產品數據。
(4) 聽覺數據類
聲音軌跡(自然音頻場景)、音樂、原子聲音效果(如掌聲)、語音、符號音頻表示(MIDI、SNHC音頻)、混音信息(包括效果)。
評論