Применение MPEG-7 для классификации и поиска визуальных данных

1. Применение MPEG-7 для классификации и поиска визуальных данных Вихровский Кирилл vkirv@mail.ru Graphics & Media Lab

2. Проблемы поиска мультимедиа данных • Более 90% информации создается и хранится в цифровом виде • цифровых архивов • широковещательных потоков • в форме частных или профессиональных баз данных • Большинство систем хранения и поиска информации не предоставляют возможности поиска мультимедиа данных • либо имеют собственный формат описания свойств объектов

3. Стандарт MPEG-7 • MPEG-7 являетсястандартом ISO/IEC • “Интерфейс для описания мультимедийного содержимого” - Multimedia Content Description Interface • Цель: стандартизовать описание семантики мультимедийного материала, которое может быть передано для обработки ЭВМ • MPEG-7 использует схему XML в качестве языка выбора текстуального представления описания материала

4. Средства стандарта Главными элементы стандарта MPEG-7: • Дескрипторы (Descriptors) • определяют синтаксис и семантику представления каждой из характеристик элемента данных • Схемы описания (Description Scheme) • специфицируют структуру и семантику взаимодействия между компонентами (дескрипторами и схемами описания) • Язык описания определений (Description Definition Language) • позволяет создавать новые DS и, возможно, D и обеспечивает расширение и модификацию существующих DS • Системные средства • служат для поддержки двоичного представления, механизмов передачи, синхронизации описаний с материалами, контроля интеллектуальной собственности в описаниях MPEG-7, и т.д.

5. Поиск и классификация • Контентно-зависимый поиск (CBR). • основываются на сравнении таких характеристик как цвет, текстура или форма • Поиск на основе метаданных (MBR). • использует более высокоуровневую информацию, опираясь на ключевые слова или свободную текстовую аннотацию

6. Поиск на основе метаданных:Примерописания MPEG-7 <Mpeg7> <Description type="SemanticDescriptionType"> <Semantics> <Label> <Name>Dodge Viper</Name> </Label> <Definition> <FreeTextAnnotation> mountain on the background </FreeTextAnnotation> </Definition> <MediaOccurrence> <MediaLocator> <MediaUri>image.jpg</MediaUri> </MediaLocator> </MediaOccurrence> </Semantics> </Description> </Mpeg7>

7. Дескрипторы цвета MPEG-7 Устойчивы к изменению цветов фона и независимы от размера изображения и ориентации объекта в сцене • Цветовое пространство(CS) • пространства RGB, YCrCb, HSV, HMMD (hue-min-max-diff), матрица линейного преобразования с учетом RGB, монохромное • Масштабируемый цвет(SCD) • описывающий распределение цвета в изображении • может быть использован для эффективного поиска в базе однородных данных • Доминантный цвет(DCD) • наиболее удобный для представления локальных характеристик • высокоскоростной поиск, где для предоставления цветовой информации достаточно малого числа цветов

8. Дескрипторы цвета MPEG-7 • Цветовое распределение(CLD) • описывает пространственное распределение цветов в областях произвольной формы • Структура цвета(CSD) • локальные цветовые характеристики в изображениях • поиск, базирующийся на подобии естественных изображений

9. Дескрипторы текстуры Могут быть использованы как независимо, так и в комбинации с другими MPEG-7 дескрипторами • Однородная текстура(HTD) • поиск и просмотр в большой коллекции сходно выглядящих образов • Краевая гистограмма(EHD) • поиск изображений по образцам или наброскам, в особенности для изображений с нерегулярными краями

10. Дескрипторы формы Предоставляет мощное средство для поиска и сравнения в базе изображений • Форма, базирующаяся на областях (Region Shape) • Форма, базирующаяся на контуре (Contour Shape)

11. Дескрипторы формы • 3D-форма (Shape 3D) • Дескриптор 2D/3D формы • 3D объект может быть описанконечным числом 2D форм • известен как дескриптор световых полей • устойчивый поиск в базе объектов с различными разрешениями

12. Экспериментальная модель • Модули программного обеспечения XM используют специфицированные интерфейсы • Это позволяет облегчить навигацию среди множества различных модулей для разных D и DS. • С другой стороны, использование фиксированного интерфейса позволяет повторно использовать и объединять отдельные модули в большие приложения.

13. Особенности поиска создаваемой системы • Гистограмма цветов • поиск в базе однородных данных • Краевая гистограмма • поиск по образцу или наброску • Форма, базирующаяся на контуре • поиск, основанный на сходстве • устойчиво при частичном перекрытии формы

14. Область применения • Мультимедийные библиотеки • Фотоальбомы • Базы 3D-моделей для разработчиков компьютерных игр и дизайнеров