Multimedia Database

Management System (MMDBMS)

Mengapa Multimedia DBMS?

Multimedia database management system

(MM-DBMS)

Merupakan sebuah database yang mengelola berbagai jenis data yang yang terdiri dari beragam format pada beragam unsur/elemen media

Permintaan Multimedia DBMS? (1)

Seperti DBMS tradisional, MM-DBMS harus memenuhi permintaan:

1. Integration

• Data item tidak perlu digandakan untuk program aplikasi yang berbeda

2. Data independence

• Memisahkan database dan manajemennya dari program aplikasi

3. Concurrency control

• Memungkinkan transaksi konkuren

Permintaan Multimedia DBMS? (2)

4. Persistence

• obyek data dapat disimpan dan digunakan kembali oleh transaksi dan pemanggilan program yang berbeda

5. Privacy

• Otorisasi akses dan kontrol

6. Integrity control

• Menjamin konsistensi antara transaksi database

7. Recovery

• Kegagalan transaksi tidak boleh mempengaruhi persistensi penyimpanan data

8. Query support

• Memungkinkan query yang mudah dari data multimedia

Contoh MMDBMS

Digital Library

Picture Searching

News-On-Demand

Video-On-Demand

Video Filter

Music Database

Telemedicine

Geographic Information System

Social Networking

Timothy– three layers

Interface

Object composition

Storage

Interface: object browsing, query, compose dan decompose

Object Composition: mengelola objek multimedia

dan indexing

Storage: clustering

Arsitektur MMDBMS

Arsitektur MMDBMS

Multimedia DB

Source Data

Preprocessing

Index

Multimedia Application

Interface

Object Composition

Storage

Model MM Database (1)

Berdasarkan pada

Principle of Autonomy

Setiap jenis media diatur dengan cara khusus yang sesuai untuk jenis media

Diperlukan perhitungan gabungan antar struktur data yang berbeda

Pemrosesan permintaan (query) relatif cepat karena struktur data yang khusus

Model MM Database (2)

Berdasarkan pada

Principle of Uniformity

Struktur abstrak tunggal untuk mengindeks semua jenis media

Susah untuk mendefinisikan media dengan format diluar yang telah ditentukan

Satu struktur implementasi yang

mudah

Penanda untuk berbagai jenis media

Model MM Database (3)

Berdasarkan pada

Principle of Hybrid Organization

Sebuah gabungan dari dua yang pertama.

Jenis media tertentu menggunakan indeks sendiri, sementara yang lain menggunakan "satu" indeks

Upaya untuk menggabungkan

keuntungan dari dua yang pertama

Penggabungan di beberapa

jenis media menggunakan

indeks asli

Jenis MM Database1. No Integration

size fps titleid filename

000001 530M 30 soam l6.mpg

000002 450M 30 tibor l7.mpg

000003 600M 30 parag l5.mpg

000004 510M 30 wei l4.mpg

Berupa link/ patch file.

Jenis MM Database2. Semi-intergrated

000001b70ae9902...

BLOB

Jenis MM Database3. Fully Intergrated

index

buffers

storage

Komponen Database MM

QueryInterface

QueryProcessing

indexbuffermanager

storagemanager

Permasalahan Query

Memerlukan dukungan untuk:

• hubungan temporal dan spatial

• ―natural‖ interface

• fuzzy query

SQL tidak sesuai.

Contoh Skenario Multimedia

Consider a police investigation of a large-scale drug operation. This investigation may generate the following types of data.

• Video data captured by surveillance cameras that record the activities taking place at various locations.

• Audio data captured by legally authorized telephone wiretaps.

• Image data consisting of still photographs taken by investigators.

• Document data seized by the police when raiding one or more places.

• Structured relational data containing background information of the suspects involved.

• Geographic information system data remaining geographic data relevant to the drug investigation being conducted.

Contoh query MMDB-SQL

Find all image/video objects containing Big Spender wearing a purple suit. This can be expressed as the MMDB-SQL query:

SELECT M

FROM mmdb sourcel M

WHERE (FindType(M)=Video OR FindType(M)=Image)

AND

M IN FindObjWithFeatureandAttr(Big

Spender, suit, purple)

Topologi Operator Relasi dlm MMDB

disjoint

meet

overlap

covered by

inside

equal

covers

contains

13 Hubungan Temporal

Allen (83)

before

meets

overlaps

finished by

contains

started by

equals

starts

finishes

during

overlapped by

met by

after

Contoh Query yang lain

Image

Audio

• Music

• Sound

• Speech

Video

Querying Image

Pendekatan umum

• memungkinkan query oleh sketsa (warna, bentuk, tekstur) atau contoh.

• melakukan pencocokan oleh

Vektor F= (, v1 v2, ... vn)

misalnya Histogram Warna

Contoh Sistem yang telah ada:

• QBIC

• VisualSEEK

• PhotoBook

• FourEyes

Pencarian Gambar Google

Google Goggles

Querying Music

Chou, Chen, & Liu (96)

• Query by chord

• Represents musics by chord

• C Am Em F C Am Em F ...

• Perform fuzzy match

Chen & Chen (98)

• Query by ―rhythm‖ and tempo

• Represents musics by rhythm

• | ¶¶— | ¶·¶·| ¶¶¶¶ | ...

• Perform fuzzy match

Querying Sound

Wold, Blum, Keisar & Wheaton (96)

• Analyze audio to extract features

• loudness, pitch, brightness, bandwidth and harmonicity

• Segment the audio to pieces

• Feature Vector Matchings

Querying Speech

Hauptmann & Witbrock (97)

• Informedia

• Use speech recorgnition to convert audio to text

• Query by speaking keywords

Sony Track Id

Video Query

Chang et. al (97)

• User can sketch objects

• Specifies

• color

• texture

• shape

• motion

• duration

• camera zoom and pan.

Visual Query Example

Someone SkiingTitanic Sinking

Content-Based Visual Information Retrieval (CBVIR)

Image Retrieval Methodologies

Free browsing

Text-based keyword searching

Content–based searches

Multimedia retrieval systems often useCombinations of methodologies

Free browsing

Menyajikan pengguna dengan set link ke gambar

Termasuk ringkasan

(misalnya: thumbnail atau keyframe video)

Link terstruktur (kategori, hirarki)

Mudah untuk diimplementasikan:

Gambar (dan link) di dalam database

Text-based Searching

Kompatibel dengan model query konvensional

Memerlukan keahlian yang cukup untuk mengimplementasikan

Proses penandaan sangat subjektif (berupa nama file)

Tidak scalable untuk koleksi yang besar atau berkembang pesat

Content-based Searching

Indeks konten biner - ekstraksi ciri

Indeks dihasilkan berdasarkan fitur diekstraksi

Menghilangkan keperluan untuk penandaan manusia

Skalabilitas yang lebih baik daripada metode sebelumnya

Memerlukan model berbasis kesamaan query

Pemetaan semantic adalah kesulitan utama

Feature Extraction

Fitur dapat mencakup warna, bentuk, tekstur, dan

gerak

Dilakukan pengurangan dimensi (kompresi)

Dilakukan kesamaan dan perhitungan jarak antara

asal fitur

Nilai indeks dihitung kemudian disimpan

Information Abstraction Levels

Concepts

Objects

Features

Data

SemanticQueries

SyntacticQueries

Abstraction Level Querying

Concept: find images of distressed students studying for final exams

Object: find images containing red cars

Feature: find images with X% of colors a, b, c

Data: find copies, header file, date, capture data

Arah perkembangan CBVIR

Improve relevance feedback mechanisms

Increased web orientation

Standards for evaluating CBVIR systems

High dimensional indexing techniques

Understand human perception

Better user interfaces

Cross discipline cooperation between DB and imaging communities

Semantic modeling of multimedia Why hard?

Konteks-ketergantungan

Semantik bukan properti statistik

Semantik dari suatu objek sering tergantung pada:

• aplikasi / pengguna yang memanipulasi objek

• aturan sebagai properti dari objek

Van Gogh’s

paintingsflower

Example:

Why hard?

Modalitas-independensiMedia objek dengan format yang berbeda dapat menyarankan makna semantik terkait / serupa.Contoh:

Harry Potter has never been

the star of a Quidditch team,

scoring points while riding a

broom far above the ground.

He knows no spells, has

never helped to hatch a

dragon, and has never worn a

cloak of invisibility.

Query: Results:

image video text