verlustbehaftete kompression von kamera rohdaten...idct( nq(f)) ist das minimale eingangsrauschen ,...
TRANSCRIPT
1G. Fischer
Verlustbehaftete Kompressionvon Kamera Rohdaten
Prof. Dr. G. Fischer, Prof. Dr. D. Kunz, Katja Köhler
Fachhochschule Köln
Institut für Medien- und Phototechnik
2G. Fischer
Übersicht
• Aktuelle Situation
• Konzept
• Modellierung der JPEG Kompression
• Experiment
• Ergebnisse
• Zusammenfassung
3G. Fischer
Übersicht
• Aktuelle Situation
• Konzept
• Modellierung der JPEG Kompression
• Experiment
• Ergebnisse
• Zusammenfassung
4G. Fischer
Aktuelle Situation
Dateigrößen der Rohbilder verschiedener DSLRs:
Aber:
• Steigende Sensor- und Dateigrößen
• Datentransferzeit zwischen Kamera und Speichermedium
• Datentransferzeit zwischen Speichermedium und PC zur Nachverarbeitung
• Datentransferzeit über Netzwerk insbesondere für medizintechnische
Anwendungen
Rohdatei-größe
Sensor Größe
DSLR Modell
9 MByte12.4 MPixNikon D2Xs
13 MByte12 MPixCanon EOS 5D
11 MByte10 MPixCanon EOS 1D Mark III
25MByte12 MPixFuji S3 / S5
5G. Fischer
Konzept
Bildverarbeitung und Datenfluß:
CFASensor Data
LossyCompression
Encoder
LossyCompression
Decoder
Data Storageand Transfer
SensorCorrection
(Defect Pixel)Demosaicking
RenderedImage
10 MPix/14bit10 MPix/14bit
5 MByte?
ImagePostprocessing
DSC internal DSC external
6G. Fischer
Prüfverfahren
• Kompressionsmethode: 12 bit baseline JPEG
• LUT: Lineare Funktion 16 bit -> 12 bit
• Auswertung des Differenzbilds:
– Pegel des Kompressionsrauschens (Standardabweichung σ)
Raw ImageData
JPEGCompression
JPEGDecompression
DifferenceDifference
Image
Original Image
CompressedImage
file*.jpg
7G. Fischer
JPEG Artefakte –kein Bildrauschen
• Verunschärfung für niedrige Kanten
• Ringing nimmt mit der Kantenhöhe zu
• Ab einer gewissen Kantenhöhe bleibt Ringing konstant
Original
Komprimiert
Differenz x 10
8G. Fischer
JPEG Artefakte –kein Bildrauschen
• Verunschärfung für niedrige Kanten
• Ringing nimmt mit der Kantenhöhe zu
• Ab einer gewissen Kantenhöhe bleibt Ringing konstant
• Für die Rohdatenanwendung unbedingt zu vermeiden!
Original
Komprimiert
Differenz x 10
9G. Fischer
JPEG Verarbeitungsstruktur
DCT
CompressedImage
QuantizerSorting &
Entropy Coding
EntropyDecoding &Re-Sorting
Re-QuantizerIDCT
OriginalImage
10G. Fischer
JPEG Verarbeitungsstruktur
• Verluste durch die Quantisierungsstufe
• Steuerparameter: Qualitätsfaktor (0 … 100)
DCT
CompressedImage
QuantizerSorting &
Entropy Coding
EntropyDecoding &Re-Sorting
Re-QuantizerIDCT
OriginalImage
11G. Fischer
JPEG Artefakte –Bildrauschen
• Bildrauschen wirkt als Ditherrauschen für den Quantisierer
• Ringing Artefakte verschwinden!
Original
Komprimiert
Differenz x 10
12G. Fischer
JPEG Modellierung
DecompressionCompression
DCT QuantizerSorting &
Entropy CodingCompressed
Image
EntropyDecoding &Re-Sorting
Re-Quantizer IDCTOriginalImage
DCT QuantizerCompressed
ImageRe-Quantizer IDCT
OriginalImage
13G. Fischer
JPEG Modellierung
DecompressionCompression
DCT QuantizerSorting &
Entropy CodingCompressed
Image
EntropyDecoding &Re-Sorting
Re-Quantizer IDCTOriginalImage
DCT QuantizerCompressed
ImageRe-Quantizer IDCT
OriginalImage
DCTCompressed
ImageIDCT
OriginalImage +
Nq(f)
14G. Fischer
JPEG Modellierung
Nq(f):
• Quantisierungsrauschen durch den Quantisierer
• Minimales Ditherrauschen zur Vermeidung von JPEG Artefakten
DCTCompressed
ImageIDCT
OriginalImage +
Nq(f)
15G. Fischer
JPEG Modellierung
Nq(f):
• Quantisierungsrauschen durch den Quantisierer
• Minimales Ditherrauschen zur Vermeidung von JPEG Artefakten
• Compressed Image = Original Image + IDCT( Nq(f))
� IDCT( Nq(f)) = Compressed Image - Original Image
DCTOriginal Image
+ IDCT (Nq(f))IDCT
OriginalImage +
Nq(f)
16G. Fischer
DCTOriginal Image
+ IDCT (Nq(f))IDCT
OriginalImage
+ IDCT (Nq(f))DCT( IDCT( Nq(f))) =
Nq(f)
JPEG Modellierung
Nq(f):
• Quantisierungsrauschen durch den Quantisierer
• Minimales Ditherrauschen zur Vermeidung von JPEG Artefakten
• Compressed Image = Original Image + IDCT( Nq(f))
� IDCT( Nq(f)) = Compressed Image - Original Image
• DCT( IDCT( Nq(f))) = Nq(f)
� IDCT( Nq(f)) ist das minimale Eingangsrauschen, um JPEG Artefakte zu
vermeiden
17G. Fischer
Kompressionsrauschen (Qualitätsfaktor = 50)
• Rauschpegel unabhängig von der Bildhelligkeit
• Hochpaß Rauschspektrum
Original + Noise
3 3.5 4 4.5 50
50
100
150
200
250
300
350
400
lg( A)
σD
I
0 100 200 300 400 500 6000
0.5
1
1.5
2
2.5
3x 10
5
fx
Com
pN
oise
Difference Image = IDCT( Nq)
Compression NoiseStandard Deviation
NoiseSpectrum
18G. Fischer
Kompressionsrauschen (Qualitätsfaktor = 50)
• Rauschpegel unabhängig von der Bildhelligkeit
• Hochpaß Rauschspektrum
Original + Noise
3 3.5 4 4.5 50
50
100
150
200
250
300
350
400
lg( A)
σD
I
0 100 200 300 400 500 6000
0.5
1
1.5
2
2.5
3x 10
5
fx
Com
pN
oise
Difference Image = IDCT( Nq)
Compression NoiseStandard Deviation
NoiseSpectrum
19G. Fischer
Kamera Rauschmodell
• Ausgangssignal A ist linear zur Belichtung
• Rauschpegel wächst mit σCamera~A0.5
• Rauschspektrum ist weiß
lg Hlg Hmax
lg Amax Signal
lg A
A~ Noise
A~
20G. Fischer
Anpassung des Sensorrauschens
JPEGCompression
JPEGDecompression
LUT LUT-116 12 12 16
file*.jpg
0 0.2 0.4 0.6 0.8 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
0 0.2 0.4 0.6 0.8 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Idee:
• Gleichverteilung des Sensorrauschens durch die Gammafunktion y=x0.5
.2
1
2
1' const
AAyCameraq ==⋅=⋅=⇒ σσ
21G. Fischer
Anpassung des Sensorrauschens
Idee:
• Gleichverteilung des Sensorrauschens durch die Gammafunktion y=x0.5
• Anpassung des Qualitätsfaktors an den Pegel des Sensorrauschens
JPEGCompression
JPEGDecompression
LUT LUT-116 12 12 16
file*.jpg
QF
22G. Fischer
Vollständiges Kompressionsmodell
• Farbseparation: 4 Kanäle (R, G1, G2, B)
• 1D Compression LUT: 16 -> 12 bit Gammafunktion
• JPEG: 12 bit baseline standard
CFASensor Data
ColorSeparation
1D CompressionLUT
1D CompressionLUT
1D CompressionLUT
1D CompressionLUT
JPEG EncoderR
JPEG EncoderG1
JPEG EncoderG2
JPEG EncoderB
C o
m p
r e
s s
e d
D a
t a
R16
G116
G216
B16
R12
G112
G212
B12
23G. Fischer
Experiment
• 6 Beispiele von Rohbildern mit Canon‘s EOS 5D (12.8 MPix,
12 – 15 MByte Dateigrößen)
24G. Fischer
Ergebnisse –Kompressionsrauschen
• Die schwarze Linie markiert
JPEG Quantisierungsrauschen
• Abweichungen von diesem
Rauschverhalten, wenn das
Kamerarauschen zu niedrig wird
(QF <= 85)
50 60 70 80 90 1000
50
100
150
200
250
300
350
Quality Factor
Com
pre
ssio
n N
ois
e
image1image2image3image4image5image6JPEG
25G. Fischer
Ergebnisse –Kompressionsrauschen
• Die schwarze Linie markiert
JPEG Quantisierungsrauschen
• Abweichungen von diesem
Rauschverhalten, wenn das
Kamerarauschen zu niedrig wird
(QF <= 85)
50 60 70 80 90 1000
50
100
150
200
250
300
350
Quality Factor
Com
pre
ssio
n N
ois
e
image1image2image3image4image5image6JPEG
26G. Fischer
Ergebnisse –Kompressionsrauschen
• Die schwarze Linie markiert
JPEG Quantisierungsrauschen
• Abweichungen von diesem
Rauschverhalten, wenn das
Kamerarauschen zu niedrig wird
(QF <= 85)
50 60 70 80 90 1000
50
100
150
200
250
300
350
Quality Factor
Com
pre
ssio
n N
ois
e
image1image2image3image4image5image6JPEG
27G. Fischer
Ergebnisse –Artefakte vs. Qualitätsfaktor
• Alle Bilder wurden 3 mal durch den Photoshop Standard Filter
verschärft
Original QF=50
28G. Fischer
Original QF=80
Ergebnisse –Artefakte vs. Qualitätsfaktor
• Alle Bilder wurden 3 mal durch den Photoshop Standard Filter
verschärft
29G. Fischer
Original QF=90
Ergebnisse –Artefakte vs. Qualitätsfaktor
• Alle Bilder wurden 3 mal durch den Photoshop Standard Filter
verschärft
30G. Fischer
Ergebnisse – Kompressionsrate
50 60 70 80 90 1000
1
2
3
4
5
6
7
8
9
10
Quality Factor
Com
pres
sion
Rat
io
31G. Fischer
Zusammenfassung
• Ein verlustbehaftetes Kompressionsmodell auf der Basis 12 bit
baseline JPEG wurde entwickelt und auf Rohdaten angewendet
• JPEG Artefakte sind zu vermeiden durch Anpassung des Modells an
das spezifische Kamerarauschen
• Kompressionsraten von über 4 wurden erreicht ohne visuelle
Qualitätsverluste bezüglich
– JPEG Artefakte,
– Schärfe und
– Bildrauschen.