Восстановление трехмерных сцен с помощью методов...
DESCRIPTION
Презентация к публикации:Свешникова Н.В., Юрин Д.В. Восстановление трехмерных сцен с помощью методов факторизации: принцип работы и оценка погрешностей//В сб. Труды второй научной конференции СИМ'2005, Москва, Академия АйТи 19 мая 2005 г. -С.207-222. М.:ИФТИ 2005TRANSCRIPT
Восстановление трехмерных сцен на основе алгоритмов факторизации: принцип работы и оценка погрешностей
НН.. ВВ.. СвешниковаСвешникова,, студентка МФТИстудентка МФТИ, , [email protected]ДД.. ВВ.. ЮринЮрин, к.ф.к.ф.--м.нм.н., ., начнач. отдела (НПП ОПТЭКС). отдела (НПП ОПТЭКС),, [email protected]
МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ
Российское авиационно-космическое агентствоФедеральное государственное унитарное предприятие
НПП ОПТЭКС
Наиболее типичные задачи восстановления трехмерных сцен:
Восстановление земного рельефа по аэрокосмическим изображениям для нужд картографии и мониторинга промышленных объектов и чрезвычайных ситуаций.Восстановление плана помещений по изображениям, полученным с цифровых фотоаппаратов и кинокамер для нужд перепланировки и оборудования промышленных помещений и архитектуры.Системы зрения мобильных роботов.
Разные подходы – разные входные данные
Восстановлениетрехмерной сцены по
стереопаре
Восстановлениетрехмерной сцены наоснове факторизации
2 цифровыхизображения
цифровыхизображений20≥
Камеры калиброваны свысокой точностью
Калибровки камер нетребуется
Нет предварительнойобработки изображений
Предварительнотребуется выделитьхарактеристические
отметки на изображениях
Разные подходы – разные выходные данные
Восстановлениетрехмерной сцены по
стереопаре
Восстановлениетрехмерной сцены наоснове факторизации
Плотное восстановлениеповерхности сцены(для каждого пикселяизображения)
Трехмерные координатыхарактеристических
отметок
Трехмерные координаты иориентации всех камер
Погрешностивосстановления всех
восстановленных величин
Возможности комбинирования различных подходов
Восстановлениетрехмерной сцены по
стереопаре
Восстановлениетрехмерной сцены наоснове факторизации
Плотное восстановлениеповерхности сцены
(для каждого пикселяизображения)
Трехмерные координаты,ориентации всех камер ипогрешности величин
цифровыхизображений
20≥ Выделениехарактеристических
отметок на изображениях
Комбинирование подходов нуждается в утвердительном ответе на следующие вопросы:
Способен ли алгоритм проинформировать о невозможности восстановить сцену?
Можно ли, кроме восстанавливаемого результата, получить точность восстановления этого результата? (анализ a posteriori)
Можно ли, если заранее известны характеристики сцены и параметры ее съемки, не проводя громоздких расчетов, определить применим ли алгоритм? (анализ a priori)
Восстановление на основе факторизации
Cps
cick
cj
fifj
1+fi1+fj
2+fi2+fj
...
...
...
...
...
...Объект Камерыf
1+f
2+f
Последовательностькадров
...
... f
1+f
2+fВосстановленные образыобъекта и положений камер
( )( ) ( )
( )( ) ( )( )...,
,,...
22
1 1
pfpf
pf
fpfp
vu
vuvu
pf
++
+ +
АлгоритмФакторизации
i
k
j
Трекер
Постановка задачи (Перспективная проекция).
fl
fpfp vu ~,~
fj
fk
fift
ps
pz
ci
cjck
),( pp yx
),,( ppp zyx
Мироваясистемакоординат
Передняяплоскость
изображения
Характеристическаяточка на объекте
Линза
Математическое представление модели.
( ),2tg21
~
,)()(
,)()(
max fefp
ff
fpf
fpfffp
fpf
fpfffp
Nul
g
gvgu
β==
−
−=
−
−=
tsktsj
tsktsi
( )f
fff g
ztk ,' −=
⎪⎩
⎪⎨⎧
−=−=
⎪⎩
⎪⎨⎧
==
⎪⎩
⎪⎨⎧
+=
+=
,;
,
'
'
'
'
ffff
ffff
fff
fff
fpffp
fpffp
zyzx
zz
где
yv
xu
tjti
jnim
sn
smВВ приближении МОП:приближении МОП:
((11))
(2)(2)
В матричной форме: W = MS + T, (3)где
Математическое представление модели.
,
FPF1
FPF1
1P11
1P11
vvuu
vvuu
W
L
L
MM
L
L
= ,
TF
TF
T1
T1
nm
nm
M M= ,
F
F
1
1
yx:yx
T =
.P1 s...sS =
Принцип метода факторизации.
W’ = W-[1…1]T=MS
SVD: (4)
U, V - ортогональные матрицы,
, n = min(2F, P),
- сингулярные числа матрицы W
Разложение не единственно:
3'rank3rank,3rank ≤⇒≤≤ WSM
SMVUVUW TT ))=ΣΣ=Σ= ))(('
( )ndiag σσ ...1=Σnσσ ...1
,))(()(' 11 MSSQQMSQQMSMW ==== −−))))))
Принцип метода факторизации. (продолжение)
В силу ортонормированности базисных векторов КСК:
(5)
Неоднозначность восстановления формы:
Устранение неоднозначности в первых двух знаках:
(6)
SVDчерезявычисляетс
QизQ
QQQноотноситель
решается
QQQQ
TTT
Tf
Tf
Tf
Tf
Tf
Tf
~
~1
,0
,0
11
→=
→
⎪⎪⎩
⎪⎪⎨
⎧
=
=
=−
mm
nm
nnmm
))
))
))))
)111( ±±±diagQ
,],,,[,,000000000 ffffff
T гдеRSRSMRM jikkji ×====((
Итерационный алгоритм в перспективной проекции
).),(('
1)'
)(11(
),),(('
1)'
)(11(
yfpff
fpf
pf
xfpff
fpf
pf
tz
vzg
tz
uzg
+=+
+=+
sjsk
sisk
Т.е. W’=W1 + ξW2, где (8)g/1=ξ
((77))
,)()(
,)()(
fpf
fpfffp
fpf
fpfffp gvgu
tsktsj
tsktsi
−
−=
−
−=
⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜
⎝
⎛
=
FPF
PFF
F
FF
F
F
FPF
PFF
F
FF
F
F
PP
PP
vz
vz
vz
uz
uz
uz
vz
vz
vz
uz
uz
uz
W
'''
'''
'''
'''
22
11
22
11
11
112
1
2111
1
11
11
112
1
2111
1
11
2
sksksk
sksksk
sksksk
sksksk
L
L
MLMM
L
L
2W((88’)’)
из (3), а
Итерационный алгоритм (продолжение)
WW =1
Структура итерационного алгоритма
W
1
2
3
4
5
6
M, S, T
‘No’
1. Восстановление 3D в МОП, (4)-(5). Найдено приближение величин
2. Одна итерация перспективного алгоритма.1. Вычислить , используя 2. Найти .3. Вычислить .4. Решить задачу в МОП для W’, (4)-(5).
3. . 4. Устранение неоднозначности по z-компоненте
объекта на основании знака ξ.5. Устранение неоднозначности по x, y
компонентам (6).6. Вычисление погрешностей.
ffp z',, ks)/(minarg 1
)(ζζξ
σσξ +=q
21 W WW’ ξ+=
εξξ <− − || )1()( qq
2W
ffp z ',, ks
Разрешимость малой глубины сцены в приближении МОП .
2h
a
fαfr
Рассмотрим объект: две параллельныеплоскости z = h, z = - h, где h мало.
Разрешимость малой глубины сцены в приближении МОП .
Задача может быть разделена на плоскую (h = 0)и добавку:
W’ = MS1 + h MS2, (9)
( ) ( ),, )2()2(2
)1()1(1 P1P1 s...sSs...sS ==
Tp
Tppp syxs )1,0,0(,)0,,( )2()1( ±==
Идеальная матрица и реальная матрица
Реальная матрица всегда содержит шум (по крайней мере шум оцифровки ±ρ ∼1/N),
т.е. W’real = W’+ω, (10)
где ω – матрица шума:
.02
1;2
1 2
1 1
22
1 1
22 ==== ∑∑∑∑= == =
F
i
P
jij
F
i
P
jij FPFP
ωωρωω
Критерий разрешимости малой глубины сцены.
где - z-компоненты векторов , задающих правую ортонормированную тройку координат,
ρ – определяет величину дисперсии шума
( )∑=
⎟⎟
⎠
⎞
⎜⎜
⎝
⎛+⎟
⎟⎠
⎞⎜⎜⎝
⎛=
==
>
F
zfzfcf
f
n
n
jizg
FJгде
JFPhFP
1f
22
2
223
22
3
1
,2
;
σρσ
σσ
zfzf ji ,
(11)
(12)
Пусть - радиус-вектор, определяющий положение камеры. Т.к камера всегда направлена на центр масс объекта, тогда
Введем закон случайного распределения камер.
Тогда значение J в (8) можно приблизить интегралом:
rr
.||),(),(),( rzrggrjjrii zzzzrrrr
====
)(rrυυ =
( )∫+∞
∞−
+⎟⎟⎠
⎞⎜⎜⎝
⎛= rdrrjri
rrgJ zz
rrrrr
r)()()(
||)( 22
2
υ
Использование критерия для априорной оценки возможности восстановления сцены
Оценка величины дисперсии шума
В данной модели рассматривался только шум дискретизации изображения. Дополнительный шум не вносился. Тогда:
,13.0121111
2/1
2/1
2
NNdxx
ND
N≈=== ∫
−
ρ
Здесь N – количество пикселей в строке изображения; D - средняя погрешность определения истинного положения точки в пределах одного пикселя.
Оценка погрешностей восстановления формы сцены и ориентации камер
Выдвинем гипотезу: , где
минимальная разрешимая глубина сцены
определяется из условия
тогда гипотеза может быть переформулирована следующим образом
(13)
nσσ =3
3σσδ n
hh=
hh δ~min
minh
Связь матриц M и S
Решение задачи путем сингулярного разложения матрицы
Есть по сути метод наименьших квадратов с регуляризацией:
Наличие шума вносит неоднозначность в восстановление M и S.
Обозначим погрешности и тогда
ω+= 0' WW
ω≤⋅− SMW sSM'min
,
0≠ω
SδMδ
SMSMSMSSMMW δδδδ ⋅+⋅+⋅≈+⋅+= )()('
Связь матриц M и S (продолжение)
При условии и противоположных знаках и погрешности формы и движения компенсируют друг друга; Т.к. погрешность восстановления формы наиболее велика в генеральном направлении наблюдения, будем оценивать только третью компоненту тогда и можно выразить погрешность
движения камер:
(14)
TS ],,[ zδS00=δ
|||||||| SMSM δδ ⋅≈⋅SM δδ
3σσδ n
SS
=
3σσδ n
zM ⋅≈ m
Оценка погрешности ориентации камер
Построим матрицу как приращение матрицы М:
(15)
получим выражение для нормы:
(16)
МδТ
FF
FF
F
F
zg
zg
zg
zgМ ⎟⎟
⎠
⎞⎜⎜⎝
⎛= jiji δδδδδ ...1
1
11
1
1
( )∑=
+⎟⎟⎠
⎞⎜⎜⎝
⎛=
F
fff
f
f
zg
M1
22
2
2|||| ji δδδ
Оценка погрешности ориентации камер (продолжение)
Так как и , то есть
ограниченно, а знакопостоянно, то, по
теореме о среднем, существуют и такие,
что
(17)
[ ]20
2 ,0 ii δδ ∈f [ ]20
2 ,0 jj δδ ∈f
( )2/ ff zg2iδ 2jδ
( )∑=
⎟⎟⎠
⎞⎜⎜⎝
⎛+=
F
f f
f
zg
M1
2
222|||| ji δδδ
Оценка погрешности ориентации камер (продолжение)
Полагая погрешность детектора равновероятной и статистически независимой вдоль строк и столбцов изображения, получим и
(18)
- дисперсия погрешности восстановления ориентаций камер
22 ji δδ ≈
∑=
⎟⎟⎠
⎞⎜⎜⎝
⎛=
F
f f
f
zg
M1
2
22 2|||| jδδ
2jδ
Оценка погрешности ориентации камер (продолжение)
среднеквадратичная угловая ошибка определения ориентации камер.
Тогда, т.к
то
Окончательно
(19)
2jδϑ =j
( ) ∑∑==
⎟⎟
⎠
⎞
⎜⎜
⎝
⎛
⎟⎟⎠
⎞⎜⎜⎝
⎛=⎟
⎟
⎠
⎞
⎜⎜
⎝
⎛+⎟
⎟⎠
⎞⎜⎜⎝
⎛=
F
cf
fF
ffcf
f
zg
zg
M1f
2
1f
22
2
2|||| ji
|||||||| MM jϑδ ≈
3|||| σσ
ϑ nj M
⋅= zm
Схема анализа алгоритмов
1. Построение трехмерной модели в Matlab в виде сетки характеристических точек.
2. Вычисление изображения модели с привнесением шумов и погрешностей оцифровки.
3. Восстановление трехмерного образа модели алгоритмами перспективной проекции и в приближении МОП программой С++ .
4. Вычисление погрешностей восстановления
5. Сравнение полученных погрешностей с теоретическими оценками
;
;
Модельные данные: «Рельеф»
R
Hαrrrr
a
Зависимость третьего сингулярного числа от глубины сцены
N = 2000 пикселей
1. сингулярное числоисходной матрицы W’.
2. сингулярное число, матрицы W’ после выполнения итераций.
3. сингулярное число, вычисленного подстановкой параметров модели
Зависимость третьего сингулярного числа от разрешения изображения в пикселях
h = 0.1 км; a = 2 x 2 км
1. сингулярное числоисходной матрицы W’.
2. сингулярное число, матрицы W’ после выполнения итераций.
3. сингулярное число, вычисленного подстановкой параметров модели
Зависимость шумового сингулярного числа от глубины сцены
N = 2000 пикселей
1. сингулярное числоисходной матрицы W’.
2. сингулярное число, матрицы W’ после выполнения итераций.
3. сингулярное число, вычисленного подстановкой параметров модели
Зависимость шумового сингулярного числа от разрешения изображения в пикселях
h = 0.1 км; a = 2 x 2 км
1. сингулярное числоисходной матрицы W’.
2. сингулярное число, матрицы W’ после выполнения итераций.
3. сингулярное число, вычисленного подстановкой параметров модели
Зависимость абсолютной погрешности восстановления формы от глубины сцены
N = 2000 пикселей; 1, 2. среднеквадратичные
погрешности, для приближения МОП и перспективной проекции.
3, 4. оценки погрешностей через сингулярные числа матрицы W до и после итераций.
5. Подстановка параметров модели в выражения для сингулярных чисел.
Зависимость абсолютной погрешности восстановления формы от разрешения изображения в пикселях
h = 0.1 км; a = 2 x 2 км
1, 2. среднеквадратичные погрешности, для приближения МОП и перспективной проекции.
3, 4. оценки погрешностей через сингулярные числа матрицы W до и после итераций.
5. Подстановка параметров модели в выражения для сингулярных чисел.
Зависимость абсолютной погрешности восстановления ориентации камер от глубины сцены
N = 2000 пикселей.
1, 2. среднеквадратичные погрешности, для приближения МОП и перспективной проекции.
3, 4. оценки погрешностей через сингулярные числа матрицы W до и после итераций.
5. Подстановка параметров модели в выражения для сингулярных чисел.
Зависимость абсолютной погрешности восстановления ориентации камер разрешения изображения в пикселях
h = 0.1 км; a = 2 x 2 км
1, 2. среднеквадратичные погрешности, для приближения МОП и перспективной проекции.
3, 4. оценки погрешностей через сингулярные числа матрицы W до и после итераций.
5. Подстановка параметров модели в выражения для сингулярных чисел.
Практическое использование полученных оценок погрешностей. Априорный анализ
Применимость: известны среднестатистические характеристики сцены и условий съемки.
На стадии конструирования аппаратуры и/или планирования съемки, варьируя расстояние до объекта, разрешение камеры и диапазон углов, с которых производится съемка могут быть оценены погрешности, которые следует ожидать. Формулы (12), (13), (19).
Практическое использование полученных оценок погрешностей. Апостериорный анализ
Применимость: восстанавливается неизвестная сцена. Определена фактическая точность детектора μ.
Убедиться, что после последней итерации (после выполнения линейного алгоритма) больше, а
не превосходит по порядку величины шумового значения , полученного на стадии калибровки детектора.
Если выполнено, следует вычислить погрешности формы и ориентации камер, используя величины сингулярных чисел. Формулы (13), (19).
3σ4σ
nσ
Заключение
Предложен критерий (11) априорной оценки разрешимости задачи восстановления сцены малой глубины и для него построены оценка погрешности оцифровки и оценка снизу , в приближении сцены малой глубины. Точность оценки шумов не хуже 60%, точность оценки не хуже 15%.
В приближении сцены малой глубины получена оценка погрешностей восстановления формы объекта и ориентаций камер (13), (19). Оценки являются завышенными примерно в 2 раза.
3σ
3σ
Литература
1. Conrad I. Poelman, Takeo Kanade. A Paraperspective Factorization Method for Shape and Motion Recovery, 1993http://www.ri.cmu.edu/pubs/pub_1189.html, http://www.ri.cmu.edu/people/person_136_pubs.html
2. Н. В. Янова, Д.В. Юрин. Итеративный алгоритм восстановления трехмерных сцен, движения и фокусного расстояния камеры в перспективной проекции, основанный на факторизации матриц, 2002. http://www.graphicon.ru/2002/pdf/Yanova_Re.pdf
3. Joao Paulo Salgado, Arriscado Costeira. A multi-body Factorization method for motion analysis, 1995. http://omni.isr.ist.utl.pt/~jpc/pubs.html
4. Н. В. Свешникова, Д. В. Юрин. Априорный и апостериорный расчет погрешностей восстановления трехмерных сцен алгоритмами факторизации. //Программирование 2004, Т.30, №
5, С. 48-68.