Программный комплекс «Интерактивная информационная...

Программный комплекс «Интерактивная информационная доска»

Дроздова Юлия

Текущее состояние доски

1

Интерактивная информационная доска

2

Схема программного комплекса

!

3

Обзор существующих решений

ARToolKit

4

Обзор существующих решенийОсновные критерии

сравненияARToolKit Layar

парадигма видеозрение GPS-координаты

Размещаемый доп. контент определяются разработчиком

• текстовая информация;• гиперссылки;• изображения(non free).

Процесс разработки приложения

• возможные трудности при компиляции;• требуются программистские навыки;• свобода действий разработчика.

• существуют спец. приложения для разработки;• не требуется программистских навыков;• ограничение свободы.

Основные недостатки

•Устаревшие алгоритмы•Распознавание монохромных изображений•Неосмысленный выбор изображений

•Точность идентификации положения точек расширения не удовлетворяет требованиям предметной области

5

Компонент обнаружения

Компонент распознавания

Изображение

Эталонные изображения

Сегменты для распознавания

?

Распознанные изображения

эталон

Компоненты обнаружения и распознавания. Принцип работы

6

Компоненты обнаружения и распознавания. Принцип работы

7

Распознаваемые маркеры

Информация о предлагаемых вакансиях (job)

Срочная информация(timed)

Информация о расписании(timetable)

Информация об успеваемости (marks)

Дополнительная информация(inf)

8

Исходное изображение Бинарное изображение Сегмент изображения

Компонент обнаружения маркеров

9

Сравнение алгоритмов бинаризации

Степень освещенности объекта

Адаптивная бинаризация Глобальная бинаризация

Вес пикселей равнозначен

Вес пикселей задан в соотв. с функцией Гаусса

Пороговое значение определенно средней яркостью изображения

Пороговое значение определенно эксперимент. путем

Слабое освещение(до 280 лк)

4,3% 60,5% 11,6% 2%

Офисное освещение(280-800лк)

42,4% 98,4% 36,4% 99,6%

10

Контуры на изображении

1

Дерево контуров

2 354

6

Обнаружение маркеров. Дерево контуров

7

11

Замкнутый контур

4 точки излома

Углы близкие к 90°

Одинаковые сегменты

1 2

4 3

90°

Обнаружение маркеров. Квадратный контур

12

Контуры на изображении

12 3

54

6

Дерево контуров

7

Обнаружение маркеров. Дерево контуров

13

Контуры на изображении

12 3

54

6

Дерево контуров

7

Обнаружение маркеров. Дерево контуров

13

Распознавание маркеров. Задача классификации

Особые точки изображения

Метод потенциальных функций

?

14

…

Распознаваемое изображение Эталонные изображения

Распознавание маркеров. Задача классификации

15

Формула расчета потенциала:

Формула фильтрации:

P

PDF=

Распознавание маркеров. Задача классификации

16

• Язык разработки Java, С++

• Используемая библиотека: OpenCV 2.4.3

• Устройства для тестирования: мобильные устройства на базе Android

• Объем тестовой выборки более 10000 изображений

• Характеристики выборки:▫ Угол обзора(до 80° от перпендикуляра к плоскости)▫ Масштаб (маркера занимает от 10% изображения)▫ Освещенность(офисное освещение и ниже)▫ Разрешающая способность видеокамеры(5mpx, 8mpx)

Реализация и тестирование

17

Тестирование

0 0.1 0.2 0.3 0.4 0.5

0.600000000000001

0.700000000000001 0.8 0.9 105

10152025

0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 1 2

9 11

40 0 0 0 0 0 0

1821 23

50 0 0 0 0 0 0

4

13

300 0 0 0 0 0 0 0 1 0 1

Ошибки первого рода

jobtimedinfmarkstimetable

пороговое значение

мар

керы

, %

0 0.1 0.2 0.3 0.4 0.5

0.600000000000001

0.700000000000001 0.8 0.9 10

20406080

100120

100 100

50

219 0 0 0

100 100

0 0

75

34 38

5 0

100 100 100 10086

63

140

100 10086

60

30

0

100 100 96

4016

3 1 0 0 0 0

Отвергнутые маркеры

jobtimedinfmarkstimetable

пороговое значение

мар

керы

, %

18

0 0.1 0.2 0.3 0.4 0.5

0.600000000000001

0.700000000000001 0.8 0.9 10

20

40

60

80

100

120

0 0 0 0 0 0 0.24.8

8.8 7.42

100 100

79

57.8 59.6

38.4

26.8

91.6 0.2 0

ошибки отвергнутые маркеры

порог

Мар

керы

, %Тестирование. Усредненный результат

19

ОптимизацияПредыдущий кадр

Текущий кадр

?

job

jobmarks

20

Тестирование

0.600000000000001

0.700000000000001 0.8 0.9 10123456

0 0 0 0 00 0 0 0 00 0 0

5

00 0 0 0 00 0 0 0 0

Ошибки первого рода

jobtimedinfmarkstimetable

Пороговое значение

мар

керы

,%

0.600000000000001

0.700000000000001 0.8 0.9 10

4

8

12

16

20 0 0 0

30 0 0 0

6

0 1 0 0

14

02

0 00 0 0 0 0

Отвергнутые с маркеры

jobtimedinfmarkstimetable

Пороговое значение

Мар

керы

, %

0.600000000000001

0.700000000000001

0.8

0.9

1

0 20 40 60 80 100 120

Прирост производительности (в среднем)

отвергнутые маркеры ошибки

прирост, %

поро

г

0.600000000000001

0.700000000000001 0.8 0.9 10123456

1

5

0.600000000000001

Усредненный результат

ошибки отвергнутые маркеры

Пороговое значение

Мар

керы

, %

21

Тестирование

0 0.1 0.2 0.3 0.4 0.5

0.600000000000001

0.700000000000001 0.8 0.9 105

1015202530

0.2 0.20.2

18.2 19.223.4 25

Ошибки первого рода

ORBBRISK

пороговое значение

мар

керы

,%

0 0.1 0.2 0.3 0.4 0.5

0.600000000000001

0.700000000000001 0.8 0.9 10

20406080

100120 100

6082.8

295.4 1.2

0.600000000000001 0.4 0.2 0

100 100 99.688.4 81.4

47.631.2

20.86.6 0.4 0

Отвергнутые маркеры

ORBBRISK

пороговое значение

мар

керы

,%

22

•Были применены:▫Контурный анализ▫Метод потенциальных функций▫Особые точки изображения

•Классификация маркеров с точность до 100%•Отсев маркеров в худшем случае до 9%

Выводы

23

Дроздова ЮлияСтудент 4 курса кафедры МОВС ПГНИУDrazara@gmail.com

Спасибо за внимание