Описание проведенных экспериментов - Исследование алгоритмов

1) Эксперимент №1. Детектирование множества объектов.

Детектирование множества объектов - задача, с которой работающее приложение должно справляться при его непосредственном применении на практике. Главной задачей проведения такого эксперимента стало определение коэффициентов FP, FN, TP и TN, являющиеся показателем точности детектирования объектов.

Условия эксперимента:

    - длительность записи, сек: 60; - количество кадров: 1440; - количество пешеходов в кадре ежесекундно меняется. Общее число объектов составляет 8256 (вычисления показаны на рис. 3.1).

Для наглядной демонстрации эксперимента №1 на рис. 3.2-3.4. представлены кадры работы приложения в условиях, описанных выше. Количественные результаты представлены в сводной таблице сравнения эффективности рассматриваемых методов детектирования в п. 3.3.

вычисление количества объектов

Рисунок 3.1. Вычисление количества объектов

демонстрация работы приложения на смартфоне lg g2. эксперимент 1, метод haar

Рисунок 3.2. Демонстрация работы приложения на смартфоне LG G2. Эксперимент 1, метод Haar

демонстрация работы приложения на смартфоне lg g2. эксперимент 1, метод lbp

Рисунок 3.3. Демонстрация работы приложения на смартфоне LG G2. Эксперимент 1, метод LBP

демонстрация работы приложения на смартфоне lg g2. эксперимент 1, метод hog

Рисунок 3.4. Демонстрация работы приложения на смартфоне LG G2. Эксперимент 1, метод HOG

2) Эксперимент №2. Детектирование одного объекта.

Эксперимент с детектированием одного объекта позволит определить среднее число пропущенных объектов в секунду, а также узнать среднее время обработки одного кадра. Такой тест поможет узнать, насколько велико время реакции системы.

Условия эксперимента:

    - длительность записи, сек: 10; - количество кадров: 240; - расстояние до объекта: 9 м. - общее количество объектов: 240.

На основе полученных данных можно рассчитать время, в течение которого система обнаружения будет бездействовать:

(1)

Где t' - время простоя, N - среднее количество пропускаемых объектов за секунду, - длительность одного кадра.

Демонстрация хода эксперимента №2 представлена на рис. 3.5-3.7.

демонстрация работы приложения на смартфоне lg g2. эксперимент 2, метод haar

Рисунок 3.5. Демонстрация работы приложения на смартфоне LG G2. Эксперимент 2, метод Haar

демонстрация работы приложения на смартфоне lg g2. эксперимент 2, метод lbp

Рисунок 3.6. Демонстрация работы приложения на смартфоне LG G2. Эксперимент 2, метод LBP

демонстрация работы приложения на смартфоне lg g2. эксперимент 2, метод hog

Рисунок. 3.7. Демонстрация работы приложения на смартфоне LG G2. Эксперимент 2, метод HOG

Для объективного количественного анализа данных обоих экспериментов построена сводная таблица результатов (табл. 3.2). На основе абсолютных показателей, представленных в данной таблице, составлена дополнительная таблица (табл 3.3) с относительными показателями, выраженными в процентах. Коэффициенты TPR, FPR, Se и Sp вычисляются по следующим формулам:

; (2)

; (3)

; (4)

. (5)

Таблица 3.2

Результаты экспериментов №1 и №2 с максимальным разрешением входного кадра

LG G2

Philips W8510

LG P705 L7

Haar

LBP

HOG

Haar

LBP

HOG

Haar

LBP

HOG

Количество ложно отрицательных срабатываний (false negatives, FN)

189

1106

343

272

1321

446

1205

1334

1238

Количество истинно положительных срабатываний (true positives, TP)

8067

7150

7922

7984

6935

7810

7051

6922

7018

Количество ложно положительных срабатываний (false positives, FP)

247

508

133

389

642

201

675

818

594

Среднее число пропущенных объектов в секунду (FNa)

3,15

18,4

5,71

4,53

22,0

7,43

20,08

22,2

20,6

Время обработки входного кадра (t), мс

218

140

167

200

143

179

308

237

166

Из таблиц видно, что время обработки одного кадра при использовании смартфонов LG G2 и Philips не намного меньше, чем значение этого показателя при запуске приложения на смартфоне LG P705, при том, что их вычислительная мощность на порядок выше. Можно сделать вывод, что такие показатели обусловлены слишком высоким разрешением входного изображения (1980х1080 и 1280х720). Также учитывается тот факт, что каскадные классификаторы были обучены по выборке изображений с разрешением 640х480.

Таблица 3.3

Вычисление относительных показателей по данным таблицы 3.2

LG G2

Philips W8510

LG P705 L7

Haar

LBP

HOG

Haar

LBP

HOG

Haar

LBP

HOG

Доля истинно положительных срабатываний (true positives rate, TPR) %

97

86,6

95,9

96,7

83,9

94,5

85,4

83,8

85,0

Доля ложно положительных срабатываний (false positives rate, FPR) %

17

35,2

9,2

27,0

44,6

13,9

45,6

56,8

41,25

Чувствительность модели (Sensitivity, Se), %

97

86,6

95,9

96,7

83,9

94,5

85,4

83,8

85,0

Специфичность модели (Specificity, Sp), %

83

64,8

90,8

73,0

55,4

86,1

54,4

43,2

58,75

Исходя из этого, было принято решение реализовать функцию для искусственного автоматического снижения разрешения. Функция снижает разрешение кадра, если оно превышает 640х480 пикселей; далее к полученному изображению применяются методы детектирования объектов, и, наконец, на экран выводится результат детектирования в изначальном разрешении. Реализацию функции можно найти в программном коде (приложение В).

В таблицах 3.4 и 3.5 представлены обновленные показатели, полученные в ходе повторного проведения экспериментов в тех же условиях с разрешением входного кадра 640х480. Цветом выделены обновленные данные.

Таблица 3.4

Результаты экспериментов №1 и №2 с разрешением входного кадра 640х480

LG G2

Philips W8510

LG P705 L7

Haar

LBP

HOG

Haar

LBP

HOG

Haar

LBP

HOG

Количество ложно отрицательных срабатываний (false negatives, FN)

223

1312

522

462

1461

691

1205

1334

1238

Количество истинно положительных срабатываний (true positives, TP)

8033

6944

7134

7794

6795

7565

7051

6922

7018

Количество ложно положительных срабатываний (false positives, FP)

279

618

293

452

998

352

675

818

594

Среднее число пропущенных объектов в секунду (FNa)

3,71

21,8

8,7

7,7

24,3

11,52

20,08

22,2

20,6

Время обработки входного кадра (t), мс

98

71

88

132

107

145

308

237

166

Таблица 3.5

Вычисление относительных показателей по данным таблицы 3.4

LG G2

Philips W8510

LG P705 L7

Haar

LBP

HOG

Haar

LBP

HOG

Haar

LBP

HOG

Доля истинно положительных срабатываний (true positives rate, TPR) %

97,2

84,1

86,4

94,4

82,3

91,6

85,4

83,8

85,0

Доля ложно положительных срабатываний (false positives rate, FPR) %

19,3

42,9

20,3

31,3

69,3

24,4

45,6

56,8

41,25

Чувствительность модели (Sensitivity, Se), %

97,2

84,1

86,4

94,4

82,3

91,6

85,4

83,8

85,0

Специфичность модели (Specificity, Sp), %

80,7

57,1

79,7

68,7

30,7

75,6

54,4

43,2

58,75

Данные таблиц 3.2., 3.3, 3.4 и 3.5 указывают на то, что точность детектирования ухудшается при снижении разрешения входного кадра. Однако это ухудшение можно считать незначительным в сравнении с уменьшением времени обработки изображения (почти в 2 раза на смартфоне LG G2 и в 1,3 раза на смартфоне Philips).

Похожие статьи




Описание проведенных экспериментов - Исследование алгоритмов

Предыдущая | Следующая