Открытый конкурс-тест систем видеонаблюдения и распознавания автомобильных номеров на выставке "Интерполитех"

30 октября по 2 ноября 2007 года на территории ВВЦ в павильоне №69 со­стоялась XI Международная выставка средств обеспечения безопасности государс­тва «Интерполитех».

Как и в прошлые годы, основными тема­тическими направлениями выставки были граница, таможня, системы безопасности и экстренная медицина. Компаний, ведущих свою основную деятельность в области ви­деонаблюдения, выставлялось немного, и среди последних были в основном посто­янные участники выставки «Интерполитех».

В настоящий момент системы распознава­ния автомобильных номеров находят доста­точно широкое применение. А сейчас обратимся непосредственно к проведенному на выстав­ке «Интерполитех» тестированию.

Конкурс-тест проводился среди систем считывания и распознавания автомобильных номеров, работающих в реальном времени. Целью настоящего тестирования было выяв­ление их эффективности. В этом мероприя­тии компании-разработчики участвовали на добровольной основе при согласии с прави­лами проведения этого мероприятия.

Организаторы постарались привлечь на тестирование по возможности большее ко­личество разработчиков систем распозна­вания автомобильных номеров. При этом к участию в конкурсе-тесте не допускались компании, которые не имеют своих собс­твенных разработок в области распознава­ния номеров, а в своих системах используют модули распознавания других компаний. Тем не менее, далеко не все известные нам отечественные компании, заявляющие о собственных разработках в области распоз­навания автомобильных номеров, решили принимать участие в этом тестировании. Хотя некоторые из этих систем, насколько нам известно, способны показать очень не­плохие результаты.

От участников требовалось предоставить компьютеры с заранее установленными на них системами распознавания автомобильных номеров, причем на конфигурации использу­емых компьютеров ограничения не наклады­вались. Помимо тестирования в одноканальном режиме, также планировалось оценивать эффективность работы систем в многоканаль­ных режимах. Для предварительной настрой­ки представителям компаний-разработчиков предоставлялось немного времени.
Накануне конкурса-теста практически все компании-участники получили демо-версии тестовых клипов, в которых было по 50 про­езжающих автомобилей. Набор номеров в этом клипе был ограничен, поэтому на осно­вании заранее предоставленного материала проблематично было провести серьезные работы по усовершенствованию модулей распознавания. Запись материала, использованного для изготовления тестовых клипов, производи­лась в летнее время на оживленных московс­ких магистралях (шоссе Энтузиастов и Сущев­ский вал) с помощью видеокамеры Sony 96E

яркое солнце и из-за работы автодиафрагмы в случае светлых автомобилей происходило затемнение номерной пластины. Этот эффект можно наблюдать на приводимом здесь кадре. В ночном варианте ролика в кадре появлялись блики на стекле гермокожуха. Как видим, ракурсы дневного и ночного ро­ликов несколько отличаются, что усложняло подбор оптимальных настроек системы видеонаблюдения.

Тестовые клипы последовательно пода­вались на все тестируемые системы. Все на­стройки, которые могли негативно влиять на результаты распознавания мы рекомендова­ли участникам отключить. При тестировании по нескольким каналам на каждый канал видеосигнал подавался с отдельной видео­камеры.При тестировании по нескольким каналам, чтобы избежать постоянной одновременной пиковой нагрузки на центральный процессор и одинаковости списков распознаваемых

номеров, было решено подавать разные тесто­вые клипы с разных видеокамер.

Методика тестирования была аналогична той, что проводилась в прошлом году. Подсчет результа­тов работы систем отдельно для светлого и тем­ного времени суток, а также суммарно произво­дился по следующим оценочным критериям:

• Распознавание безусловное (1 к 1) -полное совпадение цифробуквенной последовательности номера из тестового списка и распознанной последователь­ности при условии, что одному номеру из тестового списка соответствует только один номер результата распознавания.

• Распознавание условное - полное совпадение цифробуквенной последо­вательности номера из тестового спис­ка и распознанной последовательности при условии, что для одного номера из тестового списка имеется хотя бы один на кассету формата miniDV. При этом сама видеокамера использовалась только в качес­тве видеомагнитофона, а видеосигнал на ви­деокамеру подавался непосредственно с уже установленной черно-белой видеокамеры.

Тестовые клипы состояли из калибровоч­ной таблицы для ручной настройки яркости и контраста и основной части, включающей в себя запись по 300 проезжающих автомоби­лей в дневных и ночных условиях с передни­ми отечественными государственными регистрационными знаками. Критерием отбора автомобильных номеров являлась возмож­ность уверенного распознавания человеком символов на номерной пластине. Более того, из тестового клипа были исключены все ав­томобили, номера которых попадали в кадр только частично.

Номерные знаки в тестовых роликах на­ходятся в зоне видимости видеокамеры в среднем в течении 15 ТВ-полей, и наклон но­мерной пластины не превышает 10°. Размеры больших и маленьких символов составляет соответственно от 16 до 20 и от 20 до 25 пик­селов. Видеокамеры, с которых подавался за­писываемый видеосигнал, наклонены отно­сительно дорожного полотна под углами 16° и 30°по вертикали и до 5° по горизонтали.
В качестве иллюстрации приведем кадры из тестового клипа, предназначенные для проверки эффективности работы модулей распознавания, использованные на выстав­ке «Интерполитех». Справа показан кадр из тестового клипа с дневными условиями, сле­ва показан кадр из тестового клипа с ночны­ми условиями. Сложность дневных условий состояла в том, что в день записи было очень

писывались на компакт диск. Эти копии пе­редавались участникам и организаторам.

Во время проведения тестирования при­сутствовала конкурсная комиссия, в состав которой вошли заместитель начальника от­дела НИЦ БДД МВД России Сергей Овчаров, исполнительный директор выставки «Интер­политех» Николай Маричев и специалисты журнала ProSystem CCTV Станислав Поздня­ков и Алексей Зайцев.

В настоящем конкурсе-тесте принимали участие как уже знакомые нашим читателям компании «Новые Технологии» (система «CVS-Авто»), «Интегра-С» (система «Интегра-Видео-Авто»), «Технологии Распознавания» (система «Ураган») и «Мегапиксел» (система MegaCar), так и компании, с которыми ранее нам общаться не приходилось. Это ГУП НПЦ ЭЛВИС (система Senesys-Auto) и украинская компания «Видео Интернет Технологии» (сис-

тема Overseer Autocode). Также на конкурсе присутствовала компания «СМП» из Зеленог­рада, но по той причине, что задачи, которые призвана решать разработка этой компании «Трал Паркинг» связаны с КПП и парковками (на тестировании мы не располагали видео­роликом для проверки работы систем на пар­ковках), то эта система не смогла проявить все свои возможности.

При тестировании в одноканальном ре­жиме в первую очередь стояла задача оцен­ки эффективности работы систем в дневных и ночных условиях. При работе в много­канальных режимах использовали четыре тестовых ролика (везде дневные условия), в которых в разной последовательности при­сутствовал один и тот же набор автомобиль­ных номеров.
Чтобы исключить возможность фальсифи­кации результатов работы систем распознава­ния, тестирование по двум и четырем каналам было решено проводить в один день. Не сек­рет, что располагая списком номеров, по кото­рым будет происходить тестирование, можно программными средствами относительно за небольшой промежуток времени добиться стопроцентного совпадения отчетного списка с содержанием тестового клипа, даже не зная порядка следования проезжающих автомо­билей. Таким образом, в течение первых двух выставочных дней были протестированы сис­темы всех компаний-участников.
Кактолько мы получали список распознан­ных номеров от одной системы, сразу же на­чиналось тестирование следующей системы. Причем тут же оперативно осуществлялась обработка результатов распознавания.

В окончательном виде результаты были пре­доставлены участникам уже в четверг. Поэтому в тот же день по горячим следам для обсужде­ния результатов и методики тестирования на выставке был организован «круглый стол». С содержанием нашей дискуссии читатели могут ознакомиться в этом же номере журнала.

В последний день выставки участники мог­ли проанализировать состоявшееся меропри­ятие и пообщаться между собой, а также за­няться работой с клиентами.

В тех тестах суммарная вероятность правиль­ного распознавания для систем была от 69.3 до 89.8 %. Вероятность ошибочного распознавания (количество неправильных версий) была в диапазоне от 6.2 до 29.9-%, а ложного срабатывания - от 0.3 до 5.6 %.
Как видим, в сложных условиях системы довольно сильно различались по результатам, и компаниям предстояло еще много работать над их усовершенствованием. В условиях, сильно приближенных к реальным (но все же нереальных), ни одна из систем на тот момент не показала суммарную вероятность распоз­навания выше 90%. Впрочем, стоит отметить, что некоторые участники были к этому очень близки. Процент неправильно распознанных номеров был слишком высок, чтобы можно было использовать системы распознавания автомобильных номеров в комплексных авто­матизированных системах контроля автомо­бильного движения. Однако напомним, что в тот момент о введении в России повсеместно­го использования подобного рода комплек­сов речи еще не велось. К тому же у некоторых систем были проблемы с оптимизацией, что выражалось в высокой загрузке процессора даже при работе по одному каналу.

В приведенной таблице описаны конфи­гурации компьютеров, которые участники использовали при тестировании. Как видно, тактовая частота используемого процессора и объем оперативной памяти играли не самую важную роль в эффективности работы сис­темы. Хотя многие участники и постарались предоставить на тестирование ПК с мощными процессорами, это, скорее всего, было сдела­но, чтобы перестраховаться при тестировании многоканальных конфигураций.

Поскольку некоторые разработчики непос­редственно еще накануне тестирования очень активно дорабатывали систему, мы не всегда полностью приводим версию программной части комплекса.

В результате настоящего тестирования при работе по одному каналу вероятность распоз­навания оказалась от 79.3% до 98.0%, а это очень высокие значения. Суммарная вероят­ность ошибочного распознавания была от1% до 14.7 %, а вероятность ложного распознавания не превышала 1%. Видим, что при имеющихся в настоящем тестировании условиях результа­ты выросли у всех участников по сравнению с прошлогодним тестированием примерно на 10%, что связано даже не столько с прогрессом разработчиков, сколько со значительно облег­ченными условиями тестирования.Напомним, что в используемом тестовом клипе было мало надписей на автомобилях и

решеток. В случае ложных срабатываний сис­темы, как правило, результат распознавания представляет собой набор цифр и букв, кото­рый имеет мало общего с реальной цифро-буквенной последовательностью на номерной пластине. Поэтому при работе с базами данных возможный вред от распознавания надписей и решеток видится небольшим. Более значимым параметром является количество неправиль­ных версий распознавания. Это связано с тем, что в таком случае программа может ошибиться в одном или нескольких символах, но при этом

в результате получится реальная цифробук-венная последовательность, а это при работе с большими базами данных может спровоциро­вать ошибочное обнаружение совпадения.
Рассмотрим результаты, полученные при работе по одному, двум и четырем каналам в дневных условиях, которые были на этом кон­курсе-тесте. При работе по двум каналам прак­тически у всех участников результаты немного возрасли на величину от 0.5 до 1.7 %, и только у одной компании результат несколько умень­шился на 0.4 %. Улучшение показателей связано, вероятно, с тем, что участники по срав­нению с первым конкурсным днем во второй день смогли лучше настроить свои системы. У компании «Интегра-С» произошло улучше­ние результата сразу на 11.9 %, что, по словам разработчика системы «Интегра-Видео-Авто», связано в первую очередь с не совсем удач­ным подбором настроек при тестировании одноканальной конфигурации. Поэтому при вычислении среднего отклонения результатов двухканальной версии от одноканальной мы этот результат решили не учитывать. Тем бо­лее, что в случае четырехканальной конфиграции сложилась аналогичная ситуация. Среднее отклонение результатов двухканальной кон­фигурации от одноканальной конфигурации по всем системам составило 0.5 %. Различие вероятностей распознавания по каждому из каналов в такой конфигурации работы систем не превышало 3.7 %.

При работе по четырем каналам наблюда­лось незначительное снижение результатов по сравнению с одноканальным режимом в сред­нем на 0.4 %, (от 0 до 1.6 %). Опять же здесь ничего нельзя сказать о компании «Интегра-С», у которой результат распознавания зна­чительно улучшился. Различие вероятностей распознавания по каждому из каналов в четы­рехканальной конфигурации работы систем видеонаблюдения и распознавания не превышало 6.7 %.

Сравнение результатов двухканального и четырехканального режимов работы выявляет незначительное снижение результатов практи­чески у всех компаний-участников. В среднем, отклонение результатов в этом случае по всем системам составило 0.6 %. Как видим все диа­пазоны изменения рузультата лежат в пределах погрешности эксперимента, и на итоговую ве­роятность правильного распознавания количес­тво рабочих каналов оказывает незначительное влияние. Таким образом, можно считать, что проблема недостаточной производительности и оптимизации алгоритмов видеонаблюдения и распознавания в рассматриваемых системах разработчиками решена. Напомним, что распознавание сим­волов на номерных знаках по своей природе имеет вероятностный характер, ввиду чего не исключено появление ошибок и на очень хоро­ших с точки зрения распознавания номерах.

Для читателей может показаться немного странным тот факт, что в ночных условиях участники показали более высокие результа­ты, чем в дневных условиях. Объясняется это тем, что в дневном тестовом клипе размеры номерных пластин и символов на них были немного меньше, чем в тестовом видеоклипе с ночными условиями. Кроме того, из-за ра­боты автодиафрагмы при появлении в кадре автомобиля со светлым кузовом, происходи­ло затемнение области номера. В условиях ночного тестового клипа хорошо работала ИК-подсветка. Поэтому в ряде случаев номе­ра днем оказывались хуже для распознава­ния, чем ночью.

Использованные ролики и их содержание наглядно продемонстрировали одну из про­блем нашей методики тестирования систем видеонаблюдения и распознавания, которая заключается в необходимости записи большо­го объема видеоматериала в самых разнооб­разных условиях. В данном случае речь идет не только о разнообразии погодных условий, но и о разных углах поворота видеокамеры. Что­бы пояснить эту мысль приведем в качестве иллюстраций кадры из имеющихся в нашем распоряжении клипов, которые в дальнейшем могут быть использованы при тестировании систем распознавания автомобильных номе­ров. Камера установлена на высоте 6.5 метра на дорогой, вертикальный наклон камеры до­стигает 15-17°, угол горизонтального поворота камеры составляет примерно 10° и 20°.

Итак, в рамках выставки «Интерполитех» состоялось первое открытое тестирование систем распознавания автомобильных номе­ров и видеонаблюдения. Полученные результаты следует считать предварительными, а само тестирование ква­лификационным. И здесь наше мнение сов­падает с точкой зрения многих участников. На основе полученных результатов можно судить о динамике развития систем распозна­вания автомобильных номеров. Состоявший­ся конкурс-тест выявил основные недостатки

имеющейся методики, и на основе этого стало возможным определиться со способами уст­ранения имеющихся недостатков. По мнению редакции, только на основе результатов этого тестирования нельзя утверждать, что какая-либо одна система по своим характеристикам однозначно превосходит все остальные. В за­ключение мы приводим и комментарии самих участников открытого конкурса-теста.

Продолжение следует ...