30 октября по 2 ноября 2007 года на территории ВВЦ в павильоне №69 состоялась XI Международная выставка средств обеспечения безопасности государства «Интерполитех».Как и в прошлые годы, основными тематическими направлениями выставки были граница, таможня, системы безопасности и экстренная медицина. Компаний, ведущих свою основную деятельность в области видеонаблюдения, выставлялось немного, и среди последних были в основном постоянные участники выставки «Интерполитех».
В настоящий момент системы распознавания автомобильных номеров находят достаточно широкое применение. А сейчас обратимся непосредственно к проведенному на выставке «Интерполитех» тестированию.
Конкурс-тест проводился среди систем считывания и распознавания автомобильных номеров, работающих в реальном времени. Целью настоящего тестирования было выявление их эффективности. В этом мероприятии компании-разработчики участвовали на добровольной основе при согласии с правилами проведения этого мероприятия.
Организаторы постарались привлечь на тестирование по возможности большее количество разработчиков систем распознавания автомобильных номеров. При этом к участию в конкурсе-тесте не допускались компании, которые не имеют своих собственных разработок в области распознавания номеров, а в своих системах используют модули распознавания других компаний. Тем не менее, далеко не все известные нам отечественные компании, заявляющие о собственных разработках в области распознавания автомобильных номеров, решили принимать участие в этом тестировании. Хотя некоторые из этих систем, насколько нам известно, способны показать очень неплохие результаты.
От участников требовалось предоставить компьютеры с заранее установленными на них системами распознавания автомобильных номеров, причем на конфигурации используемых компьютеров ограничения не накладывались. Помимо тестирования в одноканальном режиме, также планировалось оценивать эффективность работы систем в многоканальных режимах. Для предварительной настройки представителям компаний-разработчиков предоставлялось немного времени.
Накануне конкурса-теста практически все компании-участники получили демо-версии тестовых клипов, в которых было по 50 проезжающих автомобилей. Набор номеров в этом клипе был ограничен, поэтому на основании заранее предоставленного материала проблематично было провести серьезные работы по усовершенствованию модулей распознавания. Запись материала, использованного для изготовления тестовых клипов, производилась в летнее время на оживленных московских магистралях (шоссе Энтузиастов и Сущевский вал) с помощью видеокамеры Sony 96E
Тестовые клипы последовательно подавались на все тестируемые системы. Все настройки, которые могли негативно влиять на результаты распознавания мы рекомендовали участникам отключить. При тестировании по нескольким каналам на каждый канал видеосигнал подавался с отдельной видеокамеры.При тестировании по нескольким каналам, чтобы избежать постоянной одновременной пиковой нагрузки на центральный процессор и одинаковости списков распознаваемых
Методика тестирования была аналогична той, что проводилась в прошлом году. Подсчет результатов работы систем отдельно для светлого и темного времени суток, а также суммарно производился по следующим оценочным критериям:
• Распознавание безусловное (1 к 1) -полное совпадение цифробуквенной последовательности номера из тестового списка и распознанной последовательности при условии, что одному номеру из тестового списка соответствует только один номер результата распознавания.
• Распознавание условное - полное совпадение цифробуквенной последовательности номера из тестового списка и распознанной последовательности при условии, что для одного номера из тестового списка имеется хотя бы один на кассету формата miniDV. При этом сама видеокамера использовалась только в качестве видеомагнитофона, а видеосигнал на видеокамеру подавался непосредственно с уже установленной черно-белой видеокамеры.
Тестовые клипы состояли из калибровочной таблицы для ручной настройки яркости и контраста и основной части, включающей в себя запись по 300 проезжающих автомобилей в дневных и ночных условиях с передними отечественными государственными регистрационными знаками. Критерием отбора автомобильных номеров являлась возможность уверенного распознавания человеком символов на номерной пластине. Более того, из тестового клипа были исключены все автомобили, номера которых попадали в кадр только частично.
Номерные знаки в тестовых роликах находятся в зоне видимости видеокамеры в среднем в течении 15 ТВ-полей, и наклон номерной пластины не превышает 10°. Размеры больших и маленьких символов составляет соответственно от 16 до 20 и от 20 до 25 пикселов. Видеокамеры, с которых подавался записываемый видеосигнал, наклонены относительно дорожного полотна под углами 16° и 30°по вертикали и до 5° по горизонтали.
В качестве иллюстрации приведем кадры из тестового клипа, предназначенные для проверки эффективности работы модулей распознавания, использованные на выставке «Интерполитех». Справа показан кадр из тестового клипа с дневными условиями, слева показан кадр из тестового клипа с ночными условиями. Сложность дневных условий состояла в том, что в день записи было очень
Во время проведения тестирования присутствовала конкурсная комиссия, в состав которой вошли заместитель начальника отдела НИЦ БДД МВД России Сергей Овчаров, исполнительный директор выставки «Интерполитех» Николай Маричев и специалисты журнала ProSystem CCTV Станислав Поздняков и Алексей Зайцев.
При тестировании в одноканальном режиме в первую очередь стояла задача оценки эффективности работы систем в дневных и ночных условиях. При работе в многоканальных режимах использовали четыре тестовых ролика (везде дневные условия), в которых в разной последовательности присутствовал один и тот же набор автомобильных номеров.
Чтобы исключить возможность фальсификации результатов работы систем распознавания, тестирование по двум и четырем каналам было решено проводить в один день. Не секрет, что располагая списком номеров, по которым будет происходить тестирование, можно программными средствами относительно за небольшой промежуток времени добиться стопроцентного совпадения отчетного списка с содержанием тестового клипа, даже не зная порядка следования проезжающих автомобилей. Таким образом, в течение первых двух выставочных дней были протестированы системы всех компаний-участников.
Кактолько мы получали список распознанных номеров от одной системы, сразу же начиналось тестирование следующей системы. Причем тут же оперативно осуществлялась обработка результатов распознавания.
В окончательном виде результаты были предоставлены участникам уже в четверг. Поэтому в тот же день по горячим следам для обсуждения результатов и методики тестирования на выставке был организован «круглый стол». С содержанием нашей дискуссии читатели могут ознакомиться в этом же номере журнала.
В последний день выставки участники могли проанализировать состоявшееся мероприятие и пообщаться между собой, а также заняться работой с клиентами.
В тех тестах суммарная вероятность правильного распознавания для систем была от 69.3 до 89.8 %. Вероятность ошибочного распознавания (количество неправильных версий) была в диапазоне от 6.2 до 29.9-%, а ложного срабатывания - от 0.3 до 5.6 %.
Как видим, в сложных условиях системы довольно сильно различались по результатам, и компаниям предстояло еще много работать над их усовершенствованием. В условиях, сильно приближенных к реальным (но все же нереальных), ни одна из систем на тот момент не показала суммарную вероятность распознавания выше 90%. Впрочем, стоит отметить, что некоторые участники были к этому очень близки. Процент неправильно распознанных номеров был слишком высок, чтобы можно было использовать системы распознавания автомобильных номеров в комплексных автоматизированных системах контроля автомобильного движения. Однако напомним, что в тот момент о введении в России повсеместного использования подобного рода комплексов речи еще не велось. К тому же у некоторых систем были проблемы с оптимизацией, что выражалось в высокой загрузке процессора даже при работе по одному каналу.
В приведенной таблице описаны конфигурации компьютеров, которые участники использовали при тестировании. Как видно, тактовая частота используемого процессора и объем оперативной памяти играли не самую важную роль в эффективности работы системы. Хотя многие участники и постарались предоставить на тестирование ПК с мощными процессорами, это, скорее всего, было сделано, чтобы перестраховаться при тестировании многоканальных конфигураций.
Поскольку некоторые разработчики непосредственно еще накануне тестирования очень активно дорабатывали систему, мы не всегда полностью приводим версию программной части комплекса.
В результате настоящего тестирования при работе по одному каналу вероятность распознавания оказалась от 79.3% до 98.0%, а это очень высокие значения. Суммарная вероятность ошибочного распознавания была от1% до 14.7 %, а вероятность ложного распознавания не превышала 1%. Видим, что при имеющихся в настоящем тестировании условиях результаты выросли у всех участников по сравнению с прошлогодним тестированием примерно на 10%, что связано даже не столько с прогрессом разработчиков, сколько со значительно облегченными условиями тестирования.Напомним, что в используемом тестовом клипе было мало надписей на автомобилях и
Рассмотрим результаты, полученные при работе по одному, двум и четырем каналам в дневных условиях, которые были на этом конкурсе-тесте. При работе по двум каналам практически у всех участников результаты немного возрасли на величину от 0.5 до 1.7 %, и только у одной компании результат несколько уменьшился на 0.4 %. Улучшение показателей связано, вероятно, с тем, что участники по сравнению с первым конкурсным днем во второй день смогли лучше настроить свои системы. У компании «Интегра-С» произошло улучшение результата сразу на 11.9 %, что, по словам разработчика системы «Интегра-Видео-Авто», связано в первую очередь с не совсем удачным подбором настроек при тестировании одноканальной конфигурации. Поэтому при вычислении среднего отклонения результатов двухканальной версии от одноканальной мы этот результат решили не учитывать. Тем более, что в случае четырехканальной конфиграции сложилась аналогичная ситуация. Среднее отклонение результатов двухканальной конфигурации от одноканальной конфигурации по всем системам составило 0.5 %. Различие вероятностей распознавания по каждому из каналов в такой конфигурации работы систем не превышало 3.7 %.
Сравнение результатов двухканального и четырехканального режимов работы выявляет незначительное снижение результатов практически у всех компаний-участников. В среднем, отклонение результатов в этом случае по всем системам составило 0.6 %. Как видим все диапазоны изменения рузультата лежат в пределах погрешности эксперимента, и на итоговую вероятность правильного распознавания количество рабочих каналов оказывает незначительное влияние. Таким образом, можно считать, что проблема недостаточной производительности и оптимизации алгоритмов видеонаблюдения и распознавания в рассматриваемых системах разработчиками решена. Напомним, что распознавание символов на номерных знаках по своей природе имеет вероятностный характер, ввиду чего не исключено появление ошибок и на очень хороших с точки зрения распознавания номерах.
Для читателей может показаться немного странным тот факт, что в ночных условиях участники показали более высокие результаты, чем в дневных условиях. Объясняется это тем, что в дневном тестовом клипе размеры номерных пластин и символов на них были немного меньше, чем в тестовом видеоклипе с ночными условиями. Кроме того, из-за работы автодиафрагмы при появлении в кадре автомобиля со светлым кузовом, происходило затемнение области номера. В условиях ночного тестового клипа хорошо работала ИК-подсветка. Поэтому в ряде случаев номера днем оказывались хуже для распознавания, чем ночью.
Использованные ролики и их содержание наглядно продемонстрировали одну из проблем нашей методики тестирования систем видеонаблюдения и распознавания, которая заключается в необходимости записи большого объема видеоматериала в самых разнообразных условиях. В данном случае речь идет не только о разнообразии погодных условий, но и о разных углах поворота видеокамеры. Чтобы пояснить эту мысль приведем в качестве иллюстраций кадры из имеющихся в нашем распоряжении клипов, которые в дальнейшем могут быть использованы при тестировании систем распознавания автомобильных номеров. Камера установлена на высоте 6.5 метра на дорогой, вертикальный наклон камеры достигает 15-17°, угол горизонтального поворота камеры составляет примерно 10° и 20°.
Итак, в рамках выставки «Интерполитех» состоялось первое открытое тестирование систем распознавания автомобильных номеров и видеонаблюдения. Полученные результаты следует считать предварительными, а само тестирование квалификационным. И здесь наше мнение совпадает с точкой зрения многих участников. На основе полученных результатов можно судить о динамике развития систем распознавания автомобильных номеров. Состоявшийся конкурс-тест выявил основные недостатки
имеющейся методики, и на основе этого стало возможным определиться со способами устранения имеющихся недостатков. По мнению редакции, только на основе результатов этого тестирования нельзя утверждать, что какая-либо одна система по своим характеристикам однозначно превосходит все остальные. В заключение мы приводим и комментарии самих участников открытого конкурса-теста.
Продолжение следует ...
