Прикладные задачи, решаемые с помощью систем технического зрения.

СЕМИН Михаил Сергеевич

ПРИКЛАДНЫЕ ЗАДАЧИ, РЕШАЕМЫЕ С ПОМОЩЬЮ СИСТЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ

В последнее время очевиден прогресс микроэлектроники в развитии устройств регистрации изображений. Расширилась сфера их применения: телевизионные камеры уже ставят и на шлемы парашютистов, и на болиды Формулы-1”, и даже в замочные скважины.

И это серийная техника!

Одновременно столь же интенсивно развиваются технологии производства специальных приемников изображений. Давно освоены матричные оптические приемники с разрешением 4000х4000 элементов и больше, а в последнее время появились матрицы, сочетающие высокое разрешение – более 1000х1000 элементов – и скорость съемки, на порядки превышающую привычные телевизионные” 25 кадров в секунду, а также матрицы, позволяющие регистрировать отдельные фотоны.

Наряду со стремительным развитием устройств регистрации изображений создается математическое обеспечение обработки изображений, что позволяет говорить о системах технического зрения (СТЗ), конечным “продуктом которых является не само изображение, а параметры контролируемого процесса.

Таким образом, для любого конкретного случая можно создать систему технического зрения, намного превышающую возможности человеческого глаза, а порой и человека как анализатора изображений. При этом использование специальных алгоритмов обработки получаемого изображения позволяет иногда добиться совершенно неожиданных по эффективности решений, казалось бы, в тупиковых ситуациях.

Существует расхожее мнение, что спрос рождает предложение. Однако во времена технологических прорывов предложения новых решений часто опережают спрос по той простой причине, что потенциальные потребители этих новаций либо не знают о них, либо в силу инерции мышления “не могут догадаться” применить их в своей практике.

СТЗ в термовизионных и термоизмерительных технологиях
Разработчик НПП “ТЕРМОТЕХ”

Для получения температурных полей различных объектов, имеющих температуру 700 °С и выше, разработан программно-аппаратный комплекс “TERMO”, выполняющий следующие основные функции:

расчет температуры, коэффициента излучения, интегральной плотности потока излучения в каждой видимой точке объекта;
представление температурной картины объекта в режиме реального времени по следующим параметрам: коэффициент излучения объекта, пропускание среды, отражение зеркала, температура окружающих объектов;
сигнал о выходе температуры за заданные границы в указанных участках термоизображения;
запись серий кадров на диск с возможностью последующего воспроизведения и обработки.

Анализ термоизображений производится в следующих видах:

цветная термограмма (несколько палитр, динамические границы палитры);
профили распределения в заданных точках вдоль указанных направлений;
распределение температуры в выбранных точках по времени;
изотермы;
статистика по выбранному региону (максимум, минимум, среднее, среднеквадратичное отклонение и т.п.);
гистограмма значений в регионе.

Все функции анализа доступны в режиме “живого” изображения.

Рис. 1. Примеры использования тепловизора (термовизора) для контроля параметров технологического процесса дожига побочных продуктов при нефтепереработке (контролируется наличие факела, объем сжигаемого газа и температура горения)

Рентгено-дефектоскопия
Разработчик РНЦ “Курчатовский институт”

Отделом разработки детектирующих систем создан и внедрен в производство рентгенодиагностический комплекс контроля сварных швов и толщины стенок стальных труб. Применение цифровой рентгеновской телевизионной системы позволяет осуществлять контроль шва длиной около 4 метров всего за 8 минут и контроль толщины стенки труб со скоростью до 3 м/мин. По традиционной технологии пленочной радиографии на эти процессы уходит несколько часов.

Регистратор гамма-изображений
Разработчик РНЦ “Курчатовский институт”

Этот прибор предназначен для получения гамма-изображений (изображений в гамма-лучах), по которым можно с безопасного расстояния обнаруживать радиоактивные источники и определять распределения радиоактивности.

Прибор (рис. 2) состоит из коллиматора, формирующего изображение; сцинтиллятора, излучающего свет при поглощении гамма-квантов; усилителя света на основе микроканальной пластины (МКП) и цифровой ПЗС-камеры.

Кадры дефектных областей могут сохраняться для последующего анализа.

Рис.2 .Схема прибора для получения гамма-изображений

Фото 1а
Изображение гамма-источника Am-241, полученного с расстояния 5 м за 100 секунд. Источник дает увеличение мощности дозы порядка величины естественного фона в месте наблюдения

Фото 1б
Наложение распределения интенсивности в гамма-источнике (синяя палитра) на видеоизображение загрязненного объекта

Рис. 3. Другой способ представления результатов измерения распределения радиоактивности радиоактивное пятно на полу помещения.
Справа – распределения радиоактивности в пятне,
слева – наложение полученного распределения
(в виде изолиний одинаковой интенсивности) на видеоизображение помещения

Визуализация гидроаэродинамические потоков
Разработчик аэродинамической лаборатории ЦНИИ им. Акад. А.Н. Крылова

Благодаря своей наглядности и высокой информативности визуализация потоков в гидроаэродинамическом эксперименте находит все большее применение, что позволяет оперативно и качественно решать вопросы совершенствования судовых конструкций, получать достоверную информацию о сложных процессах, происходящих в гидроаэродинамических потоках.

Комплекс установок стенда визуализации гидродинамических течений включает: гидродинамическую трубу с прозрачным рабочим участком (поперечное сечение – 15х15 см, длина – 60 см); набор макетов смесительных камер и технологических устройств водопроводных станций; набор макетов судовых помещений с прозрачными стенками для гидравлического моделирования конвективных течений на начальной стадии пожара и процессов вентиляции в масштабе 1:10.

Стенд визуализации гидродинамических течений оборудован современной регистрирующей кино-, фото-, видеоаппаратурой, позволяющей производить регистрацию и последующую обработку изображений с высокой точностью. В состав аппаратуры входят: оптический прибор ИАБ-451, кино- и фотокамеры формата 35 и 60 мм и видеокомплекс.

На стенде проводятся фундаментальные и прикладные исследования, направленные на решение практических задач совершенствования судовых конструкций.

Основные направления фундаментальных исследований:

отрывные течения и вихреобразование в пограничном слое;
пространственные отрывные течения;
взаимодействие струи со сносящим потоком;
вихреобразование в нестационарном потоке;
развитие конвективных потоков в ограниченном пространстве.

Рис. 4. Фундаментальные исследования (поток направлен справа налево). Взаимодействие потока с парой вращающихся цилиндров:
а) направление вращения цилиндров совпадает;
б) цилиндры вращаются в противоположных направлениях,
создавая струю, идущую поперек потока

На совершенствование судовых конструкций направлены прикладные исследования:

снижение задымляемости транспортных судов;
вихреобразование на выступающих элементах корпуса подводного судна, причины неоднородности потока в диске гребного винта;
влияние режимов работы гребного винта, углов атаки и дрейфа подводного судна на структуру обтекания кормовой оконечности;
вихреобразование над полетной палубой авианосца при качке;
вихреобразование на решетках теплообменных аппаратов;
исследования конвективных потоков на начальных стадиях пожара в судовых помещениях с целью оптимизации мест установки датчиков пожарной сигнализации.

Рис. 5. Прикладные исследования:
а), б) – задымляемость ходового мостика транспортного судна при низкой трубе;

в), г) – стадии вихреобразования над полетной палубой авианосца при качке

Снаряд-дефектоскоп для контроля внутренних поверхностей дымовых и вентиляционных труб промышленных предприятий
Разработчик ЦИЭКС МЧС РФ

Задача контроля состояния дымовых труб без их предварительного расхолаживания весьма актуальна особенно там, где используются непрерывные технологические процессы.

Для обследования состояния футеровки внутренней поверхности дымовых труб разработчиком создан снаряд-дефектоскоп (фото 2).

Фото 2. Снаряд-дефектоскоп

Конструкция этого снаряда с установленными кольцевыми аэродинамическими стабилизаторами обеспечивает его устойчивое положение при спуске/подъеме и совместно с комплексом вспомогательных подъемно-транспортных механизмов позволяет проводить работы без остановки технологического процесса или при частичном расхолаживании трубы до температуры 200 °С. В нижней части корпуса установлен блок регистрации изображений (разработка “НПК ВИДЕОСКАН”), включающий 12 установленных по кольцу телевизионных камер и бортовой вычислительный комплекс, обеспечивающий: при спуске снаряда-дефектоскопа получение серии кольцевых изображений внутренней поверхности трубы и запись их на HDD, а после извлечения снаряда-дефектоскопа из трубы считывание полученных данных через стандартный канал связи во внешний компьютер для анализа и архивации.

Фото 3. Фрагмент изображения внутренней стенки дымовой трубы

На фото 3 представлены фрагменты изображений внутренней стенки дымовой трубы вблизи устья. Хорошо видны трещины и другие дефекты, образовавшиеся при эксплуатации трубы.

Автоматическое выделение и считывание штриховых кодов
Разработчик ИИТ и Intermec Corp.

Устройство предназначено для использования в автоматизированных системах складского контроля, а также для автоматической сортировки и регистрации товаров, посылок и т. п.

Изображение объекта с нанесенным штриховым кодом регистрируется видеокамерой и вводится в персональный компьютер. В ходе анализа полученного цифрового изображения имеющиеся штриховые коды обнаруживаются и считываются. При этом обнаруживаются и считываются все штриховые коды в поле зрения камеры, независимо от их размера, положения, ориентации и геометрических свойств поверхности, на которую они нанесены; допускается частичное загрязнение и затирание штриховых кодов, а также целлофановое покрытие объекта поверх кодов; штриховые коды распознаются на любом сложном структурированном фоне.

Фото 4. Рамками показаны обнаруженные и считанные штриховые коды

Автоматическое выделение и фильтрация следа частиц
Разработчик ИИТ и ИВТ РАН

Система позволяет автоматизировать процесс обработки и анализа 12-битных цифровых изображений следа частиц, полученных скоростной фотосъемкой, и обеспечивает надежное выделение следа частиц с субпиксельной точностью, а также их фильтрацию согласно требуемым параметрам (длина следа частицы, максимальная интенсивность по длине следа, поперечный размер следа частицы с учетом угла следа, угол наклона следа частицы относительно границ изображения).

Фото 5. Выделены треки частиц, удовлетворяющие заданным параметрам

Автоматическое выделение человеческого лица и слежение за его чертами
Разработчик ИИТ и SPIRIT Corp.

Решается задача автоматического обнаружения лица и его характерных крупных элементов (глаз, рта, бровей, носа), а также слежения за этими объектами и их последующего отображения в масштабе реального времени на персональном компьютере типа IBM PC. В качестве устройства ввода используется web-камера, обеспечивающая входной поток данных в формате RGB (24 бит) со скоростью не менее 10 кадров в секунду. Размер входных изображений: 320х240 пикселов. Лицо пользователя расположено в анфас к камере и не закрыто никакими другими объектами. Допускаются повороты и наклоны лица в пределах 10 градусов. Освещенность обычная офисная. Результаты выделения границ бровей, носа и рта аппроксимируются сплайнами по нескольким характерным точкам. Результаты обнаружения глаз характеризуются флагом “глаз открыт/закрыт”, а также центрами и радиусами соответствующих окружностей (рис. 6).

Рис. 6. Автоматическое обнаружение лица и его характерных элементов

Поверх исходных изображений показана выделенная информация о лице и его чертах, представленная в виде векторных графических элементов для передачи по сетям или дальнейшей визуализации виртуальных персонажей средствами машинной графики в реальном времени.

Обнаружение препятствий на дороге перед движущимся транспортным средством
Разработчик ГосНИИАС и НЦ “Модуль”

Для решения задачи автоматического управления транспортным средством разработана система обнаружения препятствий на скоростных трассах. В основе ее работы – анализ цифровых стереоизображений, получаемых при помощи двух CCD-видеокамер. Обнаружение препятствий происходит внутри собственной полосы движения автомобиля в масштабе реального времени. Система обеспечивает устойчивое обнаружение различных типов препятствий на расстоянии до 100 м.

Фото 6. Результаты выделения собственной полосы движения и препятствий, наблюдаемых на дороге в разных условиях освещенности и различных дорожных ситуациях

Настольный криминалистический комплекс ГЕНЕТИКА-02
Разработчик НИИИН МНПО “СПЕКТР”

Комплекс предназначен для углубленной проверки документов, банкнот, ценных бумаг и т.п.

Состав комплекса: криминалистический блок; выносная инфракрасная видеолупа; цветной видеомонитор, а также оптимальный набор средств оперативного контроля документов и обеспечение связи с ПЭВМ для обработки и архивирования информации.

Предусмотрена возможность дооснащения дополнительными функциональными узлами и блоками.

Фото 7. а), б) выявление дописок и исправлений;

в), г) визуализация изображения под заливкой красителем.

Основные функции комплекса:

контроль качества бумаги, типографского и рукописного оформления водяных знаков, люминесцирующих волокон, защитных меток люминесцентных, метамерных и других красителей – листов различного, в том числе крупного, формата;
выявление подтирок, подчисток, подделок текста, печатей, следов клея и давления пишущих инструментов;
обнаружение следов воздействия вытравливающих составов с визуализацией уничтоженных деталей;
визуализация залитых красителями деталей оформления и деталей на обороте листа и следующем листе.

Ниже приведены некоторые примеры работы комплекса (полоса регистрации ИК-излучения в диапазоне 720 – 1000 нм).

Проверка подлинности банкнот:

Фото 8. Изображение банкнота РФ в отраженном излучении:
а) в видимом диапазоне;

б) в ИК-излучении

Неохлаждаемые малогабаритные тепловизоры на пироэлектрической и микроболометрической матрицах “ТН-4604 МП” и ТН-4604 МБ”
Разработчик НИИИН МНПО “СПЕКТР

Тепловизоры предназначены для эффективного наблюдения за охраняемыми и контролируемыми объектами и зонами в любое время суток в различных, в т. ч. сложных метеоусловиях. Обеспечивают визуализацию теплоизлучающих объектов, наблюдение динамики теплообмена. Могут использоваться для решения специальных задач. Основные области их применения:

обеспечение техногенной безопасности:
тепловизионная диагностика энергонасыщенных объектов, зданий, сооружений и транспортных средств;
поиск утечек и разрывов на нефтепроводах и теплотрассах, а также с воздуха скрытых очагов пожаров и подземного возгорания торфяников;
выявление пожаро- и взрывоопасных мест перегрева на силовом электрооборудовании и т. п.;
поисково-досмотровые мероприятия:
поиск, обнаружение и скрытое наблюдение за передвижением и действиями удаленных объектов;
поиск с воздуха людей в открытом море, горах, пустынях и других труднодоступных местах;
эффективное мобильное средство для круглосуточной наружной охраны зданий, сооружений и протяженных объектов;
выявление скрытых аномалий (пустот, инородных включений).

Фото 9. Остаточный нагрев (на совсем остывшие участки) и отражение от сухого асфальта ступиц колес и глушителя через 20 минут после остановки автомобиля (дельта Т = 5 °C)

Многоканальная регистрация сверхбыстрых процессов
Разработчик ЗАО “НПК Видеоскан”

Решение задачи показано на примере регистрации изображений рикошета пули при стрельбе из автомата Калашникова под острым углом к поверхности воды (фото 10).

Фото 10. Регистрация изображения сверхбыстрого процесса

Изображения регистрировались тремя электронно-оптическими камерами системы Nanogate Frame-4 [1], установленными вдоль траектории полета пули. Экспозиция каждой камеры 300 нс. Интервал между снимками – 200 мкс.

Первая фаза: пуля подлетает к поверхности воды, при этом сильный тангаж пули обусловлен потерей стабилизации при прохождении полиуретановой стенки кюветы.

Вторая фаза вхождение пули в воду. Интересно отметить, что возмущение воды опережает полет пули.

Третья фаза: пуля выходит из воды.

Применение систем регистрации сверхбыстрых процессов актуально в различных областях науки техники.

Применение СТЗ в промышленном производстве (на примере медицинской промышленности)
Разработчик ЗАО “НПК Видеоскан”

Для профилактики и лечения приступов у больных бронхиальной астмой компания “Пульмомед” создала препарат пролонгированного действия “Сальтос”, важнейшей особенностью которого является его дозированное выделение. Для этого в нерастворимой оболочке каждой таблетки лазерным лучом прожигается отверстие строго определенного размера. Так как любое отклонение от заданного параметра может стать роковым для пациента, компания “Пульмомед” приняла решение об обеспечении стопроцентного полностью автоматизированного контроля размера отверстий в оболочках производимых таблеток путем применения средств СТЗ.

Фото 11. Изображение отверстия в оболочке таблеток получено видеосистемой VSСТТ-075-2001, оснащенной микроскопическим объективом

Несмотря на то, что средняя яркость изображения в площади отверстий почти не отличается от средних значений яркости в остальных частях изображения (фото 11), в НПК Видеоскан” были разработаны алгоритмы, решающие задачи выделения области поверхности таблетки, содержащей отверстие, и определения площади отверстия в темпе работы производственной линии – до 2 таблеток в секунду. Примеры работы этого алгоритма приведены на фото 12.

Фото 12. Примеры выделения площадей отверстий

Результаты измерения площадей отверстий используются в промышленной линии для регулирования мощности излучения лазерной установки и отбраковки продукции.

Литература

1. Крутик М.И. Многоканальные программно-управляемые электронно-оптические комплексы для скоростной регистрации серии изображений быстропротекающего процесса.//Специальная техника, 2002, № 1, с. 36 – 41.