Что такое датчик нейроморфного зрения?

Prophesee, поставщик технологии нейроморфных датчиков зрения, основанных на событиях, объявил о партнерстве с Qualcomm Technologies на масштабном мероприятии Mobile World Congress в Барселоне, Испания, на этой неделе, чтобы перенести возможности захвата изображений с нейроморфной поддержкой на мобильные устройства.

Технология нейроморфных датчиков зрения, основанная на событиях, может изменить правила игры для производительности камеры, поскольку нейроморфные возможности обработки движений и моментов приближаются к тому, как их обрабатывает человеческий мозг, — с меньшим размытием и большей четкостью, чем может управлять камера на основе кадра.

В частности, эта технология позволяет камерам лучше работать при съемке быстрых движений и сцен при слабом освещении на своих фотографиях и видео.

По большей части потребительский рынок все еще ждет, чтобы получить в свои руки устройства с такими возможностями, но новое партнерство означает, что ожидание становится короче.

Позже в этом году Prophesee планирует выпустить комплект для разработки, поддерживающий интеграцию сенсорной технологии Metavision для использования с устройствами, содержащими платформы Snapdragon следующего поколения.

После этого пройдет совсем немного времени, прежде чем потребители смогут сами ощутить преимущества событийно-ориентированной технологии нейроморфных датчиков зрения.

Лука Верре, соучредитель и генеральный директор Prophesee, сказал Fierce Electronics : «Мы ожидаем, что телефоны с этой функцией/возможностями появятся на рынке к 2024 году. Скорее всего, сначала они появятся во флагманских моделях».

Когда технология появится, ожидается, что она не заменит традиционные датчики на основе кадров, а вместо этого будет работать в тандеме с ними, при этом большая часть улучшения производительности камеры будет достигнута благодаря подходу Prophesee к непрерывному и асинхронному распознаванию пикселей на основе событий, который поможет в « устранение размытости изображений» и выделение фокусных точек, которые в противном случае могли бы быть потеряны, когда слабое освещение мешает запечатленному моменту.

Это могло бы сделать потребителей намного более довольными качеством снимков, которые они делают на свои мобильные устройства, хотя есть большая вероятность, что они могут даже не знать, что у них будут нейроморфные датчики, которым они должны благодарить за улучшение, поскольку им, вероятно, не придется думать об этом. переключение в другой режим фотосъемки, чтобы воспользоваться преимуществами нейроморфного восприятия.

«Маловероятно, что смартфоны будут иметь «нейроморфный режим», вместо этого они будут беспрепятственно работать с существующими возможностями захвата изображений, но теоретически OEM-производители могут это рассмотреть», — сказал Верре.

«Обратите внимание, что использование камеры на основе событий на самом деле уменьшает объем обрабатываемых данных, фиксируя только движущиеся объекты в сцене, которые часто «невидимы» для традиционных камер, поэтому в значительной степени это расширение традиционных камер на основе кадров (и других датчиков). , такие как лидар в автомобиле), а не замену, особенно в потребительских приложениях».

Эти датчики уже используются в других приложениях, включая деловые и промышленные варианты использования, такие как камеры безопасности, наблюдение, профилактическое обслуживание, мониторинг вибрации, высокоскоростной подсчет и другие, где камеры событий могут работать «как автономная опция машинного зрения».

Верре сказал, добавив: «Идея слияния датчиков имеет огромный потенциал, объединяя датчики на основе событий с другими типами датчиков, такими как камеры на основе кадров».

Партнерство Qualcomm произошло почти через год после того, как Prophesee объявила о партнерстве с Sony , которое было направлено на обеспечение улучшенной интеграции технологии распознавания событий в устройства, и Верре сказал, что перенос технологии на мобильные телефоны, вероятно, будет более плавным в результате более раннего партнерство.

Работа с Sony, ведущим поставщиком КМОП-датчиков для мобильной индустрии, помогла сделать датчики «более применимыми для мобильных устройств (меньший размер, меньшее энергопотребление и т. д.) благодаря технологиям производства 3D-стэкинга», — сказал он.

Prophesee также видит потенциал этой технологии в других приложениях для мобильных и носимых устройств, таких как гарнитуры дополненной реальности.

Prophesee уже ведет переговоры с OEM-производителями о движении в этом направлении, и Верре сказал, что компания считает, что «обеспечив сдвиг парадигмы в способах обнаружения с помощью этого подхода, можно найти бесчисленное множество приложений, которые могут принести пользу».