Виртуальный мир слушается вещей и следует жестам. Статья обновлена в 2023 году.

Виртуальный мир слушается вещей и следует жестам


Виртуальный мир слушается вещей и следует жестам


Кто видел "Особое мнение" Спилберга, вряд ли догадывался, что создатели этого фантастического фильма экранизировали неизвестную широкой публике и ещё сырую (на тот момент) разработку, которую уже не один год вели американские компьютерщики. Правда, при съёмке не обошлось без спецэффектов, но в основе замысла была реальная система.

Авторами комплекса, который позже эволюционировал в G-Speak, являются Джон Андеркоффлер (John Underkoffler) и его коллеги из медиалаборатории Массачусетского технологического института (MIT Media Lab). Именно там Спилберг и его подчинённые подсмотрели действующее управление данными при помощи жестов.

Задолго до "Особого мнения" Андеркоффлер задумался над тем, как привнести компьютерную графику в реальный мир. Он мечтал, что снимки, схемы, таблицы можно будет выводить на стены, полы, ладони, столы и стулья.

Причём управляться с этими виртуальными объектами хорошо было бы простыми жестами. Очертил пальцем круг — вырезал из кадра объект, провёл ладонью вниз — переместил фрагмент на новый снимок, сделал ещё несколько пассов — отправил полученное по электронной почте. Как-то так.

С выводом было всё понятно — нужны проекторы. Причём учёные сразу подумали о размещении одной или, лучше, нескольких таких установок на потолке и стенах, там, где обычно размещаются лампочки освещения. Лампочка же имеет "привилегированное положение" в комнате — ей всё хорошо видно.

Авторы системы пошутили, что, мол, лампочка — это тоже в некотором роде проектор, только показывающий один пиксель. Так что нужно было всего-то "поднять разрешение". Что американские исследователи и проделали, построив очень маленький цифровой проектор (не без помощи ряда партнёров из промышленности).

Восприятие жестов оказалось более сложной задачей. Решено было встроить крошечную камеру в ту же самую "лампочку-проектор". Камера воспринимала бы движения рук (в специальных перчатках, оснащённых хорошо различимыми маркерами) и передавала бы их на комп. Дальше дело техники: PC должен на лету распознавать жесты, определять координаты рук в пространстве и интерпретировать их как команды. Создание такого софта, впрочем, заняло немало времени. Это только на словах всё выглядит просто.

Несколько таких "лампочек", перекрывающих различные "углы обстрела" в комнате, и создавали бы среду, о которой мечтал Андеркоффлер. Авторы даже придумали забавный термин "лампочка ввода-вывода" (input-output lightbulb), хотя к электрической лампочке это устройство не имеет никакого отношения.

Так в 1990-х в Массачусетском институте и появилась "Светящаяся комната" (Luminous Room). В ней Андеркоффлер не один год шлифовал принцип "воздушного управления графикой", и в ней как раз члены команды Спилберга проводили целые дни напролёт, чтобы потом наиболее правдоподобно показать в фильме компьютерный интерфейс "далёкого будущего". Джон Андеркоффлер, кстати, стал научным консультантом "Особого мнения". Ему в том числе мы обязаны продуманностью "реалий 2054 года".

Фильм, как известно, имел успех (к слову, ещё одну идею из Minority Report, пусть на ином принципе, попробовали воплотить в жизнь в Британии — это предсказание имён будущих убийц). Но главное — "будущее" в данном контексте оказалось не таким уж и далёким.

Luminous Room "накачала мускулы", обрела более продвинутый "интеллект" и превратилась в среду G-Speak. Для её дальнейшего развития и продвижения на рынок недавно была создана компания Oblong Industries (Андеркоффлер стал в ней ведущим учёным и одним из учредителей). Теперь удивительный интерфейс представлен публике под лозунгом "Minority Report в реальности". Реклама, куда ж без неё. А система и вправду впечатляющая.

Но если вам лень махать руками целыми часами подряд, можно попробовать обратиться к Николь (Nicole). Обратиться буквально: "Николь! Запусти IE и найди мне, пожалуйста, в Сети "Лунную сонату" Бетховена". Запустит и найдёт. А потом проиграет, подчиняясь всё тем же голосовым командам.

Создатель этой системы, своего рода виртуальной секретарши, а правильно — desktop personal assistant — Том Мойр (Tom Moir) из школы инжиниринга и передовых технологий новозеландского университета Мэсси (School of Engineering and Advanced Technology, Massey University). Вчера, второго декабря, Том показал виртуальную ассистентку Nicole в Окленде, на 15-й международной конференции по мехатронике и машинному зрению M2VIP.

Бразильцы считают свою Николь самым реалистичным виртуальным помощником в мире. Самый или нет, но этот персонаж умеет перевоплощаться из секретаря в телеведущую, а ещё может раздеться. Но такая "опция" в проекте Мойра ни к чему. Как и то, что на самом деле бот Николь — полный, с головы до пят, да ещё и способный надевать разные платья и костюмы, ведь в ипостаси помощника девушка выводится на экран в виде "говорящей головы".

Разумеется, управление голосом — далеко не новость в компьютерном мире. Достижение Мойра заключается в том, что он довёл этот принцип если не до совершенства, то уж, во всяком случае, до приличного уровня сложности, а ещё — совместил голосовое управление с виртуальным персонажем. Тут надо сказать, что образ Nicole, точнее – целого бота, обладающего десятками выражений лица, Тому предоставила бразильская компания Guile 3D Studio, специализирующаяся на "виртуальных людях".

Выражение лица Николь может отражать удивление и гнев, веселье и задумчивость, движение её губ согласовывается с произносимыми фразами, она может плакать и выражать сомнение в словах собеседника. Пожалуй, её способности даже избыточны для амплуа экранной "секретарши". Да, одно из этих лиц – Том Мойр. Мойр обучил бразильскую красотку всяческим премудростям: работе с файлами и папками, запуску выбранного аудио и видео, поиску данных, ответам на вопросы типа "который час?", зачитыванию вслух новостей и тому подобному.

Но на управлении исключительно виртуальными объектами Том не остановился. Ведь он полагает, что Nicole должна стать помощником не столько ленивым пользователям, сколько инвалидам, которым с компьютером управляться сложно или даже попросту невозможно. А раз так, виртуальная девушка должна "дотягиваться" и до реальных вещей. Скажем, включать и выключать по голосовой команде свет, вентилятор или ещё что-нибудь в таком роде. Система, созданная Мойром, всё это позволяет.

Ну, а если общение с Николь вам надоело, попробуйте "вещевой интерфейс". Приборчик "Зеркало" (Mir:ror) выпускает и продаёт французская компания Violet. За 45 евро пользователь получает возможность превращать повседневные вещи в интерактивные объекты. Система, дебютировавшая в прошлом месяце, построена на уже привычных чипах радиочастотной идентификации (RFID).

Обычно эти неприметные радиомаркеры применяют на заводах, складах и в магазинах для учёта и сортировки большого числа объектов. Но иногда встречаются оригинальные системы – RFID-брелоки, микрочипы и карточки в роли железнодорожных билетов, ключей от номера в отеле или системы против забывчивых хирургов, к примеру. И всё равно в быту RFID как-то не очень плотно задействованы. А ведь какие перспективы открываются!

Итак, Mir:ror — это настольный считыватель специальных RFID-марочек, называемых Ztamps (они идут в комплекте и могут быть докуплены по мере надобности), плюс соответствующий софт. Эти микрочипы можно поместить куда угодно. После того как предмет, оснащённый таким чипом, будет поднесён к "Зеркалу", компьютер выполнит набор команд, заранее "ассоциированных" с этим предметом. Принцип этот очень похож на работу "предметной" системы обучения английскому, только возможности "Зеркала" — куда шире. Что вы запрограммируете на запуск той или иной "софтинки" – дело вкуса. Французы предлагают разные варианты: от кружки до кедов.

Носитель RFID-чипа, который также позволяет запускать набор команд с "Зеркала" – "микрокролик" Nano:ztag. Внешне этот "зверь" повторяет гораздо более крупного интерактивного интернет-кролика Nabaztag, который завоевал добрую репутацию и известность для Violet несколькими годами ранее. Он самостоятельно выходит в Интернет (воспринимает команды на слух) и обладает голосом (читает новости, курсы валют или сводки с биржи), подвижными ушками и разноцветной иллюминацией.

Например, книга, положенная на "кругляш" прибора, автоматически запустит Интернет и откроет страницу сайта издателя или видео, содержащее дополнительную информацию, или сайт писателя. Прогноз погоды на завтра можно получить, поднеся к Mir:ror зонтик; возьмёте в руки сувенир из последней поездки — комп покажет соответствующий фотоальбом; любимая игрушка вашего малыша заставит PC прочитать сказку; пачка сигарет при помощи этого прибора может подсчитывать количество выкуренных сигарет за день или неделю; MP3-плеер, положенный на "Зеркало", откроет в компьютере папку со "стратегическим" запасом композиций, а мобильник — сайт гарантийной мастерской. Почему нет? Решать вам.

"Утро. Вы кладёте ключи от машины на это загадочное устройство. Голос произносит: "Сегодня дождь, 14 °C. Вы доедете до работы за 15 минут". Экран компьютера включает изображения с веб-камер, расположенных вдоль намеченного ранее маршрута, в то время как голос читает гороскоп на день", — такой сценарий предлагает компания-производитель.

Компьютер может выполнять массу инструкций, запрограммированных пользователем, всего лишь "увидев в зеркале" предмет, связанный с этим набором действий. Куда проще, чем сидеть перед экраном и последовательно открывать все эти приложения вручную. Такая вот "маленькая магия".

Вроде бы по сути — ничего сложного. Схожие (отчасти) проекты мы уже видели раньше. В виде лабораторных опытов и "мечт". Но никто, кажется, ещё не догадался выпустить на рынок такой готовый продукт для широких масс. Вы ещё мучаетесь с клавиатурой? G-Speak, Nicole, Mir:ror предлагают альтернативу. Насколько она удобна — другой вопрос. Но ведь главное, когда есть выбор, не так ли?

По материалам сайта http://membrana,ru