Русский дополненной реальности: как выпускник МАИ стал визионером Google

Читать в полной версии

Весной 1994 года профессор японского Университета Хиросимы Тадао Ичикава получил письмо от 26-летнего выпускника Московского авиационного института (МАИ) Ивана Пупырева. Молодой инженер писал, что прочитал статью профессора о технологии виртуальной реальности (virtual reality; VR) и хотел бы учиться у него. В сентябре он получил стипендию университета и уехал в Хиросиму за степенью доктора.

Такие же письма с разницей в именах и названиях статей от проворного молодого ученого получили тогда несколько десятков профессоров американских, британских и японских вузов. Шаблон для Пупырева составил друг из МГИМО: сам он плохо знал английский. «Начало 1990-х годов для молодых людей — времена высокого риска, — рассказывает Иван Пупырев в интервью журналу РБК. — Была растерянность: что делать дальше? Потому что все планы, которые ты делал, они пошли… в другом направлении».

Одноклассники и однокурсники инженера становились депутатами, бандитами, банкирами, эмигрировали или уезжали в Индию искать себя. Сам он выбирал между наукой и бизнесом. Но коммерция в те времена выглядела как «выйти на международный рынок и что-нибудь там продать — вот и бизнес-план», и молодой инженер предпочел путь ученого. Уехать учиться за границу оказалось просто: японский университет не требовал сдавать даже экзамен по английскому.

Спустя два десятилетия Пупырев читает публичные лекции об интерактивном дизайне по всему миру — в Стэнфорде, Принстоне, Токийском университете. В конце мая 2017-го в Москве выступал на фестивале «Политех». Пупырев все время смеется, говорит громко, увлеченно и порывисто, перемежая русские слова английскими и часто проглатывая окончания. За 23 года жизни за рубежом сын советских физиков выучил не только английский, но и японский язык и прошел путь от стажера в маленькой исследовательской лаборатории до изобретателя в Google.

Студент-кочевник

Переезд в Хиросиму в 1994-м не оправдал надежд Пупырева: университет оказался «довольно провинциальным», без подходящей научной среды. Сам он стал единственным студентом, интересующимся VR. Поэтому почти сразу россиянин достал все тот же шаблон письма и «разослал его в кучу мест, чтобы уехать на стажировку куда-нибудь, где можно заниматься виртуальной реальностью». Легкое отношение к жизни вновь помогло: на этот раз его резюме заметила Сьюзан Вегхост, сотрудница известной лаборатории HITLab (Human Interface Technology Laboratory) в Университете Вашингтона. В 1995 году Пупырев переехал в Сиэтл.

Лаборатория как раз получила грант от Управления перспективных исследовательских проектов Минобороны США на изучение, как технологии дополненной реальности (augmented reality; AR) могут быть использованы при медицинской помощи на поле боя. У Пупырева был подходящий для подобных исследований опыт: в Москве он работал в Институте сердечно-сосудистой хирургии им. А.Н. Бакулева — в лаборатории математического моделирования разрабатывал системы прогнозирования, которые в режиме реального времени определяли состояние больного во время операций на открытом сердце. В HITLab хотели сделать AR-дисплей с информацией для врачей во время операции, но эта технология была не развита, поэтому прототип был в VR.

Через три года Пупырев вернулся в Японию дописывать диссертацию и продолжил совместные исследования с коллегами из HITLab, сосредоточившись на AR. Всплеску популярности этой технологии, которая позволяет встраивать виртуальные объекты в реальный мир, в конце 1990-х годов способствовали распространение персональных компьютеров и появление интернета, объясняет директор ARena Space Василий Рыжонков.

Пупырев признается: его всегда интересовала «грань между виртуальным и физическим», он раздумывал, как соединить эти две вещи и какие точки пересечения существуют. Вместе с учеными из HITLab Хироказу Като и Марком Биллингхерстом русский инженер стал работать над ARToolkit — открытым ПО, которое позволяет любому человеку самостоятельно конструировать объекты дополненной реальности.

Разработкой софта руководил Като, Пупырев создавал приложения на основе ARToolkit, уточнил Биллингхерст в переписке с корреспондентом журнала РБК. Например, Пупырев разработал MagicBook — программа позволяла добавлять виртуальные картинки на страницы книги при наведении камеры на них. Като в разговоре с журналом РБК уточняет, что Пупырев в работе над ARToolkit отвечал за концептуальный дизайн и исследовательскую часть, а также координировал участников разработки со всего мира.

И Биллингхерст, и Като с удовольствием вспоминают совместную работу с Пупыревым. «У него были уникальные идеи и сильные лидерские качества. Все мы наслаждались работой с ним», — вспоминает Като. Биллингхерст называет Пупырева одним из самых талантливых интерактивных дизайнеров: «Думаю, главное, что его отличало, — это способность мыслить инновационно и готовность рисковать». Като также говорит, что уже тогда Пупырев был «большим оптимистом» с безусловной верой в успех своих изысканий. «Еще он умел очень много пить, но, должно быть, для русского это обычная история», — добавляет он.

Выпущенный в 1999 году ARToolkit стал первым открытым софтом для разработки приложений дополненной реальности: до этого момента соответствующие программы работали только в специализированных исследовательских лабораториях, писали авторы книги «Дополненная реальность: принципы и практика». На волне интернет-бума конца 1990‑х — начала 2000-х годов Пупырев с коллегами решили создать стартап для коммерциализации своих разработок на основе ARToolkit. Бизнес-планы того времени напоминали ему российский бизнес десятилетней давности, без четких целей и расчетов — «выйти в цифровой мир и что-нибудь там продать».

Ученый и его коллеги нашли инвесторов из Саудовской Аравии, но планы партнеров разрушил кризис доткомов. Биллингхерст и Като позже все же смогли основать свою компанию и заработать деньги на софте: в 2001 году они создали фирму ARToolworks, в 2015-м продали ее другой AR-компании — DAQRI (сумма сделки не раскрывалась). А Пупырев уже не пытался стать бизнесменом.

Еще год он проработал в Киото, в государственной лаборатории ATR (Advanced Telecommunications Research Institute International), где, в частности, занимался исследованиями с крупными компаниями: например, по заказу Airbus команда Пупырева изучала, как использовать AR для проектирования панелей внутри истребителей Eurofighter.

«Я решил завязать с VR и AR. Мне показалось, что это было слишком рано: графика слабая, нет мощных компьютеров, смартфонов тогда не существовало», — вспоминает Иван Пупырев. Тогда его увлекла новая масштабная идея.

В шаге от iPhone

Будущее — за маленькими устройствами, которые человек будет держать в руках, уверился Пупырев. Веру подкрепляла статистика: продажи мобильных телефонов росли на десятки процентов в год (по данным Gartner, +63% в 1998-м, +68% в 1999-м, +41% в 2000-м).

Новым пристанищем для разработок Пупырева стал производитель электроники Sony, точнее — исследовательская лаборатория корпорации в Японии Computer Science Laboratory (CSL). В отличие от предыдущих мест работы для карьерного роста в Sony Пупыреву необходимо было создавать коммерческие продукты.

Почти сразу он взялся за создание сенсорных экранов: уже тогда инженер был уверен, что тачскрины заменят кнопки на телефонах. Пупырев, по его словам, даже предлагал коллегам выпустить мобильный телефон с сенсорным дисплеем, но получил отказ от менеджеров по продукту: «Сказали, что без кнопок плохо: ты не чувствуешь, что нажимаешь». Представители Sony не ответили на вопросы журнала РБК.

Ученый нашел компромиссный вариант: он решил создать аналог кнопок, но на тачскрине — интерфейс давал ощущение клика при нажатии на дисплей. Идея была реализована: Sony выпустила пульты управления для телевизоров и другой домашней электроники с этой разработкой. Первый продукт появился на американском рынке в 2002-м — правда, сенсорный экран на нем был продублирован привычными кнопками. Следующим шагом в научно-инженерных изысканиях Пупырева стала попытка создания гибкого дисплея.

В 2004 году ученый и его коллеги из Sony Карстен Швезиг и Эйджиро Мори представили проект под названием Gummi — дисплей размером с кредитную карту, на котором для перемещения объектов пользователь может водить пальцем не по лицевой поверхности, как в современных смартфонах, а по оборотной стороне устройства. В Gummi Пупырев отвечал за научную и технологическую части, пояснил Швезиг журналу РБК. Гибкий дисплей не стал самостоятельным коммерческим продуктом, но был успешен с академической точки зрения, считает Швезиг: посвященную Gummi научную работу с тех пор цитировали более 100 раз. Позже, в 2011 году, Sony применила технологию задней сенсорной панели на выпущенной игровой консоли PlayStation Vita.

Иван Пупырев уверен: у Sony был шанс первой «придумать iPhone», как, впрочем, и у других корпораций, ведь идея гаджета без кнопок новаторской не была: создать телефоны с тачскрином пыталась, например, IBM. Но революцию произвела Apple: в январе 2007-го глава корпорации Стив Джобс представил первую версию смартфона, изменившего модель потребления. Пупырев объясняет прорыв тем, что компания сделала ставку на проекционно-емкостные (capacitive touch), а не на поверхностно-емкостные (resistive touch) экраны, которые изначально сделаны, чтобы водить по дисплею пальцем, а не просто нажимать на него.

Начало эры сенсорных телефонов заставило Ивана Пупырева вернуться к прежним увлечениям: теперь, когда персональные гаджеты, полностью состоящие из дисплеев, начали захватывать мир, технологии AR могут стать по-настоящему массовыми. К тому моменту о русском инженере знали в научном мире: Пупырев выпустил около 50 работ о VR, AR и других интерактивных технологиях.

«Внедрять цифровую информацию в мир» Пупырев начал в парках аттракционов Disney: в 2009-м компания открыла исследовательскую лабораторию и позвала его на работу. Инженер вновь переехал в США и набрал команду в группу интерактивного дизайна.

Контролируемая реальность

«Это Микки-Маус, мой бывший босс», — смеется Пупырев, показывая презентацию со своими изобретениями. На одной из фотографий самый известный герой вселенной Disney стоит рядом с цветочным кустом с табличкой: «Коснитесь азалии, чтобы поздороваться».

Один из главных проектов команды Пупырева в Disney — технология Touché. С помощью провода и электронной платы она позволяет распознавать прикосновение человека к предмету, растению или даже воде. Разработчики научили Touché не только реагировать на касание человека, но и распознавать пользователей сенсорного экрана. Все патенты на изобретение принадлежат американской корпорации. Технологию можно применять в играх, писали в посвященной Touché статье разработчики. Но пока ее в основном используют в развлекательных целях: она интегрирована во многие объекты, которые можно найти в парках Disney, рассказывает инженер Али Исрар, работавший с Пупыревым. Например, в Диснейленде в Шанхае есть «цифровые растения», отвечающие звуком на прикосновение. «В Disney можно было делать такие вещи, которые больше никогда в жизни не сделаешь: здесь полностью контролируемая реальность. Ты же не построишь свой собственный Диснейленд», — с нескрываемым удовольствием рассказывает Пупырев.

В рамках парков развлечений Disney у инженера были практически неограниченные возможности для экспериментов с новыми технологиями. Он не мог не воспользоваться ситуацией и вместе с командой пробовал интегрировать в реальность не только звук, но и изображение.

В 2011-м Пупырев и его коллеги Карл Виллис и Моше Махлер представили систему SideBySide: два человека, вооружившись мини-проекторами со встроенными камерами, могли играть проецируемыми изображениями, которые реагируют на движения и взаимодействуют между собой. Разработчики надеялись, что SideBySide будут применять в практических целях, например для передачи файлов или обучения. Но журнал Wired главной ценностью изобретения назвал возможность «успокоить детей, где бы вы ни находились». SideBySide, как и многие решения Пупырева, не дошла до коммерческого использования.

Исрар самой успешной разработкой из тех, над которыми они вместе трудились, называет Surround Haptics. Технология позволяет добавлять тактильные ощущения: сенсоры встраиваются в кресла, перчатки, обувь и одежду и симулируют ощущения от ускорения или торможения, езды по неровной дороге, взрывов и т.п. В 2012-м Marvel и Comfort Research использовали Surround Haptics в подкладках для кресел (продукт стоил $99): потребители смогли «почувствовать» звуки в играх и фильмах. А в открывшейся в июне 2017-го зоне парка Disney во Флориде, посвященной фильму «Аватар», одним из главных развлечений стал виртуальный полет на спине драконообразного существа за счет интеграции Surround Haptics в сиденья.

Пупырев совмещает в себе «масштабность идей предпринимателя и аналитическое мышление ученого», описывает российского инженера Исрар. Совместную работу он называет историей успеха и признается, что скучает по работе с Пупыревым. После пяти лет в должности главного научного сотрудника лаборатории Disney инженер уволился (представитель корпорации отказался обсуждать работу экс-сотрудника) ради Google.

Штатный стартапер

«В 99% случаев опытные специалисты правы, когда говорят, что идея работать не будет. Но в оставшемся 1% как раз рождаются прорывные технологии», — уверен Пупырев. Проекты, над которыми он работал в корпорациях, были исследовательскими и визионерскими, а те, что поступали на рынок, становились результатом компромисса с маркетологами, например те же пульты управления Sony.

Полную свободу действий и требование создавать полноценные рыночные продукты Пупыреву предложили только в 2014-м. Сделала это Регина Дуган, тогда глава ATAP (Advanced Technology and Projects group), исследовательского подразделения Google: «Регина сказала: если у тебя есть сильная идея, никто не будет вмешиваться». Он согласился.

Главная цель АТАР — создание новых вещей, иногда, казалось бы, невозможных, описывала Дуган работу научного подразделения Google в том же 2014-м. Свою команду она называла «небольшой бандой пиратов на очень быстрой лодке». Став техническим руководителем ряда проектов ATAP, Пупырев говорит, что работает, по сути, в стартапе: есть два года на создание коммерческого продукта, есть бюджеты и почти абсолютная свобода. Сейчас в ATAP параллельно работают над пятью проектами, два из них придумал и ведет Пупырев.

Как раньше с тачскринами, теперь изобретатель верит в бесконтактное управление, «использование тела как части интерфейса», поэтому создает сенсор для распознавания жестов. Его проект Soli основан на технологии радарного датчика, который позволяет считывать движения человека и определять его команды. На разработку ушло 10–15 месяцев. В 2016-м на конференции Google I/O для разработчиков Пупырев презентовал «умные» часы LG с чипом Soli: управление гаджетом осуществляется движением пальцев в воздухе.

Сторонние разработчики, первыми получившие доступ к архитектуре Soli, создали несколько прототипов продуктов, например сейфы с замком, которые открываются с помощью набора жестов. О старте продаж какого-либо продукта на основе Soli пока никто из компаний не объявлял. Но скоро на прилавки попадет второе изобретение команды Пупырева в АТАР: осенью Google вместе с Levi’s представит куртку за $350 с сенсорным участком на рукаве, с помощью которого пользователь сможет управлять смартфоном. Для проекта Jacquard ученые придумали токопроводящие нити, реагирующие на касание так же, как сенсорный дисплей.

Jacquard и Soli похожи на проект Gummi, которым Пупырев занимался в Sony. Все это «новые типы устройств и интерфейсов на основе новых интерактивных технологий», говорит Карстен Швезиг, который до 2016 года руководил в АТАР разработкой дизайна обоих проектов.

В АТАР не ожидают увидеть полностью готовый продукт спустя два года: за это время разработчики должны доказать, что продукт или технологию можно не только создать, но и масштабировать, объяснил журналу РБК глава лаборатории Дэн Кауфман. По его словам, и Soli, и Jacquard уложились в сроки: команда Пупырева выпустила работающие прототипы и показала, что их можно произвести на существующих заводах (Levi’s, LG). Размер инвестиций в проекты стороны не раскрывают.

Опрошенные РБК коллеги Пупырева восхищаются им. Результаты его исследований не столь практичны, чтобы повлиять на жизнь людей, но вдохновляют ученых, говорит Като. Исрар называет Пупырева великим визионером нашего времени. Швезиг считает, что, если интерактивные технологии инженера лягут в основу новых продуктов, изменят привычное, как когда-то проекционно-емкостные дисплеи позволили создать iPhone. «Мне интересно каким-то образом улучшить мир, в котором мы живем», — так отвечает на вопрос о своих задачах сам Пупырев.