Начавшийся как обычный проект для хакатона, под названием «Open Glass», может оказать значительное влияние на рынок умных очков и стать важным шагом в развитии открытого сообщества разработчиков.
Команда молодых энтузиастов из Сан-Франциско за 24 часа разработала прототип умных очков стоимостью всего лишь $20. Эти очки были интегрированы с ИИ чат-ботами и способны анализировать окружающую обстановку при помощи камеры и микрофона.
Утром в субботу один из участников команды, Скотт Фитсимонс, отправился в центр города, не предполагая, каким образом завершится этот день. Его единственной целью было забрать у знакомого Ника Шевченко ИИ-кулон, но Шевченко предложил Фитсимонсу неожиданно присоединиться к участию в хакатоне.
«Я ничего не знал о хакатоне, все случилось спонтанно, — вспоминает Фитсимонс. — Но мы сразу начали работу над созданием прототипа «Open Glass».
Шевченко отвечал за аппаратную составляющую очков, к нему присоединились программист Степан Коршаков, занятый разработкой сложного программного обеспечения, а также Шриганеш Раманан и Джатин Гупта. Хакатон продолжался целые сутки.
Всё это время молодые программисты работали в светлом зале с панорамными окнами, на уютных диванчиках и пополняли свои силы энергетическими напитками La Croix.
Компания Cerebral Valley регулярно организует подобные хакатоны, привлекая и объединяя местное сообщество разработчиков ИИ. В то время как основная часть команды писала код, Шевченко работал с паяльником — ему даже пришлось выйти из зала, чтобы напечатать корпус для «Open Glass» на 3D-принтере.
В итоге усилия молодых разработчиков были вознаграждены успехом — они с гордостью продемонстрировали своим коллегам доступные солнцезащитные очки с черным блоком справа.
Устройство оснащено камерой, которая делает снимки раз в 5 секунд, а также микрофоном для записи и расшифровки аудио. Система создает базу данных из фотографий и текста, отображающих все, что видит и слышит пользователь.
Нажатие кнопки активирует чат-бот Llama 3 от Meta, который описывает окружающий мир, используя накопленные данные.
Разработчики задают искусственному интеллекту самые разнообразные вопросы, такие как «Как зовут этого человека?», «Где я оставил ключи?», «Сколько калорий в этих фруктах?», чтобы продемонстрировать качество устройства.
По их словам, эта технология имеет широкий спектр полезных применений, особенно для людей с нарушениями зрения и слуха. Благодаря ей многие смогут получать информацию об окружающей среде, что для них сложно воспринимать непосредственно.
Несмотря на проблемы с распознаванием речи на презентации, проект команды Шевченко занял первое место, получив одобрение критиков от Meta, Groq и Hugging Face, включая генерального директора последней компании - Клема Делана.
Всего через несколько часов предприимчивый Шевченко открыл предварительный заказ на версию прототипа.
И вот произошло нечто удивительное - менее чем за сутки желание приобрести Open Glass проявили более 1300 человек по всему миру.
«Это потрясающе, уже более 1300 заказов!» - с удивлением сообщил на следующий день Коршаков.
«Люди со всего мира хотят создать нечто подобное. Теперь у них есть возможность принять участие в развитии проекта».
В отличие от существующих коммерческих аналогов, таких как Ray-Ban от Meta, Open Glass основаны на открытом исходном коде и доступны по сверхнизкой цене.
Разработчики сами смогут выбирать языковые модели и функционал. Не требуется обязательная функция съемки фотографий и записи аудио - создатели могут определять функции устройства по своему усмотрению.
Open Glass предлагают доступное «модное» решение вместо дорогих брендовых аналогов с ограниченными возможностями.
«Их можно интегрировать с OpenAI, Gemini и другими моделями» - поясняет Раманан. «Основной плюс заключается в том, что мы можем комбинировать лучшие опции и создавать свои уникальные приложения и программные оболочки».