За последние годы нейронные сети сильно изменили обычные процессы во всех сферах жизни благодаря усилиям ученых со всего мира. Множество из них работают не только в академических учреждениях, но и в отделах исследований и разработок крупных компаний.
Артем Бабенко, руководитель исследовательского отдела Yandex Research, рассказывает о том, как ведется научная работа внутри бизнеса, на примере машинного обучения (machine learning, ML). Традиционно наука развивалась в университетах и научно-исследовательских учреждениях, где чаще всего не уделяли достаточного внимания практическим проблемам.
Однако с появлением собственных задач у бизнеса, которые требовали новых решений, ситуация изменилась. Это стало актуальным во многих областях, начиная от фармакологии и заканчивая сферой информационных технологий. Поэтому многие крупные компании создают собственные отделы исследований и разработок (R&D), такие как «DeepMind» у Google, Microsoft Research у Microsoft, и Yandex Research у Яндекса.
Цель таких подразделений - производить научные результаты: публиковать статьи в научных журналах, участвовать в отраслевых конференциях и решать новые задачи. Индустриальная наука отличается от академической, прежде всего по доступу к ресурсам.
Например, для исследований в области искусственного интеллекта требуются значительные вычислительные мощности: если ранее главным образом суперкомпьютеры использовались научными организациями, сегодня даже в ведущих университетах мира подобных ресурсов не хватает по сравнению с бизнесом. В России суперкомпьютеры в основном находятся в ведении IT-компаний.
Одно из значительных отличий заключается в доступе к данным. Множество научных статей по графовым нейросетям основано на академических датасетах, которые не всегда отражают реальность в полной мере. Это ограничение может привести к тому, что результаты исследований будут плохо масштабироваться и не принесут желаемой отдачи.
Однако если исследователи имеют доступ к более обширным и хорошо размеченным данным, их результаты будут более пригодны для практического применения. Сотрудничество с продуктовыми командами также ценно для ученых, поскольку это источник новых идей, задач и гипотез, которые могут послужить основой для научных публикаций.
Такая взаимосвязь помогает избежать отрыва от реального мира и заниматься теми задачами, которые имеют реальную ценность. Современная наука характеризуется коллективной работой. Идея одинокого ученого, изолированного в своем кабинете, устарела в области машинного обучения.
В условиях дорогих экспериментов и большого количества идей важно постоянное взаимодействие, распределение задач, обмен опытом и экспертизой. Ведущие научные статьи последних лет чаще всего являются результатом работы большой группы авторов.
Еще одной особенностью научных исследований является гибкость сроков. В отличие от работы в индустрии, где важен итоговый результат, ученым предоставляется больше свободы в выборе методов и темпа работы, без строгих критериев эффективности и регулярных ревью.
Достижение научных результатов требует не только последовательного улучшения существующих технологий, но и определенной научной смелости и времени. Иногда для таких разработок требуется не только несколько лет, но и даже десятилетий, и компании учитывают это, когда ставят перед собой цели.
Однако даже в таких условиях существуют критерии оценки эффективности. Обычно при оценке учитывается высокий научный вклад в топовые конференции по актуальным темам. Важным параметром также является научно-ориентированный трансфер экспертизы в продукты компании. Например, Yandex Research разработала диффузионную нейросеть YandexART, которая лежит в основе приложения для генерации изображений-шедевров.
Путь программиста может быть достаточно стандартным: стажировка, затем должность джуниора и последующий карьерный рост с примерно понятными сроками. Сфера науки же работает по-другому: человек не может пройти курс и за несколько месяцев стать самостоятельным исследователем. Такие специалисты требуют гораздо большего времени на свое развитие.
В исследовательских отделах часто используется принцип классических научных школ. Человек, имеющий профильное образование, попадает в научную среду, где у него есть ментор и руководитель, он взаимодействует с коллегами и благодаря этому развивается. Научная карьера требует полного погружения, поэтому в исследовательских группах часто нет краткосрочных вариантов начала профессиональной деятельности.
Бизнес часто самостоятельно формирует будущих исследователей, например, создавая совместные лаборатории с университетами, где их сотрудники выступают научными руководителями для студентов.
Для привлечения молодежи к научной работе очень важно знакомить их с интересными задачами и перспективами. Важным качеством успешного исследователя является способность определять свои собственные цели и не ждать указаний от старших коллег, а самостоятельно определять направления для исследований и предлагать новые идеи.
Иногда бывает, что профессора используют аспирантов в качестве исполнителей, просто давая им указания по проверке собственных концепций. В результате после нескольких лет обучения аспирант может стать хорошим разработчиком, но не настоящим ученым.
Для профессионального роста в области науки крайне важно умение самостоятельно формулировать вопросы и выдвигать гипотезы.
Работа в научной сфере всегда является вызовом. Необходимо решать задачи, которые ранее не были решены.
Например, в настоящее время исследователи в области машинного обучения работают над улучшением производительности моделей. С увеличением популярности нейронных сетей увеличивается спрос пользователей на более эффективные алгоритмы, чтобы модели могли работать быстрее и требовать меньше вычислительных ресурсов. Это непростая задача, однако подобные вызовы мотивируют исследователей к поиску новаторских подходов и решений.