Машинное обучение и искусственный интеллект оказывают значительное влияние на нашу жизнь, и большинство прорывов в этих областях происходит в научных лабораториях.
Ярким примером является Yandex Research, подразделение «Яндекса», которое фокусируется на фундаментальных исследованиях и практическом внедрении своих разработок.
Руководитель лаборатории Артем Бабенко отметил, что команда занимается как исследовательскими, так и прикладными проектами в области машинного обучения, что позволяет им публиковать научные работы на международных конференциях и применять свои достижения в продуктах компании.
Основой их работы служат глубокие нейросети, использующие линейную алгебру, теорию вероятностей, статистику и методы оптимизации. Эти технологии лежат в центре исследовательской деятельности Yandex Research.
Бабенко также пояснил разницу между искусственным интеллектом и машинным обучением: ИИ охватывает задачи, которые помогут компьютерам выполнять действия, схожие с человеческими, такие как распознавание изображений или решение логических задач. В то же время, машинное обучение представляет собой целый набор методов, позволяющих эффективно решать эти задачи.
Лаборатория достигла значительных успехов в области машинного обучения, разработав несколько ключевых исследований с широким применением. Одним из главных направлений стали генеративные модели в компьютерном зрении.
В начале 2020-х годов мы сосредоточились на GAN для семантического редактирования изображений через манипуляцию в латентном пространстве. Впоследствии наш интерес переключился на диффузионные модели, которые показали свою универсальность не только в генерации изображений, но и в создании качественных репрезентаций для дальнейшего использования другими моделями.
В данный момент мы уделяем внимание ускорению этих больших диффузионных моделей, стремясь сделать их доступными широкой аудитории без необходимости в мощных вычислительных ресурсах. Наши исследования уже воплотились в продукте «Шедеврум», который предлагает пользователям попробовать наши разработки.
Кроме того, важным направлением является применение нейронных сетей к табличным данным. В отличие от работы с мультимедийным контентом, где глубокие нейросети часто показывают высокие результаты, для табличных данных традиционные модели, такие как решающие деревья, могут быть более эффективными.
Поэтому мы активно работаем над созданием новых нейросетевых архитектур, способных успешно решать задачи с табличными данными. Наша лаборатория занимает лидирующие позиции в данной области, и многие наши публикации стали основой для дальнейших исследований и разработок.
Наши последние модели пользуются спросом не только среди ученых, но и ML-инженеров. Они стали принимать участие в международных соревнованиях по машинному обучению на платформе Kaggle. Одним из актуальных направлений является графовые нейросети, которые достаточно популярны в научных кругах. Несмотря на это, на практике их применение по-прежнему ограничено, и существует неопределенность по поводу их будущего.
Мы с оптимизмом работаем над улучшением их применения, как, например, в случае антифрода для сервиса «Яндекс».
Другая важная область — эффективные большие языковые модели (LLM), которые демонстрируют универсальность при решении множества задач. Однако основная проблема заключается в их высокой стоимости, как в процессе обучения, так и в использовании. Поэтому наша команда активно разрабатывает способы оптимизации использования LLM, чтобы снизить затраты по времени и памяти.
Мы продолжаем развивать все четыре направления, в которые активно инвестируем, так как считаем их перспективными. В лаборатории нет единой грандиозной цели, мы стремимся к постоянному улучшению всех упомянутых технологий.
Каждое направление научных исследований сталкивается с конкретными вызовами, которые мы ежедневно стремимся преодолеть. Основная цель нашей лаборатории — создавать научные результаты, оказывающие значительное и долговременное влияние на область машинного обучения (ML).
Типичный цикл проведения нового исследования начинается с выявления проблемы: «Какую задачу мы решаем?» На основании этого формулируется задача, а затем разрабатываются научные гипотезы, которые предполагают возможные способы решения выявленной проблемы.
Следующим шагом является разработка эксперимента, позволяющего быстро проверить выдвинутую гипотезу. В случае её опровержения мы переходим к новой гипотезе. Если гипотеза подтверждается, мы осуществляем более широкий эксперимент, используя разнообразные наборы данных, чтобы гарантировать воспроизводимость результатов.
Основное преимущество нашей лаборатории заключается в уникальном наборе научных направлений, а также в нашей тесной связи с реальным сектором. Например, «Yandex Research» является одним из немногих в России, кто активно занимается нейросетями для работы с табличными данными.
За последние полгода наши разработки были интегрированы в несколько продуктов «Яндекса», включая «Шедеврум», автономный транспорт и антифрод. Этот тесный контакт с индустрией позволяет нашим ученым видеть результаты своего труда в действии всего через месяц. Такой подход не только ускоряет цикл научных выводов, но и обеспечивает непосредственную практическую пользу от имеющихся достижений.
Наша лаборатория по машинному обучению, существующая с 2011 года, стала одной из первых в стране, которая регулярно публикуется на ведущих конференциях. За 14 лет работы мы стойко преодолевали различные кризисы, что подтверждает устойчивость нашей модели.
В процессе эволюции целей нашей лаборатории мы пришли к пониманию важности долгосрочной перспективы. Это отражается на нашем подходе к оценке эффективности: мы не ориентируемся на количество принятых публикаций, а на их влияние на сообщество.
Одним из индикаторов этого влияния является цитируемость наших статей, даже тех, что были опубликованы в последние годы — они уже цитируются сотни раз ведущими мировыми лабораториями. Более того, «Яндекс» занял место среди мировых лидеров в области развития искусственного интеллекта по версии MIT и аналитиков Epoch AI, в компании Google, Microsoft, OpenAI и других гигантов.
Что касается взаимодействия российских лабораторий с международным сообществом, я могу говорить только о Yandex Research, так как геополитическая обстановка действительно оказывала влияние на обмен опытом. Обсуждение этих изменений важно для понимания текущего состояния научного сотрудничества.
Наша организация активно развивает международные научные коллаборации с лабораториями по всему миру, включая как университеты, так и промышленные компании. На протяжении последних двух лет мы публиковали совместные работы с такими известными учреждениями, как «Microsoft», «Together AI», «Hugging Face», «Berkeley», «ETH Zurich», «Carnegie Mellon», «ISTA» и «KAUST». Это свидетельствует о стабильных научных связях с зарубежными коллегами, так как при наличии надежного фундамента для сотрудничества трудностей не возникает.
Основные проблемы в сфере машинного обучения и искусственного интеллекта сейчас заключаются в высоких затратах на обучение передовых моделей. Многим пользователям ML это обучение недоступно. С научной точки зрения, сложности возникают при проверке новаторских идей, так как многие из них требуют обширных вычислительных ресурсов, что замедляет процесс получения новых знаний. Также важен вопрос качества обучающих данных: опыт показывает, что модели, тренируемые на малом, но высококачественном датасете, показывают более высокие результаты, чем те, что обучались на большом, но плохо размеченном наборе данных.
Что касается будущего машинного обучения в России, предсказать его развитие на пять или десять лет в условиях быстрого прогресса в этой области достаточно трудно. Тем не менее, уже сейчас существует множество активных научных групп, которые продвигают передовые исследования в таких сферах, как LLM и компьютерное зрение, а также направления, требующие меньших вычислительных затрат, например, работа с графами и табличными данными. Я убежден, что в этих областях в ближайшие несколько лет можно ожидать значительных достижений.
Советую молодым ученым присоединяться к сильным исследовательским лабораториям, работающим над интересующими их задачами. Важно стремиться к высоким стандартам качества, ставить амбициозные задачи и выбирать для публикаций ведущие конференции. Не стоит отвлекаться на менее значимые проекты, которые не принесут желаемого опыта и результатов.
