Марина Темкина представляет репортаж.
1. Введение в концепцию и мотивацию
— Лаборатории искусственного интеллекта безошибочно ставят перед собой амбициозную цель: построить центры обработки данных размером с Манхэттен, каждый из которых требует миллиардов долларов инвестиций и сопоставимой по объему энергозатратности с небольшим городом. В центре внимания — фундаментальная вера в «масштабирование» как двигатель прогресса: увеличение вычислительного процесса в результате обучения искусственного интеллекта способно привести к созданию систем с высокими интеллектуальными способностями, способных решать широкий спектр задач.
— Сара Хукер, интеллектуалка и выпускница Google Brain, основала Adaption Labs совместно с коллегой по Cohere и ветераном Google Судипом Роем. В основе проекта — убеждение, что простое масштабирование LLM перестало быть эффективным способом повышения производительности моделей искусственного интеллекта и что необходима новая парадигма обучения через адаптацию к опыту.
2. Развитие идеи адаптивного обучения
— В интервью TechCrunch Хукер подчеркнула, что Adaptation Labs разрабатывает системы ИИ, способные постоянно адаптироваться, учиться на реальном опыте и работать с минимальными потерями эффективности. Детали методик, концептов конференций и архитектуры (LLM или иного типа), не публикуются открыто.
— «Сейчас наступил поворотный момент: формула простого масштабирования моделей — подход, который привлекателен, но не приводит к созданию интеллекта, способного ориентироваться или взаимодействовать с миром», — заявляла Хукер. По ее словам, адаптация становится «сердцем обучения»: аналогия с тем, как больной палец на ноге учит отходить от стола в следующий раз — опыт подсказывает обходные пути и осторожное поведение в будущем.
— Инструменты обучения с подкреплением (RL) ранее пытались внедрить адаптацию в рамках искусственного интеллекта, но современные методы RL не демонстрируют значимой пользы в реальных производственных системах: модели продолжают «топтаться на месте» в условиях реального использования.
3. Коммерческая и индустриальная динамика
— Некоторые лаборатории ИИ предлагают консультирование по адаптации моделей под нужды конкретных предприятий, но услуги оказываются за значительную плату. Известно, что OpenAI требует инвестиций на сумму более десяти миллионов долларов на консультации и донастройку.
— По словам Хукер, передовые лаборатории разрабатывают набор моделей, которые «одинаковы для всех», а адаптация к конкретным условиям оказывается дорогостоящей. Она убеждена, что это не обязательно должно быть так: интеллектуальные системы могут существенно влиять на факторы окружающей среды без чрезмерных затрат.
— Adaptation Labs демонстрирует тенденцию к смещению от веры в бесконечное масштабирование к более экономичным и адресным подходам. Эта смена парадигмы сверяется с недавними исследованиями Массачусетского технологического института, указывающими на возможность убывающей отдачи от крупнейших моделей ИИ. В Сан-Франциско атмосфера также меняется: ведущий подкастер индустрии Дваркеш Патель ведет беседы с исследователями, выражая скепсис по поводу потенциала масштабирования без качественного обучения на опыте. Среди первых сотрудников OpenAI Андрей Карпати высказывал идеи долгосрочного потенциала RL для развития моделей.
4. Контекст и предикты ближайшего будущего
— В конце 2024 года часть исследователей выражала опасения по поводу масштаба: предобучение на больших объемах данных — практика, ранее остававшаяся секретной для некоторых компаний — может приносить все меньшую отдачу. Эти вопросы теперь переплетаются с тем, как данные и вычисления используются в индустрии.
— В 2025 году ожидаются прорывы в рассуждениях моделей ИИ, где дополнительная временная и вычислительная нагрузка на решение задач может расширить возможности моделей — хотя это потребует новых подходов и ресурсов до начала решения задач.
— В ответ на изменения масштаба, лаборатории адаптации приближаются к следующему прорыву: опытная адаптация может оказаться значительно дешевле и эффективнее. По данным участникам рынка, раунды инвестиций в стартапы Adaptation Labs достигли диапазона 20–40 миллионов долларов в начале осени, а затем завершение раундов остается неопределенным. Хукер подчеркивает настрой на амбициозность и говорит, что ранее возглавляла Cohere Labs, обучая небольшие модели для широкого внедрения.
5. Глобальная и социальная перспектива
— Хукер также приобрела репутацию за продвижение открытого доступа к исследованиям в области искусственного интеллекта и за вовлечение талантов из регионов, традиционно недопредставленных, включая Африку. Adaptation Labs планирует открыть офис в Сан-Франциско, но намерения компании — нанимать сотрудников по всему миру, что отражает стремление к глобальной экосистеме.
— Возможная реальность: если адаптация и обучение опытам окажутся более эффективными, чем масштабирование, это может изменить инвестиционные и технологические сценарии отрасли. В крупных масштабах инвестировано миллиарды долларов в попытку повышения «общего уровня интеллекта» за счет более крупных моделей; однако адаптивное обучение может представлять собой более рациональный и экономичный путь.
6. Завершение
— В свете обсуждений и запусков Adaptation Labs формируется картинка смены парадигм в индустрии: от мечты о бесконечном масштабировании к более изящной и экономичной форме адаптации к опыту. Если Хукер и команда найдут путь к эффективной адаптации, это может привести к значительным сдвигам в подходах к разработке и внедрению искусственного интеллекта на глобальном уровне.
Ключевые мысли:
— «масштабирование» как путь к сверхразуму сталкивается с ограничениями и требует переосмысления подходов к обучению ИИ.
— адаптация к опыту становится ядром нового этапа в обучении: это принципиально иной путь, чем бесконечное увеличение параметров и данных.
— современные методы обучения с подкреплением и предобучение на больших данных демонстрируют ограниченную применимость в реальных производственных условиях без адаптации.
— совместные стартапы и консалтинговые услуги в отрасли подчеркивают экономическую сложность масштабирования и их влияние на решения клиентов.
— глобальная вовлеченность и открытость исследований — ключ к устойчивому развитию технологий: адаптация может стать доступной и эффективной альтернативой.
— перспективы следующего десятилетия зависят от того, сумеют ли лидеры отрасли выстроить баланс между вычислительной мощностью, затратами и реальными когнитивными возможностями систем искусственного интеллекта.
