Утечка конфиденциальных данных из Google говорит о том, что ИИ | Все о блокчейн, мозге и WEB 3.0 в России и мире
Утечка конфиденциальных данных из Google говорит о том, что ИИ с открытым исходным кодом победит и Google и OpenAI
Приведенный ниже текст - недавно просочившийся документ в Discord. Документ составлен исследователем из Google. Документ - это мнение сотрудника Google, а не всей компании.
Мы (имеется ввиду Google) много подсматривали, что делают в OpenAI. И задумывались кто пересечет следующую веху развития ИИ? Каким будет следующий шаг?
Но неудобная правда оказалась в том, что мы (Google) не можем выиграть эту гонку, как и OpenAI.
Пока мы ссорились, третья группа тихо росла. Я говорю, конечно, об открытом исходном коде. Попросту говоря, они обыгрывают нас. Вопросы, которые мы считаем основными открытыми проблемами решаются и сегодня находятся в руках людей. Вот лишь некоторые из них:
• LLM прямо в телефоне.
• Масштабируемый персональный ИИ: Вы можете настроить персонализированный ИИ на своем ноутбуке.
• Мультимодальность: Текущая мультимодальная ScienceQA SOTA была обучена за час. И тд.
В то время как наши модели все еще имеют небольшое преимущество с точки зрения качества, разрыв закрывается удивительно быстро. Модели с открытым исходным кодом быстрее, более настраиваемы, приватны и способны.
У этого будут большие последствия для нас:
• У нас нет секретного плана. Наш лучший план - учиться и сотрудничать с тем, что другие делают за пределами Google.
• Люди не будут платить за ограниченную модель, когда свободные, неограниченные альтернативы сопоставимы по качеству. Мы должны подумать о том, где на самом деле находится наша добавленная стоимость.
• Гигантские модели замедляют нас.
В долгосрочной перспективе лучшие модели - это те, которые можно быстро повторять.
В начале марта в мир вышла 1-я действительно мощная open source модель LLaMA https://t.me/blockchainRF/7744
Самое главное, что они решили - проблему масштабирования до такой степени, что каждый может это сделать.
Нынешний ренессанс LLM с открытым исходным кодом следует за ренессансом в создании изображений.
Инновации, которые привели к недавним успехам открытого исходного кода, напрямую решают проблемы, с которыми мы все еще боремся. Уделение большего внимания их работе может помочь нам не изобретать велосипед.
LoRA — невероятно мощная техника, на которую, вероятно, следует обратить больше внимания. Возможность персонализировать языковую модель за несколько часов на потребительском оборудовании — это очень важно, особенно если речь идет о внедрении новых и разнообразных знаний практически в режиме реального времени.
Большие модели не будут эффективны в долгосрочной перспективе, если мы сможем выполнять итерации быстрее на маленьких моделях.
Обновления LoRA очень дешевы в производстве (~ $100) для самых популярных размеров моделей. Это означает, что почти любой, у кого есть идея, может создать ее и распространить.
Сосредоточение внимания на обслуживании самых больших моделей на планете фактически ставит нас в невыгодное положение.
Прямая конкуренция с открытым исходным кодом — проигрышное предложение
Этот недавний прогресс имеет прямое и непосредственное влияние на нашу бизнес-стратегию. Кто будет платить за продукт Google с ограничениями на использование, если есть бесплатная высококачественная альтернатива без них?
Современный Интернет работает с открытым исходным кодом не просто так. Открытый исходный код имеет ряд существенных преимуществ, которые мы не можем воспроизвести.
Мы нуждаемся в них больше, чем они нуждаются в нас.Хранить нашу технологию в секрете всегда было сомнительным предложением. Исследователи Google регулярно уходят в другие компании, поэтому мы можем предположить, что они знают все, что знаем мы, и будут продолжать это делать, пока этот конвейер открыт.
Но удерживать конкурентное преимущество в технологиях становится еще труднее сейчас, когда передовые исследования в области LLM стали доступными. Исследовательские институты по всему миру опираются на результаты работы друг друга, изучая пространство решений в широком направлении, которое намного превосходит наши собственные возможности.
