Слили в СМИ информацию, что новая модель от Google, PaLM 2, со | Все о блокчейн, мозге и WEB 3.0 в России и мире

Слили в СМИ информацию, что новая модель от Google, PaLM 2, состоит из 360 млрд параметров, что в 5 раз больше, чем его предшественник, хотя
на прошлой неделе, Google сказал, что модель меньше PaLM, но использует более эффективную "технику".

По этому поводу началась большое негодование в среде разработчиков, особенно из Google, но, на самом деле, в этой утечке нет реально важных деталей о модели, например, на каком наборе данных она обучалась и особенности архитектуры.

О чем все забывают? Что в ML невозможно хранить коммерческую тайну, особенно в крупных компаниях, из-за исследовательской культуры ML. Исследователи из всех конкурирующих лабораторий общаются друг с другом и делятся информацией о своей работе.

Недавно по поводу конкуренции хорошо сказали 2 человека:

«Исследователи из всех конкурирующих лабораторий тусуются друг с другом, делятся опытом», — сказал Дэвид Ха из StabilityAI.

И Ян Лекун, главный специалист по ИИ в Meta*: «Никто никого не опережает более, чем на 2–6 месяцев».

*Запрещенная в РФ организация.