Anthropic представил свою «конституцию» ответственного ИИ Ant | Все о блокчейн, мозге и WEB 3.0 в России и мире

Anthropic представил свою «конституцию» ответственного ИИ

Anthropic - конкурент OpenAI, в который инвестировал Google, разрабатывающий большие языковые модели, представил «конституцию» для ответственного создания ИИ-алгоритмов.

Сегодня создание чат-ботов таких, как ChatGPT зависит от модераторов, которые оценивают выдачу по таким вещам, как разжигание ненависти/ токсичность. Затем система использует эти данные для настройки своих ответов. Этот процесс известен как «обучение с подкреплением на основе обратной связи с человеком» (RLHF).

Однако с «конституционным ИИ» эта работа в основном управляется самим чат-ботом, заявили разработчики Anthropic.

«Основная идея заключается в том, что вместо использования обратной связи от человека вы можете спросить языковую модель: «Какой ответ больше соответствует данному принципу?», — говорит соучредитель компании Джаред Каплан.

В таком случае алгоритм сам определит лучшую модель поведения и направит систему в «полезном, честном и безвредном» направлении.

В Anthropic сообщили, что применяли «конституцию» при разработке чат-бота Claude.

Кроме этого, документ содержит правила, предусматривающие экзистенциальные угрозы вроде уничтожения человечества вышедшим из-под контроля ИИ.