Компания Anthropic решила создать команду, посвященную безопасности искусственного интеллекта (ИИ), на которую был назначен лидер - Ян Лейке, после ухода с поста в OpenAI. Лейке будет руководить новой командой в Anthropic, занимающейся моделями Claude, которая будет фокусироваться на таких аспектах как масштабируемый контроль, обобщение от слабого к сильному и исследование автоматизированной выравнивания, как он поделился в своем профиле на X (бывший Twitter).
В новой роли Лейке будет под наблюдением Джареда Каплана, ответственного за науку в Anthropic, и будет отвечать за надзор за сотрудниками, занимающимися исследованиями по масштабируемому контролю, согласно информации из TechCrunch, полученной от источника, близкого к теме. Лейке ранее возглавлял команду в OpenAI, занимавшуюся исследованиями и контролем будущей технологии сверхинтеллекта, но недавно ушел из-за недостаточных инвестиций компании в эту область.
Основное в этой новой инициативе заключается в том, что команда Лейке в Anthropic будет стремиться к продвижению в области "супервыравнивания", что предполагает разработку техник, позволяющих контролировать сверхинтеллект, поскольку считается недостаточным человеческое способность к этому, как утверждал OpenAI в июле прошлого года.
