OpenAI объявила о создании специальной команды, которая будет заниматься разработкой методов управления и контроля сверхразумным искусственным интеллектом (ИИ), превосходящем по возможностям человеческий разум
Командой руководит главный научный сотрудник компании Илья Суцкевер. Согласно блогу OpenAI, суперинтеллект может появиться в течение десятилетия и представлять потенциальную угрозу для человечества, если его действия не будут подчиняться человеческим ценностям и интересам. Поэтому компания считает необходимым искать способы контроля и ограничения его действий.
В настоящее время не существует эффективных решений для этой задачи, так как существующие методы обучения ИИ основаны на обратной связи от человека. Однако такие методы не могут быть применены к системам, обладающим интеллектом, превосходящим человеческий.
Специальная команда OpenAI получит доступ к 20% вычислительной мощности компании, и будет использовать другой ИИ для оценки и настройки сверхразумного ИИ, чтобы обеспечить его безопасность и соответствие заданным параметрам. Данная автоматизированная система должна быть более эффективной и быстрой, чем вмешательство человека. OpenAI признают, что этот метод не гарантирует отсутствия ошибок и уязвимостей, и что настройка сверхразумного ИИ может столкнуться с неожиданными проблемами. Однако компания считает, что обладает большим опытом в области машинного обучения и намерена делиться своими наработками с другими участниками рынка ИИ.
