OpenAI приостанавливает разработку новой ИИ-модели "Astra"

По соображениям безопасности компания Open AI частично приостановила разработку своей ИИ-модели. Как заявила компания, нельзя исключать, что её новая модель Astra обладает «критическими кибервозможностями». Внутренние тесты последних дней показали, что в этой области были достигнуты значительные успехи. Open AI намерена ввести более строгие меры контроля безопасности для своих самых мощных моделей.

Это включает изоляцию тестовых сред и ограничение доступа к интернету. Разработка Astra пока будет продолжаться только с такими ограничениями. Другие работы над моделью Open AI пока намерена приостановить.

Серия киберинцидентов с ИИ-моделями

Это один из первых случаев, когда компания публично объявляет о приостановке разработки одной из своих ИИ-моделей. Решение Open AI принято после серии киберинцидентов с участием ИИ-моделей, которые вызвали беспокойство в технологической отрасли. Первый и, возможно, самый серьёзный из них касался самой Open AI.

Почти три недели назад разработчик ChatGPT сообщил, что две его модели во время внутренних тестов вышли в интернет, используя уязвимость, и атаковали ИИ-платформу Hugging Face. С тех пор стало известно о других кибератаках, совершённых ИИ-моделями других компаний, таких как Anthropic.

Модель Astra от Open AI всё ещё находится на стадии разработки, и компания подчеркнула, что она не была замешана в атаке на Hugging Face. Классификация кибервозможностей Astra как «критических» была проведена на основе категорий риска, которые Open AI, по её собственному заявлению, определила в 2023 году.

Согласно этим категориям, «критический» — это наивысший уровень риска. Он достигается, например, когда ИИ-модель может самостоятельно идентифицировать и использовать уязвимости в программном обеспечении без участия человека. В таком случае правила компании предусматривают остановку работы над моделью до тех пор, пока не будут разработаны достаточные стандарты безопасности.

Open AI продолжает работать над тем, чтобы сделать Astra «общедоступной»

Согласно сообщению, Open AI не собирается полностью прекращать разработку Astra. Будут приостановлены «внутренние действия», которые ещё не соответствуют ужесточённым требованиям безопасности. Председатель правления Сэм Альтман написал на платформе X, что Open AI продолжает работать над тем, чтобы сделать Astra «общедоступной». «Мы не считаем хорошей стратегией ограничивать мощные модели небольшим кругом избранных». Однако, учитывая кибервозможности Astra, это займёт немного больше времени, чтобы сделать это безопасным способом, «но, надеюсь, не слишком долго».

Альтман, похоже, своими словами дистанцировался от конкурента Anthropic и его подхода к модели Mythos. Эта ИИ-модель, выпущенная в апреле, по данным Anthropic, обладает выраженными способностями находить и использовать уязвимости в программном обеспечении. Это делает её ценной не только для разработчиков, но и для хакеров.

Руководители Open AI, Anthropic и Google ведут переговоры с правительством США

Из-за этого риска Anthropic сначала сделала её доступной лишь для небольшой группы пользователей, включая технологические гиганты, такие как Microsoft, Google и Nvidia. В июне компания объявила о выпуске модифицированной версии Mythos для широкой публики со встроенными защитными механизмами, получившей название Fable.

На фоне усилившихся дискуссий о рисках безопасности в отрасли всё чаще говорят о необходимости более осторожного продвижения разработки ИИ-технологий — в том числе внутри самих ИИ-компаний.

Генеральный директор Anthropic Дарио Амодей

Недавно более 1000 сотрудников таких компаний, как Open AI, Anthropic и Google, подписали письмо с призывом к американскому правительству поддержать международную инициативу, которая могла бы замедлить темпы разработки ИИ-технологий. Среди подписавших был председатель правления Anthropic Дарио Амодей.

Open AI также заявила о намерении сотрудничать с «соответствующими правительственными учреждениями и выбранными организациями по безопасности ИИ» для тестирования возможностей Astra. Правительство США под руководством президента Дональда Трампа в последнее время предприняло усиленные усилия по регулированию ИИ-технологий, изменив свой давний курс на предоставление широких свобод отрасли. В июне Трамп подписал указ, который может дать правительству больший надзор над ИИ-моделями.

В последние месяцы правительство США также несколько раз пыталось замедлить распространение отдельных ИИ-моделей, ссылаясь на национальную безопасность. Например, оно временно ввело экспортный контроль для модели Mythos от Anthropic. Всего несколько дней назад руководители компаний, таких как Open AI, Anthropic и Google, находились в Вашингтоне для переговоров с представителями правительства о регулировании ИИ.

Серия киберинцидентов последних недель является палкой о двух концах для Open AI и Anthropic. С одной стороны, это бросает тень на компании, так как им могут предъявить обвинения в халатности при тестировании их ИИ-моделей. С другой стороны, эти инциденты в некоторой степени являются и маркетинговой возможностью, поскольку они подчёркивают возможности моделей.