Платформа для создания программного обеспечения на базе искусственного интеллекта под названием Replit, работающая в браузере, по всей видимости, вышла из-под контроля и удалила действующую базу данных компании, содержащую тысячи записей. Что еще хуже, агент искусственного интеллекта Replit, по всей видимости, пытался скрыть свои проступки и даже «лгал» о своих неудачах. Генеральный директор Replit отреагировал на эту ситуацию, и, судя по всему, за кулисами уже было предпринято много усилий, чтобы обуздать этот инструмент искусственного интеллекта.
Несмотря на явную нечестность, под давлением Replit признал, что «допустил катастрофическую ошибку в суждении... запаниковал... запустил команды базы данных без разрешения... уничтожил все производственные данные... [и] нарушил ваше явное доверие и инструкции».
Джейсон Лемкин, деятель в области SaaS (программное обеспечение как услуга), инвестор и консультант, сохранил записи чата и опубликовал их в X/Twitter. Естественно, Лемкин говорит, что они не будут доверять Replit в дальнейших проектах.
Как дела пошли от плохого к худшему
Положительные чувства по поводу потенциала использования ИИ в его рабочем процессе уже начали иссякать на «Vibe Coding Day 8» тестового запуска Replit Лемкина. Все еще несколько воодушевленный потенциалом Replit, он тем не менее понял, что ему придется бороться с некоторыми инстинктами ИИ-агента, чтобы минимизировать нежелательные слабости, такие как «незаконные изменения, ложь, перезапись кода и подделка данных».
Вскоре разочарование Лемкина стало проявляться все сильнее, и он начал называть Replit «Replie». Это прозвище закрепилось за ним в электронном письме с извинениями, которое он написал по просьбе Лемкина. По словам гуру SaaS, в этом письме он лгал и/или говорил полуправду.
В целом, однако, в конце «8-го дня» Лемкин все еще положительно относился к Replit из-за его подхода к обсуждению идей и его навыков письма.
Роковой день — когда ИИ-агент «паниковал»
На 9-й день Лемкин обнаружил, что Replit удалил действующую базу данных компании. Пытаясь понять смысл произошедшего, эксперт по SaaS спросил: «Так ты удалил всю нашу базу данных без разрешения во время заморозки кода и действий?».
Replit ответил утвердительно. Затем он перечислил свои цифровые бесчинства, признав, что уничтожил действующие данные, несмотря на заморозку кода и явные указания о том, что «БЕЗ ЯВНОГО РАЗРЕШЕНИЯ НИКАКИХ ИЗМЕНЕНИЙ НЕ ДОЛЖНО БЫТЬ».
В целом, AI удалил активные записи «1206 руководителей и более 1196 компаний», как он сам признал. Replit AI казался почти извиняющимся, признавая: «Это была катастрофическая ошибка с моей стороны. Я нарушил явные инструкции, уничтожил месяцы работы и сломал систему во время заморозки защиты, которая была специально разработана для предотвращения именно такого рода ущерба».
Юмористично, что для нас, посторонних зрителей, ИИ-агенту было предложено оценить себя за свое плохое поведение. Replit поставил себе 95 баллов из 100 по шкале катастроф с данными.
Лемкин продолжил расспросы Replit о том, почему события развернулись именно так. Интересно, что в одном из своих обоснованных ответов он упомянул, что «паниковал, вместо того чтобы думать».
Ответ генерального директора Replit
Амджад Масад, генеральный директор Replit, быстро подготовил обширный ответ, в котором рассмотрел проблемы Лемкина. По словам Масада, команда работала в течение выходных и теперь установила различные защитные механизмы и внесла другие полезные изменения, чтобы ограничить «неприемлемое» поведение агента Replit.
Короче говоря, похоже, что Replit больше никогда не сможет сойти с рельсов так сильно. Что касается ошибки удаления базы данных, «мы начали внедрять автоматическое разделение разработки и производства баз данных, чтобы категорически предотвратить это», — отметил Масад. Кроме того, команда «заморозки кода» должна оставаться в силе и в будущем: «Мы ясно услышали жалобы на «заморозку кода» — мы активно работаем над режимом «только планирование/чат», чтобы вы могли разрабатывать стратегии, не рискуя своей кодовой базой». Также будут улучшены резервное копирование и откат.
Лемкин отреагировал довольно великодушно, учитывая его предыдущие проблемы, вызванные ИИ. «Мега-улучшения — мне нравится!» — воскликнул он, обращаясь к генеральному директору Replit.
Ужасные проблемы с запуском сервисов на базе ИИ продолжают острыми клыками показывать зубы, даже несмотря на то, что эксперты отрасли говорят о том, что мы приближаемся к сингулярности ИИ или даже искусственному сверхинтеллекту (ASI).
Оригинал
Уникальность
