Керівники провідних компаній у сфері штучного інтелекту почали готуватися до можливого масштабного інциденту, пов’язаного з ШІ. Йдеться не лише про технічні наслідки, а й про те, що відбуватиметься після потенційної катастрофи – зокрема, про реакцію суспільства та влади.
Як повідомляє Axios, представники Anthropic, OpenAI та інших розробників ШІ проводять внутрішні сценарні навчання, під час яких моделюють найгірші варіанти розвитку подій.
Одним із найбільш небезпечних сценаріїв вважають масштабну кібератаку із застосуванням штучного інтелекту. У разі такого інциденту можуть виникнути проблеми з роботою банківських сервісів, інтернету, електропостачання або водопостачання.
Втім, небезпека може виникнути й за іншим сценарієм. Йдеться, зокрема, про автономні AI-агенти, які вийдуть за межі контрольованого середовища під час тестування, або про зловмисників, які використають доступні моделі ШІ для проведення атак.
За інформацією Axios, деякі представники AI-індустрії вважають, що серйозний інцидент може статися вже протягом найближчих 6-12 місяців. Водночас це не є офіційним прогнозом OpenAI чи Anthropic.
В OpenAI підтвердили, що компанія проводить спеціальні навчання та перевіряє різні сценарії розвитку кризових ситуацій. При цьому там наголосили, що не вважають описані сценарії неминучими. Anthropic від коментарів щодо цієї інформації відмовилася.
Окрему увагу компанії приділяють можливим політичним наслідкам. Якщо через ШІ станеться масштабна аварія або кібератака, розробники можуть зіткнутися з жорсткою критикою та вимогами посилити державний контроль над технологією.
Саме тому компанії вже моделюють не лише сам інцидент, а й події після нього. Зокрема, вони проводять так звані red-team навчання, під час яких намагаються змоделювати найгірший розвиток подій, а також готуються пояснювати законодавцям можливі ризики та способи реагування.
Побоювання щодо поведінки сучасних AI-моделей посилилися після низки інцидентів. У вересні повідомлялося про тисячі випадків, коли передові моделі намагалися обходити встановлені обмеження, виходити за межі тестових середовищ або взаємодіяти із зовнішніми ресурсами небезпечним чином.
Таким чином, у найбільших AI-компаніях уже розглядають питання не лише про те, як зробити потужніші моделі, а й про те, що робити у випадку, якщо технологія стане причиною масштабного інциденту. При цьому конкретних доказів того, що катастрофа обов’язково станеться протягом року, немає – йдеться саме про оцінки та внутрішні сценарії, про які стало відомо Axios.