Компанія Anthropic оновила свої правила використання чат-бота Claude у відповідь на зростаючі занепокоєння з приводу безпеки. Окрім запровадження більш жорстких правил кібербезпеки, Anthropic визначила деякі з найбільш небезпечних видів озброєння, які не повинні розроблятися за допомогою Claude.

У своїй публікації Anthropic не акцентує на змінах у політиці щодо зброї, але порівняння старої та нової версії правил виявляє суттєву різницю. Раніше компанія забороняла використання Claude для “виробництва, модифікації, проектування, маркетингу або розповсюдження зброї, вибухових речовин, небезпечних матеріалів чи інших систем, призначених для заподіяння шкоди або втрати людського життя”, а оновлена версія розширює ці обмеження, уточнюючи, що забороняється розробка вибухових речовин із високою потужністю, а також біологічної, ядерної, хімічної та радіологічної (CBRN) зброї.

У травні Anthropic запровадила захист “AI Safety Level 3” разом із запуском нової моделі Claude Opus 4. Ці заходи безпеки покликані ускладнити несанкціонований доступ до моделі, а також запобігти її використанню в розробці CBRN зброї.

У своїй публікації Anthropic також вказує на ризики, пов’язані з агентними AI-інструментами, включаючи “Computer Use”, який дозволяє Claude контролювати комп’ютер користувача, а також “Claude Code”, що вбудовує Claude безпосередньо в термінал розробника. “Ці потужні можливості створюють нові ризики, включаючи ймовірність масштабованого зловживання, створення шкідливих програм та кибератак”, – зазначає Anthropic.

Компанія реагує на ці потенційні ризики, включаючи новий розділ “Не порушуйте комп’ютерні або мережеві системи” у своїх правилах використання. Цей розділ містить заборони на використання Claude для виявлення або експлуатації вразливостей, створення чи розповсюдження шкідливих програм, розробку інструментів для атак відмови в обслуговуванні і не лише.

Крім того, Anthropic пом’якшує свою політику щодо політичного контенту. Замість заборони на створення будь-якого контенту, пов’язаного з політичними кампаніями та лобістською діяльністю, компанія тепер лише заборонить використання Claude для “випадків, що є оманливими або деструктивними до демократичних процесів, або таких, що стосуються цільового впливу на виборців і кампанії”. Anthropic також уточнила, що вимоги до всіх своїх “високоризикових” випадків, які застосовуються, коли люди використовують Claude для надання рекомендацій, стосуються лише сценаріїв, що стосуються споживачів, а не бізнесу.