З переходом AI-агентів від ролі експериментальних чат-ботів до автономних виконавців бізнес-процесів, команди CISO змушені змінювати підхід. Замість повного блокування інновацій керівники з цифрової трансформації (CDTO) та безпеки впроваджують жорсткі архітектурні обмеження. Головна мета — нівелювати ризик Excessive Agency (надмірної автономності), який увійшов до оновленого рейтингу OWASP Top 10 Risk & Mitigations for LLMs and Gen AI Apps 2025. Безпека автоматизації досягається не покращенням генеративних інструкцій (промптів), а ізоляцією дій агентів у межах виконуваних моделей процесів та суворим розмежуванням прав доступу.
Анатомія ризику Excessive Agency: чому автономні AI-агенти стають викликом для CISO
Керівники з безпеки побоюються, що надання AI-агентам широких системних повноважень дозволить їм обходити традиційні контролі. Ризик Excessive Agency виникає тоді, коли розробники надають ШІ прямий доступ до API без проміжних шарів верифікації, покладаючись на те, що велика мовна модель (LLM) самостійно ухвалюватиме логічні рішення в безпечних межах. Це може призвести до несанкціонованого доступу до даних або випадкового виконання критичних бізнес-операцій.
Відсутність архітектурних бар'єрів створює передумови для типових безпекових інцидентів, серед яких:
- AI-агент самостійно схвалює та проводить платіж в ERP-системі, що перевищує ліміти авторизації, через відсутність жорстких правил прийняття рішень.
- Агент створює «тіньовий» маршрут узгодження договору в обхід стандартної процедури комплаєнсу, намагаючись швидше виконати поставлене завдання.
- Витік конфіденційних даних (Sensitive Information Disclosure) через те, що агент отримав доступ до бази даних із правами адміністратора замість обмеженого read-only API.
Архітектурний бар'єр: як BPMN 2.0 та DMN обмежують радіус ураження
Найкращий спосіб убезпечити інфраструктуру — розглядати AI-агента не як автономного суб'єкта, а як ізольованого виконавця конкретного завдання (Task). Замість того, щоб дозволяти алгоритму динамічно визначати послідовність викликів API, логіку процесу слід жорстко зафіксувати за допомогою стандарту BPMN 2.0.
Згідно з методологією Camunda, BPMN 2.0 виступає як виконуваний стандарт оркестрації, що забезпечує значна частина видимість стану кожного екземпляра процесу. У такій архітектурі наступний крок завжди визначається схемою процесу, а не згенерованим висновком ШІ.
Для обмеження логіки прийняття рішень використовується стандарт DMN (Decision Model and Notation). Як визначає Object Management Group, DMN дозволяє винести бізнес-правила з коду у структуровані таблиці рішень. Наприклад, якщо AI-агент розраховує знижку або погоджує транзакцію, система оркестрації пропускає цю дію через DMN-таблицю. Якщо сума перевищує ліміт, процес примусово зупиняється та переходить на верифікацію людиною.
Принцип мінімальних привілеїв: ізоляція AI-агентів на рівні платформи
Безпечна інтеграція ШІ вимагає надійної платформи, яка підтримує суворе розмежування прав доступу на рівні метаданих. Прикладом такого середовища є BPM-платформа Scriptum, побудована на базі low-code платформи UnityBase. UnityBase є спільною розробкою компаній консорціуму Intecracy Group (де InBase виступає ключовим розробником), що надає фундаментальні механізми безпеки для ізоляції AI-агентів.
Обмеження автономії на рівні платформи реалізується через наступні інструменти:
- Рольовий доступ (RBAC): AI-агент отримує статус звичайного сервісного користувача з мінімальним набором прав, без прямого доступу до бази даних.
- Безпека на рівні рядків (Row-Level Security, RLS): Навіть маючи доступ до певного реєстру, агент бачить лише ті записи та документи, які необхідні для виконання його поточної задачі.
- Детальний аудит (Audit Trail): Усі запити LLM та виклики API фіксуються в системному журналі платформи, який алгоритм не здатний модифікувати.
Крім технічних обмежень, важливим є комплаєнс процесів розробки когнітивних компонентів. Експертиза компанії Softengi дозволяє проектувати такі рішення у суворій відповідності до стандарту ISO 42001 (системи менеджменту ШІ), що регламентує безпеку AI-агентів в організації.
Human-in-the-Loop: де починається відповідальність людини
Концепція Human-in-the-loop («людина в контурі») залишається обов'язковим запобіжником. Автономність ШІ закінчується там, де виникають юридичні, репутаційні чи фінансові ризики. Платформи оркестрації процесів зупиняють виконання ланцюжка дій перед транзакціями високого ризику. Затвердження документа цифровим підписом або авторизація великого платежу фізично вимагає дій реального співробітника, залишаючи за ШІ лише рутинну підготовку даних.
Аудит та Process Mining: виявлення аномалій через event logs
Поведінка ШІ потребує моніторингу навіть за наявності архітектурних бар'єрів. Для аудиту дій автономних систем використовується методологія Process Mining, що базується на аналізі журналів подій (event logs). Інструменти Process Mining дозволяють реконструювати реальний хід процесів та порівняти їх із еталонною BPMN-моделлю.
Аналіз логів допомагає виявити так звані «тіньові» маршрути або аномалії, коли агент намагається обійти встановлені процедури контролю. Завдяки деталізованим event logs, згенерованим системою оркестрації, CISO отримують прозору картину кожної транзакції та здатність миттєво реагувати на ознаки ризику Excessive Agency.
| Критерій безпеки | Неконтрольований AI-агент (Direct API) | Обмежений агент (BPMN/DMN + Платформа оркестрації) |
|---|---|---|
| Межі повноважень | Визначаються динамічно самою LLM (високий ризик відхилення) | Жорстко обмежені схемою процесу BPMN та правами RBAC |
| Ухвалення фінансових рішень | Автономне, на основі генеративних інструкцій | Заблоковане DMN-таблицями; ліміти вимагають валідації людиною |
| Аудиторський слід | Заплутані текстові логи промптів та відповідей | Чіткі Event Logs у системі оркестрації, придатні для Process Mining |
| Рівень доступу до даних | Прямий доступ до БД через системний акаунт | Обмежений механізмом Row-Level Security (RLS) на рівні платформи |
Поширені питання
Як стандарт ISO 42001 допомагає регламентувати безпеку AI-агентів в організації?
ISO 42001 запроваджує систему менеджменту штучного інтелекту, що регламентує оцінювання впливу моделей, валідацію рішень ШІ та встановлення чітких архітектурних меж для запобігання надмірній автономності (Excessive Agency).
Які інструменти Process Mining найкраще підходять для аудиту дій штучного інтелекту?
Для аудиту дій AI-агентів застосовуються рішення класу Celonis та модулі BPM-систем. Вони аналізують системні Event Logs, виявляючи відхилення від узгоджених еталонних моделей BPMN та фіксуючи використання «тіньових» маршрутів виконання процесів.
Як налаштувати безпечну взаємодію між LLM та корпоративною BPM-системою?
Взаємодія налаштовується шляхом ідентифікації AI-агента як окремого користувача з жорстко обмеженими правами (RBAC/RLS). Алгоритм не керує процесом, а діє як виконавець ізольованого завдання (Service Task), при цьому бізнес-правила та ліміти контролюються через таблиці рішень DMN.