Наприкінці вересня AI-інженер A42 Михайло відвідав AI Engineer Summit у Парижі, який організувала французька компанія Mistral AI, розробник великих мовних моделей. Ось головні інсайти, які він привіз із Парижа.
Два дні на найбільшому у світі кампусі для стартапів Station F, близько тисячі відвідувачів, в числі яких фаундери, інженери і керівники напрямів штучного інтелекту. Серед спікерів були команди Mistral, NVIDIA, Google DeepMind, Hugging Face, ElevenLabs та інших компаній.
Саміт AI Engineer вирізняє те, що тут люди щиро захоплені своєю справою. Туди їдуть заради людей, а не презентацій. Неймовірні стартапи, команди, сповнені енергії та безліч ідей, і повна відкритість до співпраці та партнерства. Їм цікаво шукати нові рішення й експериментувати.
Цього року програма охоплювала агентну розробку, агентів для написання коду, оцінювання та моніторинг моделей, застосування ШІ в регульованих галузях. Але всі ці теми об'єднував спільний фокус. Переважна більшість спікерів і учасників говорили про безпеку агентів, Agentic Safety.
Mistral представила Mistral Vibe. Інструмент дає змогу детальніше обмежувати набір команд, які може виконувати агент, і значно спрощує тестування нових агентів. Кілька стартапів показали власні рішення в цій самій сфері. Індустрія вчиться контролювати те, що агент робить усередині системи.
Це правильний напрям. Але він охоплює лише половину проблеми. Агент може бути ідеально обмеженим і протестованим. Проте він працює в інфраструктурі, яку атакують ззовні. Кібератаки та порушення безпеки щороку зростають безпрецедентними темпами, і для них агент із доступом до систем і даних стає ще однією мішенню.
Тому, коли ми говоримо про безпечне розгортання агентів і їх використання в корпоративному середовищі, мало питати, що агентові дозволено робити. Треба ставити й інше питання: що станеться, якщо систему, в якій він працює, атакують?
Внутрішня безпека агентів і захист від зовнішніх загроз мають розвиватися разом. Інакше ми будуємо надійні двері в будинку без стін.
