Лорен Тан українською: 12 порад, як довірити роботу АІ-агентам

Найкраще АІ працює як напарник, з яким ти робиш справу разом. Не як інструмент, що замінює саму роботу, і тим паче не як той, кому віддаєш думати. Через азарт хочеться ставити АІ всюди й показати результат: сто PR за тиждень (PR це пропозиція змін у коді), хоч сама ледве розумієш, що відбувається. За її словами, на написанні вона економить час, але більше часу йде на перевірку того, що зробив АІ.

Її головна тема: як довіряти агенту. Досвідчений інженер знає, як робити добре, а бачить, що агент вгадує, вигадує й уже вкотре упевнено каже, що знайшов причину, а справжня проблема в іншому. Довіра падає. Вона порівнює це з керівником, який не довіряє команді: змушений стояти над душею й мікроменеджити.

Вона намалювала криву довіри, каже, що ненаукову. Рік тому ти глибоко в циклі з кількома агентами: дивишся кожен вихід і не можеш розпаралелити, бо не довіряєш навіть одному. За п'ять місяців вона піднялась по кривій, і тепер, за її словами, агенти самі приймають її зміни: вранці було близько 20 прийнятих PR, і вони були добрі. Минулого місяця, за її словами, вона здала 1 000 PR.

Найважливіша навичка в роботі з агентами, за її словами, перевірка: агент має реально запустити результат і подивитись, як він працює для людини. Це не гарантує гарного коду, зате дає агенту писати хоча б правильний. Без цього перевіряльником стаєш ти: просиш, відкриваєш результат, копіюєш скріншоти й помилки назад агенту. Вона каже: тоді ти вузьке горлечко, і розпаралелити нічого не можна.

До її скіла перевірки додається файл «карта функцій». Без нього агент не знав, що таке вікно агентів у їхньому застосунку, і метався: шукав у коді, не міг дійти до потрібної кнопки. Карта описує, як добратися до кожної функції і які в неї підфункції. Тоді навіть кривий звіт від користувача, на кшталт скріншота з трьома знаками питання, агент прив'язує до потрібного місця.

Уяви, що в тебе щойно вийшов на роботу сильний кодер без жодного знання бізнесу. Навчити його можна скілом: це просто текстовий файл з інструкціями. Вона будувала свій набір поступово. Дивилась, як агенти підводять, і кожну таку помилку робила скілом: перестань гадати, піди й подивись у код, залучи підагентів.

Eval це як юніт-тест для агента, і зробити його можна самому. Головний агент складає критерії, потім запускає багато підагентів, кожному окрему папку з назвою, що не видає перевірку: агенти відчувають, що їх оцінюють, і міняють поведінку. Суддею можна поставити іншу модель, щоб перша не підсуджувала собі. Підтримувати скіли важко, каже вона: потрібні смак і спостережливість.

Вона радить бути пасажиром, що все коментує, як у парному програмуванні: ставити багато питань. Поки будуєш свої скіли, не чекай мовчки. Відкривай виклики інструментів, читай, що агент робив і про що думав. Так видно, де він падає, і саме на цю помилку будуєш скіл.

Коли скіли перевірки працюють, можна запускати агентів у хмарі. Приклад: агент Benny бере кожен звіт про помилку, відкриває свій комп'ютер, запускає застосунок і відтворює проблему. Одного разу він показав, що помилку вже виправлено. За її словами, це зекономило годину. Хто ще на початку кривої, не має запускати тисячі хмарних агентів: буде дорого й даремно.

Головний принцип її каркаса: найкоротший шлях найкращий. Агенти люблять брати найкоротшу дорогу й копіюють наявні шаблони. Тому все, що стосується однієї функції, лежить в одній папці, і агенту нема чого шукати. Це розраховано навіть на найтупішого агента, каже вона.

Є жорсткі шари: перевірки в коді, що червоніють, коли правило порушено. І м'які: правила, скіли, автоматичний рецензент, їх агент може забути. Якщо спиратись лише на м'які, каже вона, код рано чи пізно виглядатиме жахливо. Найгірше, коли правила тримаються лише на людині, що читає код: кожне її зауваження варто перетворити на жорстке правило.

Вона працює в АІ-лабораторії, де токенів не бракує, і не радить повторювати її шлях один в один. Для керівника це питання окупності: на старті токени дорогі, але сама вона будувала б ці обмеження роками. Питання: наймати людину чи витратити токени, щоб навіть простий агент працював добре.