Лекція Стенфорда українською: 13 порад, як будувати АІ-агентів

Навіть найкращі моделі беруть на вхід максимум сотні тисяч токенів. 200 000 токенів це приблизно дві книжки. Диск із тисячами документів у вікно не влізе, тому його ріжуть на шматки й шукають по ньому. Ще модель гірше помічає один факт у дуже довгому тексті.

Дослідники взяли консультантів BCG і поділили на три групи: без АІ, з АІ, з АІ і навчанням промптам. Є задачі всередині «нерівної межі», де АІ реально прискорює й покращує роботу. А є за межею, де він погіршує результат. Люди «засинали за кермом»: довіряли АІ там, де він не тягнув, і не перевіряли.

Промпт «підсумуй цей документ» нічого не каже про довжину й читача. Краще: 10 сторінок про відновлювану енергетику, 5 пунктів, головні висновки, для тих, хто ухвалює рішення. Ще працює «дій як експерт»: звучить смішно, але робить свою справу. А найкраще, на його думку, працює прохання покритикувати власну відповідь і переробити.

Chain of thought: даєш чітку інструкцію й просиш думати крок за кроком, не пропускати жодного. Можна самому розписати кроки: знайди три головні висновки, поясни вплив кожного, напиши 5 пунктів. За його словами, дослідження 2023 року показали, що це покращує результат, і стартапи цим користуються.

Відгук «продукт нормальний, але чекав більшого» позитивний чи негативний? У кожній галузі по-своєму. Дай моделі кілька розмічених прикладів, і вона вирівняється під тебе. Стартапи дописують приклади після ручної розмітки, це швидше за донавчання.

Один промпт читає відгук і одразу пише відповідь, відладити важко. Краще три промпти: витягни головні проблеми, склади план відповіді, напиши лист. Кожен крок перевіряєш окремо. Мінус: додається затримка.

Я не фанат файн-тюнінгу: потрібна розмітка, модель може перенавчитись і втратити загальні вміння, це дорого й довго. Поки ти донавчиш, виходить нова модель і обганяє твою. Приклад: колега донавчив модель на повідомленнях зі Slack, попросив статтю на 500 слів, а вона відповіла «я напишу це вранці». Сенс є там, де потрібна стабільна висока точність, як у юриспруденції.

RAG: документи перетворюють на вектори в базі, питання теж, і шукають найближчі. Знайдене додають у промпт: відповідай за документами, а якщо там нема, скажи «не знаю». Ще можна просити назвати сторінку й розділ, а оновлюєш лише документи.

Ендрю Нг, за його словами, першим назвав це «агентними воркфлоу», бо кожен кличе агентом навіть один промпт. Приклад із поверненням: звичайний RAG відповідає «повернення протягом 30 днів». Агент знаходить політику, питає номер замовлення, перевіряє замовлення через API і підтверджує: гроші повернуться за 3–5 днів.

Найменше свободи: кроки жорстко зашито. Посередині: зашиті інструменти, а кроки агент обирає сам. Найбільше: агент сам вирішує кроки і створює інструменти, пише код, ходить у будь-який API, рахує маршрут.

Без MCP кожному API навчаєш модель окремо, це погано масштабується. MCP, який вигадала Anthropic, це система посередині: агент питає сервер, що йому потрібно, і той відповідає. За його словами, це про ефективність, а не про більше даних. Про безпеку MCP він не експерт.

Візьми 20 розмов із тисячі й прочитай: видно, скажімо, що модель груба й надто коротка. Далі LLM-судді з рубрикою «що таке п'ять із п'яти»: помилку з номером замовлення ловить код, тон оцінює суддя. Перевіряй і кожен крок окремо.

Головна перевага кількох агентів: паралельність. Друга: агента можна використовувати повторно, агент для дизайну стане в пригоді і маркетингу, і продукту. Типова схема: один оркестратор говорить з користувачем і роздає задачі. Спеціалізованого агента легше відлагодити, ніж цілу систему.