Як насправді працює АІ: 12 ідей з лекції Стенфорда українською
Дивитися · 1 год 44 хв
Оригінал: Stanford CS229 I Machine Learning I Building Large Language Models (LLMs). Ян Дюбуа, аспірант Стенфорда (на момент лекції), гостьова лекція курсу CS229, англійською. Канал Stanford Online на YouTube.
Тут 12 ідей з цієї лекції українською. Біля кожної таймкод: тиснеш, і відео вмикається з цього місця.
Ян Дюбуа, на момент лекції аспірант Стенфорда, читав її як гостьову в курсі CS229. Зараз, за його сайтом, він дослідник OpenAI. Лекція на 1 годину 44 хвилини, понад 3,1 млн переглядів, канал Stanford Online. Безкоштовно, англійською.
Записано влітку 2024. За цей час вийшли моделі, які міркують перед відповіддю, і з'явились нові правила й позови, тому біля кожної ідеї позначка: працює як є чи вже інакше.
- Модель на кожному кроці вгадує наступний токен, а токен це шматок слова в 3–4 літери
- Базова модель лише продовжує текст. Відповідати її вчить донавчання
- Для донавчання на прикладах, за його словами, вистачає тисяч прикладів: модель вчиться формату, знання вже в ній
- Люди й моделі-судді люблять довші відповіді, тому чати балакучі
- Навчання топ-моделі, за його прикидкою, коштує десятки мільйонів доларів, і більша частина цього йде на обчислення
Працює порада діє, як у лекціїЗмінилось суть та сама, сервіси й ціни іншіА в кінці статті я віддам тобі готовий скіл, яким ти можеш навчити свою АІ тому, що описано в цій лекції, щоб вона працювала за тебе.
1Чат вгадує наступне слово
Мовна модель оцінює, наскільки ймовірна послідовність слів. Відповідь вона будує по одному токену: бере розподіл імовірностей, вибирає наступний токен, додає до тексту й повторює. Довшу відповідь генерувати довше, бо це цикл.
2Рахуй у токенах, а не в словах
Слово як одиниця не працює: одна помилка в слові, і токена нема. Мови без пропусків, як тайська, так не розріжеш. Побуквенно виходить надто довго. Тому токен у середньому 3–4 літери.
3Дані: інтернет не береш як є
«Весь інтернет» це близько 250 мільярдів сторінок. Їх чистять: прибирають повтори, шкідливе, сміття. Компанії, за його словами, не розкривають джерел і бояться позовів, бо не хочуть казати, що вчили на книжках. Ще він каже, що даних в інтернеті не вистачає.
Абсолютно безкоштовний АІ агент. Ти не платиш ніякі гроші за АІшку, і він вже починає забирати твою рутину. Міні-курс за 10 €, без коду і термінала
4Більше даних і більша модель: краще
Більші моделі й більше даних дають кращий результат, і приріст можна передбачити заздалегідь на графіку. Перенавчання в великих моделей, за його словами, не спостерігають. Ознак, що це зупиняється, нема, хоча більшість, каже він, чекає виходу на плато.
5Навчання топ-моделі: десятки мільйонів
Його підрахунок для Llama 3 на 400 мільярдів параметрів: близько 26 мільйонів годин відеокарт, приблизно 70 днів на 16 тисячах відеокарт. Оренда виходить близько 52 мільйонів доларів, з зарплатами команди близько 75. Мета, за його словами, вклалась трохи нижче порога в указі Байдена.
6Базова модель не відповідає
На прохання «поясни висадку на Місяць шестирічній дитині» базова модель GPT-3 продовжить «поясни теорію гравітації шестирічній дитині». В інтернеті за питанням часто йде список схожих питань. Тому потрібне донавчання: воно й зробило з GPT-3 ChatGPT.
7Для донавчання тисяч прикладів вистачає
Якщо збільшити приклади від 2 тисяч до 32 тисяч, це майже не допомагає. Модель так вчиться формату відповіді. Знання вже сидять у базовій моделі, донавчання лише вибирає, якого автора з інтернету їй наслідувати.
8Вигадки: чи винні приклади людей
Гіпотеза про галюцинації: людина пише відповідь, якої модель не знала. Модель вчиться видавати щось правдоподібне. Скажімо, людина дає справжнє джерело, якого модель ніколи не бачила. Тоді модель вчиться вигадувати джерела на вигляд правдиві.
Забирай безкоштовно в тгЗабрати →
9Люди обирають краще з двох відповідей
Замість того, щоб людина писала ідеальну відповідь, моделі дають дві відповіді, а людина обирає кращу. Саме так, каже він, зробили ChatGPT. Простіший спосіб DPO: збільшуй імовірність обраного, зменшуй імовірність відхиленого.
10Люди люблять довге, тому чат балакучий
Якщо порівнювати дві відповіді, люди зазвичай обирають довшу. Чим більше навчання на оцінках людей, тим довші відповіді. Якщо чат тебе дратує довгими відповідями, каже він, це через цей етап. На його тесті GPT-4 з проханням «будь багатослівним» вигравав у 64,4%, а з проханням «стисло» у 20%.
11Модель-суддя дешевша й стабільніша за людей
Люди між собою погоджуються лише в 66% випадків, і його команда зі своєю розміткою теж дійшла 67–68%. Моделі-судді в 50 разів дешевші й погоджуються з більшістю людей краще, ніж люди між собою. Їхній мінус, каже він: вони теж люблять довге.
12Рейтинг моделей = сліпі голоси людей
Chatbot Arena: випадкові люди з інтернету наосліп спілкуються з двома чатами й вибирають кращий. Голосів сотні тисяч, з них виходить рейтинг. Мінус: такі люди більше технічні, тому питають про код і АІ-інструменти.
Питання і відповіді
Де дивитися лекцію Стенфорда CS229 про те, як будують ChatGPT?
На YouTube-каналі Stanford Online, безкоштовно. 1 година 44 хвилини, англійською. Вийшла 27 серпня 2024, понад 3,1 млн переглядів.
Хто такий Ян Дюбуа?
На момент лекції аспірант Стенфорда, четвертий рік, науковий керівник Percy Liang і Tatsu Hashimoto. Входив до команди Alpaca. Зараз, за його сайтом, дослідник OpenAI, веде команду Post-training Frontiers.
Чи актуальна лекція Стенфорда у 2026 році?
Основа так: токени, дані, донавчання на прикладах, оцінки людей. Змінилось інше: моделі міркують перед відповіддю, вікна дуже виросли, з'явились позови про дані й нові правила. Цифри обчислень і вартості в лекції його власні прикидки.
Що таке токен?
Шматок тексту, у середньому 3–4 літери. Модель читає й пише токенами, а не словами. Довжину розмови з чатом міряють у токенах.
Що таке RLHF?
Навчання на оцінках людей: моделі дають дві відповіді, людина обирає кращу, і модель вчиться видавати більше таких. За його словами, це етап, який зробив з GPT-3 ChatGPT.
І ця штука буде працювати на тебе: прям агент з базою знань, яка тут є.
Як поставити: скинь архів своєму АІ-агенту (клод код, Codex у ChatGPT чи Antigravity) і напиши «встанови цей скіл».
А про те, як зробити так, щоб у цього агента були руки, і підключити його до потрібних речей, я розповідаю на практикумі. Універсального агента, який точно тобі знадобиться і точно полегшить твою роботу.
Джерела, перевірено 09.11.2026: Сайт Яна Дюбуа · Arena: LMArena is now Arena · Does style matter? (style control) · Лекція Stanford CS229, Building LLMs (YouTube) · OpenAI: Learning to reason with LLMs (o1) · OpenAI: Why language models hallucinate · EU AI Act, стаття 51 · Fortune: угода Anthropic з авторами на 1,5 млрд доларів · Контекстні вікна, документація Anthropic