Статті / Розбір лекції Стенфорда CME2951 год 44 хв

Як АІ читає текст: 12 ідей з лекції Стенфорда CME295 українською

Читати 10 хв · Оновлено 16.11.2026 · Вова Курченко

Афшин Амідi, перша лекція курсу Стенфорда CME295 про трансформери, осінь 2026 Дивитися · 1 год 44 хв

Оригінал: Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 1 - Transformers. Афшин і Шервін Амідi, ад'юнкт-професори Стенфорда (за описом відео), курс CME295, англійською. Канал Stanford Online на YouTube.

Тут 12 ідей з цієї лекції українською. Біля кожної таймкод: тиснеш, і відео вмикається з цього місця.

Лекцію читають брати Афшин і Шервін Амідi, у описі відео вони названі ад'юнкт-професорами Стенфорда. Це перша лекція курсу CME295 восени 2026: 1 година 44 хвилини, понад 946 тис. переглядів, канал Stanford Online. Безкоштовно, англійською. Формули тут пропущено, лишились ідеї, які пояснюють, чому чат поводиться саме так.

Лекцію записано у вересні 2026, тож біля кожної ідеї позначка: працює як є чи вже інакше.

За 30 секунд
  • Модель працює з токенами: шматками тексту, які замінюють числами
  • Вектор слова мав один зміст на всі речення, тому «банк» біля річки й у місті не розрізнявся
  • Увага дала кожному слову прямий зв'язок з усіма іншими, і це основа трансформера з 2017 року
  • Відповідь будується по одному токену: нове слово додають на вхід і повторюють
  • За словами лектора, головне в трансформері: шар уваги й шар, де лежить більшість параметрів, а ще якість даних

Працює порада діє, як у лекціїЗмінилось суть та сама, сервіси й ціни іншіА в кінці статті я віддам тобі готовий скіл, яким ти можеш навчити свою АІ тому, що описано в цій лекції, щоб вона працювала за тебе.

1Без розуміння АІ тепер не обійтись

Амідi кажуть · вересень 2026▶ 2:50

Афшин каже: незалежно від того, де ти працюєш, потреба розуміти АІ зростає. Для цього є термін AI literacy. Просто знати, як ці інструменти влаштовані, стає все важливішим.

Зараз · листопад 2026Працює
У ЄС це вже вимога до компаній. Стаття 4 акту про АІ зобов'язує тих, хто створює чи використовує АІ-системи, підтримувати АІ-грамотність персоналу. Діє з 2 лютого 2025, правила нагляду й примусу з 2 серпня 2026.

2Модель розуміє числа, тому текст ріжуть на токени

Амідi кажуть · вересень 2026▶ 17:15

Текст модель не розуміє, вона розуміє числа. Тому спершу текст ділять на неподільні шматки, і це токенізація. Кожен шматок називають токеном, і кожен токен потім замінюють вектором чисел. Усі дозволені токени складають словник.

Зараз · листопад 2026Працює
Довжину розмови й ціну в API досі рахують токенами. У Anthropic є безкоштовний підрахунок: порахуй свій промпт до відправки, а не здогадуйся.

3Токени це шматки слів

Амідi кажуть · вересень 2026▶ 25:40

Токенізація по словах дає величезний словник і не вміє поводитись з новим словом. По літерах виходить надто довга послідовність, а модель на ній повільна. Середній шлях: шматки слів, і найпопулярніший спосіб, BPE, склеює пари, що найчастіше трапляються разом. За його словами, це далеко найпоширеніший варіант.

Зараз · листопад 2026Працює
Токен не дорівнює слову, тому ліміт і ціну по кількості слів не прикинеш. Рахуй токени.
Поки читаєш
Створи свого першого АІ агента за вечір

Абсолютно безкоштовний АІ агент. Ти не платиш ніякі гроші за АІшку, і він вже починає забирати твою рутину. Міні-курс за 10 €, без коду і термінала

4Словник під твою мову

Амідi кажуть · вересень 2026▶ 30:00

Якщо працюєш кількома мовами, токенізатор мають вчити на текстах усіх цих мов. Словник сучасних моделей, за його словами, налічує сотні тисяч токенів, і такий токенізатор працює з англійською та іншими мовами.

Зараз · листопад 2026Змінилось
Токенізатор змінюється між поколіннями. За документацією Anthropic, моделі від Claude Opus 4.7 і новіші рахують той самий текст приблизно на 30% більше токенів, ніж старіші. Бюджет і ліміти перераховуй під модель, яку береш.

5Схожі слова мають бути поряд у числах

Амідi кажуть · вересень 2026▶ 44:30

Модель вчать передбачати слово за сусідами, а вектор, що утворився всередині, виявляється осмисленим. Схожі токени мають схожі вектори. Лектор дає приклад: Париж так відноситься до Франції, як Берлін до Німеччини.

Зараз · листопад 2026Працює
Це досі основа пошуку за змістом: тексти перетворюють на вектори й шукають найближчі. Власної моделі для таких векторів у Anthropic нема, у документації вони радять Voyage AI.

6Одне слово має різні значення

Амідi кажуть · вересень 2026▶ 47:15

Слабке місце цього методу: слово «cute» у різних реченнях отримує той самий вектор. Класичний приклад: bank, берег річки й банк у місті. Ще одне слабке місце: порядок слів не враховується, тому «дитина обіймає ведмедика» і «ведмедик обіймає дитину» виходять однаковими.

Зараз · листопад 2026Працює
Тому сучасні моделі читають слово разом з усім реченням. Для тебе звідси практична річ: пиши в промпті, про який саме «банк» чи «клієнта» йдеться.

7Модель забувала початок довгого тексту

Амідi кажуть · вересень 2026▶ 51:00

RNN, які домінували в 2010-х, тримали зміст прочитаного в одному векторі, що постійно змінювався. Якщо відсилка стоїть через кілька речень, інформація губиться. LSTM трохи допомогли, але проблема лишилась. До того ж такі моделі читають токени по одному, тому їх надто повільно навчати.

Зараз · листопад 2026Змінилось
Довгий текст лишається проблемою, лише іншою. За документацією Anthropic, що більше токенів у вікні, то гірші точність і пригадування (context rot), хоча вікно в нових моделей Claude до 1 млн токенів.

8Увага: кожне слово бачить усі інші

Амідi кажуть · вересень 2026▶ 55:20

Ідея уваги: не покладатись лише на вектор «що було досі», а дати слову прямі зв'язки з токенами з минулого. У статті 2017 року Attention Is All You Need самоувага йде далі: вектор кожного токена виражають через усі інші токени речення.

Зараз · листопад 2026Працює
Стаття вийшла 12 червня 2017, у неї 8 авторів, архітектура Transformer побудована лише на увазі, без рекурентності (arXiv 1706.03762). Лектор каже, що на цьому стоять і нинішні чати.
Мої АІ-скіли
Забирай безкоштовно в тг
Забрати →

9Запит, ключ, значення: хто на кого дивиться

Амідi кажуть · вересень 2026▶ 59:55

Запит питає: які токени допоможуть описати мене? Його порівнюють з ключем кожного токена, а потім беруть значення, зважені цією схожістю. Приклад: що найкраще описує ведмедика? Слово «cute», тож вектор ведмедика сильно залежить від нього.

Зараз · листопад 2026Працює
Формулу з лекції можна пропустити. Практичний висновок: модель на кожному слові зважує всі інші, тому важливе клади в промпт явно, а не чекай, що вона здогадається.

10Позицію слова додають окремо

Амідi кажуть · вересень 2026▶ 1:13:00

Якщо слово взаємодіє з усіма, порядок губиться, тому до вектора токена додають вектор позиції. Його можна вивчити або задати синусами й косинусами різних частот, як на годиннику, де години, хвилини й секунди крутяться з різною швидкістю. Вивчений варіант не працює на тексті довшому, ніж бачила модель.

Зараз · листопад 2026Змінилось
Довжину тексту зараз міряють інакше. У Claude Sonnet 5.5, Opus 5.5 та інших нових моделей вікно 1 млн токенів, відповідь до 128 тис. токенів.

11Відповідь будують по одному токену

Амідi кажуть · вересень 2026▶ 1:21:00

Декодер бере початковий токен, передбачає наступний і додає його на вхід. Так повторюється, поки не з'явиться токен кінця. Шервін показує це на перекладі речення про ведмедика на французьку.

Зараз · листопад 2026Змінилось
Відповідь і зараз будується токен за токеном. Нові моделі Claude самі вирішують, скільки «думати» перед відповіддю (адаптивне мислення), і токени цих роздумів рахуються як вихідні.

12Що в трансформері головне

Амідi кажуть · вересень 2026▶ 1:40:20

На питання «що саме працює» Шервін відповідає: шар уваги й шар прямого поширення, де лежить більшість параметрів. Решта, за його словами, додаткові прийоми для кращого навчання. І ще якість даних.

Зараз · листопад 2026Працює
За документацією Anthropic, що саме лежить у вікні, так само важливо, як його розмір.
Зроби сьогодні · 40 хв

Питання і відповіді

Де дивитися лекцію Стенфорда CME295 про трансформери українською?

На YouTube-каналі Stanford Online, безкоштовно, англійською. Це перша лекція курсу: 1 година 44 хвилини, вийшла 28 вересня 2026, понад 946 тис. переглядів. Тут її розбір українською.

Хто читає курс Stanford CME295?

Брати Афшин і Шервін Амідi. В описі відео вони названі ад'юнкт-професорами Стенфорда. За їхніми словами в лекції, обидва вчилися у Франції в школі Central Paris, потім у США, працювали в Uber і Google, зараз у Netflix.

Чи актуальна лекція про трансформери у 2026 році?

Основа так: токени, самоувага, відповідь по одному токену. Змінились довжина вікна, токенізатори й спосіб, яким моделі «думають» перед відповіддю. Сам лектор каже, що поле рухається швидко і курс оновлюють щороку.

Що таке токен?

Шматок тексту, на які модель ділить твій промпт. Це може бути слово, частина слова чи символ. Довжину розмови й ціну в API рахують токенами.

Що таке самоувага?

Спосіб, яким модель виражає кожен токен через усі інші токени речення. Саме на цьому, за статтею 2017 року Attention Is All You Need, побудовано трансформер.

Скіл з цієї лекції
Усю цю історію можеш завантажити як скіл у будь-яку АІ, яка працює зі скілами

І ця штука буде працювати на тебе: прям агент з базою знань, яка тут є.

Як поставити: скинь архів своєму АІ-агенту (клод код, Codex у ChatGPT чи Antigravity) і напиши «встанови цей скіл».

Наступний крок
Як зібрати свого першого АІ-агента за 10 €

А про те, як зробити так, щоб у цього агента були руки, і підключити його до потрібних речей, я розповідаю на практикумі. Універсального агента, який точно тобі знадобиться і точно полегшить твою роботу.

Джерела, перевірено 16.11.2026: Лекція Stanford CME295, Lecture 1 (YouTube) · Attention Is All You Need (arXiv 1706.03762) · Anthropic: підрахунок токенів і новий токенізатор · Anthropic: вікно контексту, context rot · Anthropic: embeddings (Voyage AI) · ЄС: питання й відповіді про АІ-грамотність (ст. 4 AI Act)

Вова КурченкоМаркетолог, у 2022–2026 роках співзасновник онлайн-школи MASC.
Створи свого першого АІ агента за вечір
за 10 €Дивитися