Як АІ читає текст: 12 ідей з лекції Стенфорда CME295 українською
Дивитися · 1 год 44 хв
Оригінал: Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 1 - Transformers. Афшин і Шервін Амідi, ад'юнкт-професори Стенфорда (за описом відео), курс CME295, англійською. Канал Stanford Online на YouTube.
Тут 12 ідей з цієї лекції українською. Біля кожної таймкод: тиснеш, і відео вмикається з цього місця.
Лекцію читають брати Афшин і Шервін Амідi, у описі відео вони названі ад'юнкт-професорами Стенфорда. Це перша лекція курсу CME295 восени 2026: 1 година 44 хвилини, понад 946 тис. переглядів, канал Stanford Online. Безкоштовно, англійською. Формули тут пропущено, лишились ідеї, які пояснюють, чому чат поводиться саме так.
Лекцію записано у вересні 2026, тож біля кожної ідеї позначка: працює як є чи вже інакше.
- Модель працює з токенами: шматками тексту, які замінюють числами
- Вектор слова мав один зміст на всі речення, тому «банк» біля річки й у місті не розрізнявся
- Увага дала кожному слову прямий зв'язок з усіма іншими, і це основа трансформера з 2017 року
- Відповідь будується по одному токену: нове слово додають на вхід і повторюють
- За словами лектора, головне в трансформері: шар уваги й шар, де лежить більшість параметрів, а ще якість даних
Працює порада діє, як у лекціїЗмінилось суть та сама, сервіси й ціни іншіА в кінці статті я віддам тобі готовий скіл, яким ти можеш навчити свою АІ тому, що описано в цій лекції, щоб вона працювала за тебе.
1Без розуміння АІ тепер не обійтись
Афшин каже: незалежно від того, де ти працюєш, потреба розуміти АІ зростає. Для цього є термін AI literacy. Просто знати, як ці інструменти влаштовані, стає все важливішим.
2Модель розуміє числа, тому текст ріжуть на токени
Текст модель не розуміє, вона розуміє числа. Тому спершу текст ділять на неподільні шматки, і це токенізація. Кожен шматок називають токеном, і кожен токен потім замінюють вектором чисел. Усі дозволені токени складають словник.
3Токени це шматки слів
Токенізація по словах дає величезний словник і не вміє поводитись з новим словом. По літерах виходить надто довга послідовність, а модель на ній повільна. Середній шлях: шматки слів, і найпопулярніший спосіб, BPE, склеює пари, що найчастіше трапляються разом. За його словами, це далеко найпоширеніший варіант.
Абсолютно безкоштовний АІ агент. Ти не платиш ніякі гроші за АІшку, і він вже починає забирати твою рутину. Міні-курс за 10 €, без коду і термінала
4Словник під твою мову
Якщо працюєш кількома мовами, токенізатор мають вчити на текстах усіх цих мов. Словник сучасних моделей, за його словами, налічує сотні тисяч токенів, і такий токенізатор працює з англійською та іншими мовами.
5Схожі слова мають бути поряд у числах
Модель вчать передбачати слово за сусідами, а вектор, що утворився всередині, виявляється осмисленим. Схожі токени мають схожі вектори. Лектор дає приклад: Париж так відноситься до Франції, як Берлін до Німеччини.
6Одне слово має різні значення
Слабке місце цього методу: слово «cute» у різних реченнях отримує той самий вектор. Класичний приклад: bank, берег річки й банк у місті. Ще одне слабке місце: порядок слів не враховується, тому «дитина обіймає ведмедика» і «ведмедик обіймає дитину» виходять однаковими.
7Модель забувала початок довгого тексту
RNN, які домінували в 2010-х, тримали зміст прочитаного в одному векторі, що постійно змінювався. Якщо відсилка стоїть через кілька речень, інформація губиться. LSTM трохи допомогли, але проблема лишилась. До того ж такі моделі читають токени по одному, тому їх надто повільно навчати.
8Увага: кожне слово бачить усі інші
Ідея уваги: не покладатись лише на вектор «що було досі», а дати слову прямі зв'язки з токенами з минулого. У статті 2017 року Attention Is All You Need самоувага йде далі: вектор кожного токена виражають через усі інші токени речення.
Забирай безкоштовно в тгЗабрати →
9Запит, ключ, значення: хто на кого дивиться
Запит питає: які токени допоможуть описати мене? Його порівнюють з ключем кожного токена, а потім беруть значення, зважені цією схожістю. Приклад: що найкраще описує ведмедика? Слово «cute», тож вектор ведмедика сильно залежить від нього.
10Позицію слова додають окремо
Якщо слово взаємодіє з усіма, порядок губиться, тому до вектора токена додають вектор позиції. Його можна вивчити або задати синусами й косинусами різних частот, як на годиннику, де години, хвилини й секунди крутяться з різною швидкістю. Вивчений варіант не працює на тексті довшому, ніж бачила модель.
11Відповідь будують по одному токену
Декодер бере початковий токен, передбачає наступний і додає його на вхід. Так повторюється, поки не з'явиться токен кінця. Шервін показує це на перекладі речення про ведмедика на французьку.
12Що в трансформері головне
На питання «що саме працює» Шервін відповідає: шар уваги й шар прямого поширення, де лежить більшість параметрів. Решта, за його словами, додаткові прийоми для кращого навчання. І ще якість даних.
Питання і відповіді
Де дивитися лекцію Стенфорда CME295 про трансформери українською?
На YouTube-каналі Stanford Online, безкоштовно, англійською. Це перша лекція курсу: 1 година 44 хвилини, вийшла 28 вересня 2026, понад 946 тис. переглядів. Тут її розбір українською.
Хто читає курс Stanford CME295?
Брати Афшин і Шервін Амідi. В описі відео вони названі ад'юнкт-професорами Стенфорда. За їхніми словами в лекції, обидва вчилися у Франції в школі Central Paris, потім у США, працювали в Uber і Google, зараз у Netflix.
Чи актуальна лекція про трансформери у 2026 році?
Основа так: токени, самоувага, відповідь по одному токену. Змінились довжина вікна, токенізатори й спосіб, яким моделі «думають» перед відповіддю. Сам лектор каже, що поле рухається швидко і курс оновлюють щороку.
Що таке токен?
Шматок тексту, на які модель ділить твій промпт. Це може бути слово, частина слова чи символ. Довжину розмови й ціну в API рахують токенами.
Що таке самоувага?
Спосіб, яким модель виражає кожен токен через усі інші токени речення. Саме на цьому, за статтею 2017 року Attention Is All You Need, побудовано трансформер.
І ця штука буде працювати на тебе: прям агент з базою знань, яка тут є.
Як поставити: скинь архів своєму АІ-агенту (клод код, Codex у ChatGPT чи Antigravity) і напиши «встанови цей скіл».
А про те, як зробити так, щоб у цього агента були руки, і підключити його до потрібних речей, я розповідаю на практикумі. Універсального агента, який точно тобі знадобиться і точно полегшить твою роботу.
Джерела, перевірено 16.11.2026: Лекція Stanford CME295, Lecture 1 (YouTube) · Attention Is All You Need (arXiv 1706.03762) · Anthropic: підрахунок токенів і новий токенізатор · Anthropic: вікно контексту, context rot · Anthropic: embeddings (Voyage AI) · ЄС: питання й відповіді про АІ-грамотність (ст. 4 AI Act)