👁️Механизм внимания
Attention: взвешенная сумма, фокус на релевантных частях. Query-Key-Value: Q·K → weights → V. Bahdanau attention (2014): seq2seq перевод. Self-attention: внимание к себе. Multi-head attention: параллельные attention. Основа Transformer (2017). Позволил масштабирование LLM.
📖6 мин чтения📊Уровень 6📅19 февраля 2026 г.
🗺️ Mind Map
Загрузка карты...
❓Часто задаваемые вопросы
Механизм внимания — это тема о правилах, механизмах и практиках в своей области. Она помогает понять, как принимаются решения и к каким последствиям они приводят.