📊Законы масштабирования
Kaplan et al. (OpenAI 2020): loss ∝ N^-0.076 (параметры), ∝ D^-0.095 (данные), ∝ C^-0.050 (compute). Chinchilla (DeepMind 2022): оптимальное соотношение параметров и токенов 1:20. Следствие: Llama (меньше, но больше данных) эффективнее GPT-3.
📖6 мин чтения📊Уровень 7🗺️2 подтем📅19 февраля 2026 г.
🗺️ Mind Map
Загрузка карты...
❓Часто задаваемые вопросы
Законы масштабирования — это тема о правилах, механизмах и практиках в своей области. Она помогает понять, как принимаются решения и к каким последствиям они приводят.