Chinchilla Scaling Laws
📊Chinchilla Scaling Laws
Hoffmann et al. (DeepMind, 2022): оптимально обучать модель на 20× больше токенов, чем параметров. Chinchilla (70B, 1.4T токенов) > Gopher (280B, 300B токенов).
Загрузка карты...
❓Часто задаваемые вопросы
Chinchilla Scaling Laws — это тема о правилах, механизмах и практиках в своей области. Она помогает понять, как принимаются решения и к каким последствиям они приводят.