Chinchilla Scaling Laws
📊Chinchilla Scaling Laws
Hoffmann et al. (DeepMind, 2022): optimally train a model on 20× more tokens than parameters. Chinchilla (70B, 1.4T tokens) > Gopher (280B, 300B tokens).
Article body and graph labels may still appear in Russian where English translations have not been added yet.
Loading map...
❓Часто задаваемые вопросы
Chinchilla Scaling Laws — это тема о правилах, механизмах и практиках в своей области. Она помогает понять, как принимаются решения и к каким последствиям они приводят.