Энтропия — фундаментальная физическая величина, мера «беспорядка» или «неопределённости» системы. Понятие используется в термодинамике, статистической механике и теории информации, причём в каждой области оно имеет строгое математическое определение, связанные между собой глубоким образом.
Термодинамическая энтропия
Второй закон термодинамики: энтропия изолированной системы никогда не убывает. Клаузиус (1850) ввёл энтропию как dS = dQ/T (теплота, делённая на температуру). Физический смысл: тепло всегда перетекает от горячего к холодному, а не наоборот. Лёд тает в тёплой комнате, но никогда не замерзает сам по себе.
Статистическая интерпретация Больцмана
Людвиг Больцман (1877) дал микроскопическое определение: S = k ln Ω, где k — постоянная Больцмана, Ω — число микросостояний, соответствующих данному макросостоянию. Газ в левой части сосуда — маловероятное состояние (мало Ω). Равномерно распределённый газ — наиболее вероятное (много Ω). Эта формула нанесена на надгробие Больцмана в Вене.
Информационная энтропия Шеннона
Клод Шеннон (1948) создал математическую теорию связи, введя энтропию информации: H = −Σ pᵢ log pᵢ. Это мера неопределённости источника. Честная монета: H = 1 бит. Монета, всегда падающая орлом: H = 0. Энтропия определяет минимальную длину сжатого кода: нельзя сжать файл лучше, чем его энтропия.
Стрела времени
Большинство физических законов симметричны во времени. Стрела времени (направление «прошлое → будущее») связана именно с ростом энтропии. Почему мы помним прошлое, но не будущее? Потому что прошлое — состояния низкой энтропии (условие: Вселенная начала с низкой энтропией).