Обучение с подкреплением

Reinforcement learning: агент взаимодействует со средой, получает rewards/penalties, цель — максимизировать cumulative reward. Формализм: Markov Decision Process (MDP) — состояния S, действия A, переходы P(s'|s,a), награды R(s,a,s'), discount factor γ ∈ [0,1]. Методы: Q-learning (обновление Q(s,a) ← Q(s,a) + α[r + γ·max Q(s',a') - Q(s,a)], off-policy), SARSA (on-policy вариант Q-learning), Policy Gradient (REINFORCE, оптимизация π(a|s) напрямую), Actor-Critic (комбинация value и policy). Применение: игры (AlphaGo, Dota 2, StarCraft), роботы, рекомендации