💻Глубокое обучение (DL)

Нейросети, архитектура Трансформеров (основа GPT), работа с изображениями и текстом. Многослойные сети.

📖5 мин чтения📊Уровень 5🗺️10 подтем📅16 апреля 2026 г.

Загрузка карты...

Свёрточные нейросети (CNN)
Для изображений: свёрточные слои выявляют паттерны (края → текстуры → объекты). LeNet (1998), AlexNet (2012), ResNet (2015). Применение: распознавание лиц, медицина.
Рекуррентные сети (RNN/LSTM)
Обработка последовательностей: текст, временные ряды, аудио. RNN: скрытое состояние передаётся между шагами, проблема затухающего градиента. LSTM (Hochreiter, Schmidhuber 1997): gates (forget, input, output) контролируют поток информации. GRU (2014): упрощённая версия. Заменены трансформерами для NLP (2018+).
Рекуррентные сети (RNN)
Recurrent Neural Networks для последовательностей. Hidden state: память о прошлом. Проблема: vanishing/exploding gradients. LSTM (1997): gates (forget, input, output), долгосрочная память. GRU: упрощённый LSTM. Bidirectional: контекст с обеих сторон. Применение: NLP, временные ряды, музыка.
Рекуррентные нейросети (RNN)
Для последовательностей: имеют память о предыдущих входах. Проблема затухающих градиентов. LSTM (1997) и GRU решают её. Применение: текст, речь, временные ряды.
Архитектура Transformer
Механизм внимания (attention) вместо рекуррентности (2017, "Attention Is All You Need"). Параллелизуется. Основа GPT, BERT, T5. Революция в NLP, теперь и в vision.
Обратное распространение ошибки
Алгоритм обучения нейросетей. Rumelhart, Hinton, Williams (1986, переоткрытие). Прямой проход → вычисление функции потерь → обратный проход (цепное правило дифференцирования) → обновление весов (градиентный спуск). Оптимизаторы: SGD, Adam (2014), AdamW. Проблемы: локальные минимумы, затухание/взрыв градиентов.
Регуляризация в DL
Борьба с переобучением. Dropout (Hinton 2012): случайное "выключение" нейронов во время обучения (50%). Batch Normalization (2015): нормализация активаций слоя. Data Augmentation: аугментация изображений (повороты, отражения, cutout). L1/L2 регуляризация весов. Early stopping по валидационной метрике.
Свёрточные сети (CNN)
Convolutional Neural Networks для изображений. Слои: свёртка (фильтры), pooling (сжатие), fully connected. Иерархия признаков: edges → textures → parts → objects. LeNet (1998), AlexNet (2012, ImageNet), VGG, ResNet (skip connections), EfficientNet. Transfer learning: pretrained features.
Механизм внимания
Attention: взвешенная сумма, фокус на релевантных частях. Query-Key-Value: Q·K → weights → V. Bahdanau attention (2014): seq2seq перевод. Self-attention: внимание к себе. Multi-head attention: параллельные attention. Основа Transformer (2017). Позволил масштабирование LLM.
Обратное распространение ошибки
Алгоритм обучения нейросетей (1986, Румельхарт). Вычисляет градиенты функции потерь по всем весам через цепное правило. Основа gradient descent. Требует дифференцируемость.

Глубокое обучение - важная область знаний.

💻Глубокое обучение (DL)

Содержание карты

🔗Узнать больше