14 курсов по Нейронным сетям

Основные моменты курса

• Цель обучения - преодолеть порог входа в отрасль и получить практический опыт.
• Второй семестр предусматривает выполнение курсовой работы для глубокого изучения выбранного направления.

Программа курса (осенний семестр)

• Занятие 1 - Введение в нейронные сети
• Занятие 2 - Системы контроля версий
• Занятие 3 - Многослойный персептрон
• Занятие 4 - Сверточные сети
• Занятие 5 - Генеративно-соревновательные сети GAN
• Занятие 6 - Условные GAN
• Занятие 7 - Использование обученных сетей
• Занятие 8 - Рекуррентные сети
• Занятие 9 - Автоэнкодеры
• Занятие 10 - Обучение с подкреплением

Весенний семестр

• Выполнение курсовой работы, которая может быть совмещена с работой по физике.
• Примеры тем работ: предсказание сейсмической активности, создание торгового бота, восстановление цвета в фотографиях и многое другое.

Цель изучения предмета

Понимание математического аппарата и программного обеспечения, необходимого для создания интеллектуальных систем, основанных на нейронных сетях.

Получение навыков моделирования бизнес-процессов и экономических явлений с использованием нейросетевых методов.

Планируемые результаты обучения

• Знание возможностей интеллектуальных систем на основе нейронных сетей и процесса их создания.
• Умение определять входные и выходные параметры нейросетевых систем.
• Навык формализации предметной области программного продукта.
• Применение полученных знаний для решения реальных задач.
• Умение проведения нейросетевого моделирования.

Содержание учебной дисциплины

Раздел 1. Теоретическая часть

Тема 1. Персептрон и его эволюция

Биологический и математический обзор нейрона. Персептрон для распознавания цифр и букв. Правила Хебба, дельта-правило, обобщенное дельта-правило. Проблема логического "исключающего ИЛИ", многослойный персептрон и метод обратного распространения ошибки. Алгоритмы второго порядка, эвристические методы, обучение с использованием генетического алгоритма. Проблема переобучения и теорема Арнльда-Колмогорова-Хечт-Нильсена. Общая схема создания нейросетевой интеллектуальной системы.

Тема 2. Неклассические нейронные сети

Радиально-базисные сети, рекуррентные сети, самообучающиеся сети, сверточные сети.

Раздел 2. Практическая часть

Тема 3. Выполнение индивидуальных задач

Применение нейронных сетей для задач распознавания образов, извлечения информации, оптимизации, прогнозирования, управления, поддержки принятия решений.

Уроки: Нейронные сети для самых маленьких, разбираемся в основах

• Как обучается нейронная сеть?
• Google Colab и первая нейронная сеть. 1 часть
• Google Colab и первая нейронная сеть. 2 часть
• Свёрточная нейронная сеть
• Свёрточная нейронная сеть и датасеты из интернета
• Нейронная сеть и работа с камерой в реальном времени
• От классификации к детектированию
• Пишем SSD
• Пишем SSD: Single Shot MultiBox Detector. (Часть 2)

Мы исследуем сущность искусственных нейронных сетей и их применение, а также разграничение с обычными программами и алгоритмами. Погружаемся в математические основы обучения и использования нейронных сетей через прямое и обратное распространение ошибки.

Как обучается нейронная сеть?

Мы объясним процесс линейной регрессии, обратного распространения ошибки и проведем обсуждение о градиентном спуске.

Google Colab и первая нейронная сеть. 1 часть

Сборка и обучение небольшой нейронной сети при помощи Google Colab для получения первых практических навыков обучения нейронных сетей на Python.

Google Colab и первая нейронная сеть. 2 часть

Обучение классификатора, анализ влияния параметров обучения на результат и изучение возможностей, предоставляемых keras.

Свёрточная нейронная сеть

Добавление свёрточных слоев в нейронную сеть для повышения точности решения задачи, и исследование принципов их работы.

Свёрточная нейронная сеть и датасеты из интернета

Применение свёрточной нейронной сети для классификации нескольких классов с использованием набора данных из интернета.

Нейронная сеть и работа с камерой в реальном времени

Использование нейронных сетей для обработки видеопотока с камеры, кодирования меток на изображениях и расширения универсальности сети.

От классификации к детектированию

Изучение видов детекторов, обучение собственного детектора и анализ применения детекторов в школьных проектах.

Пишем SSD

Описание архитектуры сети, генерация априорных ограничивающих рамок, определение функции потерь и шаг обучения.

Пишем SSD: Single Shot MultiBox Detector. (Часть 2)

Создание алгоритмов вокруг сети для улучшения обучения и повышения эффективности детектора.

Добро пожаловать на курс о нейронных сетях!

В рамках данного обучающего процесса мы погрузимся в детали процесса создания и применения нейронных сетей. Наша цель - прояснить основополагающие теоретические концепции и практические методы, используемые при обучении разнообразных нейросетевых моделей.

Программа курса

• Основы линейной алгебры
• Общая информация о курсе
• Введение
• Необходимо ли пройти эту неделю? (урок с задачами)
• Обзор векторов в линейной алгебре
• Основные понятия матриц в линейной алгебре
• Введение в NumPy
• Линейная алгебра в действии
• Перцептрон и метод градиентного спуска
• Настоящие и искусственные нейроны
• Перцептрон: обучение
• Расширение искусственных нейронов!
• Более подробно о градиентном спуске
• Углубляемся в однослойные модели
• Принцип работы алгоритма обратного распространения ошибки
• Многослойный перцептрон
• Детали алгоритма обратного распространения ошибки
• Продолжение изучения алгоритма обратного распространения ошибки
• Значение целевых функций
• Мониторинг состояния нейронной сети
• Визуализация данных
• Тестирование знаний
• Практические упражнения
• Неожиданное открытие и...
• Сертификация от Института биоинформатики

Содержание курса:

• Введение в глубокое обучение
• Основы нейронных сетей
• Поверхностные нейронные сети
• Глубокие нейронные сети

Профессиональный курс по нейронным сетям

Курс ориентирован на практическое использование нейронных сетей с применением библиотек Keras и TensorFlow. В процессе обучения вы освоите решение задач анализа изображений и текста.

Особенности курса:

1. Предназначен для программистов без глубоких знаний математики.
2. Примеры и задания выполнены на Python, но не требуют специализированных знаний языка.

Содержание курса:

• Основы глубокого обучения
  • Искусственные нейронные сети
  • Обучение нейронных сетей
  • Библиотеки для глубокого обучения
• Нейросети для анализа изображений
  • Сверточные нейронные сети
  • Распознавание объектов на изображениях
• Нейросети для анализа текстов
  • Анализ тональности текста
  • Рекуррентные нейронные сети
• Работа с Google Colaboratory
  • Основы работы с платформой
  • Использование тензорных процессоров TPU
  • Участие в соревнованиях на Kaggle

План занятий: Основы нейронных сетей

• Теория искусственных нейронных сетей: общие принципы и структура однослойных и многослойных сетей, обучение и классификация алгоритмов
• Персептроны. Представительность и разделение: определение, архитектура и невозможность решения некоторых задач
• Обучение персептрона: алгоритм, сходимость, исследование многослойных персептронов

Процедура обратного распространения

• Описание алгоритма: архитектура и обучение многослойного персептрона с учителем
• Анализ алгоритма: выявление слабых мест и поиск решений для улучшения

Сети встречного распространения

• Архитектура и методы обучения: пример использования для сжатия данных

Стопкастические методы обучения

• Обзор: методы, такие как отжиг металла, больцмановское обучение и другие

Нейронные сети Хопфилда и Хэмминга

• Архитектура и устойчивость: особенности сетей и их применение для задач распознавания образов

Обобщения модели Хопфилда

• Вероятностные и статистические модели: рассмотрение аналого-цифрового преобразователя и примеры использования модели для решения задач

Двунаправленная ассоциативная память

• Архитектура и емкость: обзор работы нейронной сети ДАП и ее модификации

Адаптивная резонансная теория

• Проблема стабильности—пластичности: изучение нейросетевых архитектур АРТ
• Реализация: процесс функционирования, пример обучения и основные характеристики

Когнитрон и неокогнитрон

• Архитектура и процедура обучения: сравнение и примеры функционирования

Алгоритмы обучения

• Обзор методов: подробный рассмотр известных методов для создания полного понимания предметной области

Экзамен

Вы познакомитесь с:

• Работой с библиотекой Keras
• Работой с нейронными сетями типа "полносвязная"
• Решением задач с помощью сверточных нейронных сетей
• Задачами классификации, регрессии и прогнозирования временных рядов
• Внедрением нейронных сетей в рабочие процессы

Содержание программы курса:

• Введение в библиотеку Keras
• Глубинное обучение и его микросервисы
• Назначение и основные функции Keras
• Установка, настройка и методы написания нейронных сетей
• Различия между последовательной моделью Sequential и классом Model
• Изучение слоев и архитектур нейронных сетей

Подробное изучение:

• История и понятие нейронных сетей
• Разбор работы полносвязной нейронной сети и кода
• Распознавание изображений через сверточные нейронные сети
• Использование метрик, функций потерь и решение проблемы переобучения
• Классификация, регрессия и прогнозирование временных рядов
• Обработка аудиофайлов и классификация изображений

Важные моменты:

• Особенности внедрения нейронных сетей в продакшн
• Создание и загрузка моделей нейронных сетей в веб-приложения
• Пример развертывания на платформе Heroku

Программа обучения по нейронным сетям

Введение в машинное обучение

Учебный курс охватывает базовые принципы самого популярного метода Machine Learning, предоставляя необходимую теоретическую и практическую подготовку в области искусственного интеллекта.

Математические основы нейросетей

В программе подробно рассматривается математическая основа современных алгоритмов нейронных сетей, включая основные задачи классификации через методы нейросетей и прикладные аспекты распознавания изображений.

Практическое применение

Основное внимание уделяется решению практических задач при помощи нейросетевых методов на языке программирования Python. Учащиеся самостоятельно создают нейронную сеть и решают задачи классификации с использованием этой модели машинного обучения.

Содержание курса

• Простейшие нейронные сети
  • Теоретическая часть: основные понятия, виды данных, полносвязные нейронные сети.
  • Практическая часть: анализ датасета, предобработка данных, создание полносвязной нейронной сети.
• Математические основы нейронных сетей
  • Теоретическая часть: метрики качества работы, градиентный спуск, обратное распространение ошибки, переобучение.
  • Практическая часть: настройка нейронной сети для задачи классификации изображений.
• Свёрточные нейронные сети
  • Теоретическая часть: параметры сверточных нейронных сетей, использование предобученных моделей.
  • Практическая часть: применение предобученных нейронных сетей для классификации изображений.
• Решение кейса: "Классификация изображений"
  • Теоретическая часть: сбор данных, их обработка.
  • Практическая часть: решение кейса.
• Применение нейронных сетей в production
  • Теоретическая часть: сериализация объектов в Python, использование фреймворка Flask.
  • Практическая часть: создание веб-сервиса на фреймворке Flask.

Учебные программы:

• Введение в искусственные нейронные сети
• Современное применение нейронных сетей. Основные задачи.
• Виды нейронных сетей: прямого распространения, сверточные, рекуррентные, генеративные и другие архитектуры
• Обучение нейронных сетей
• Фреймворки для глубокого обучения (Keras, TensorFlow)

Сверточные нейронные сети

• Введение в сверточные нейронные сети
• Операция свертки
• Простой сверточный слой
• Усложнение сверточного слоя
• Пулинг слой
• Архитектура первой сверточной сети
• Современные архитектуры: Inception V3

Оптимизация нейронной сети

• Пути оптимизации нейронной сети
• Функции активации
• Инициализация весов
• Влияние learning rate на сходимость
• Batch нормализация
• Dropout регуляризация

Transfer learning & Fine-tuning

• Transfer learning
• Архитектура сети ImageNET
• Оптимизация сети при помощи back propagation
• Автокодировщики: понятия encoder и decoder

Обработка естественного языка (NLP)

• Задачи Natural Language Processing (NLP)
• Векторизация текстовых данных
• Сравнение сетей прямого распространения и рекуррентных нейросетей
• Архитектура рекуррентной нейросети: LSTM (Long Short-Term Memory), GRU (Gated Recurrent Unit)

Сегментация и детектирование объектов

• Практическое применение сегментации
• Классическая сегментация и сегментация на базе нейросетей
• Методы улучшения производительности модели
• Дилатационная свертка

Reinforcement learning (обучение с подкреплением)

• Классы задач: обучение с учителем, без учителя, обучение с подкреплением
• Применение: игровые агенты, self-driving агенты, робототехника
• Состояния, действия, награды
• Оценка состояния и действий. Оптимальная Q-функция

What`s next?

• Другие области применения нейронных сетей
• Self-driving и AIGAN: Generative Adversarial Networks
• Перспективы развития области
• Советы по профессиональному развитию

Основные темы курса:

• Взаимодействие с тензорами в Python
• Основы PyTorch
• Работа с изображениями в нейронных сетях и Python
• Обработка речи и текста

Программа курса:

Модуль 1. Введение в PyTorch и тензоры (4 ак. ч.)

• Введение в курс
• Нейронные сети
• PyTorch: базовые понятия
• Преимущества тензоров
• Технические требования
• Облачные возможности
• Операции с тензорами
• Практические упражнения

Модуль 2. Классификация изображений (4 ак. ч.)

• Загрузка и обработка данных в PyTorch
• Создание тренировочных, проверочных и тестовых наборов данных
• Нейронные сети и тензоры
• Активационные функции
• Создание сети
• Функция потерь
• Оптимизация
• Практическое применение на GPU

Модуль 3. Cверточные нейронные сети (6 ак. ч.)

• Построение сверточной нейронной сети
• Объединение слоев (Pooling)
• Регуляризация (Dropout)
• Использование готовых моделей
• Исследование структуры сети
• Пакетная нормализация
• Практические упражнения

Модуль 4. Использование и передача обученных моделей (5 ак. ч.)

• Использование ResNet
• Градиент скорости обучения
• Расширение данных
• Преобразователи Torchvision
• Пользовательские преобразователи
• Ансамбли
• Практическое применение

Модуль 5. Классификация текста (5 ак. ч.)

• Рекуррентные нейронные сети
• Нейронные сети с памятью
• Библиотека Torchtext

Курс по искусственным нейронным сетям

Данный курс предназначен для освоения математических основ теории и практики работы с нейронными сетями. На протяжении занятий представлена краткая история развития этой теории, математические модели нейросетевых архитектур, принципы обучения и методы его реализации, а также возможности применения нейронных сетей для решения практических задач. Изложение материала осуществляется научным языком, сопровождается формулами и математическими доказательствами.

Цель обучения

• Получение и закрепление теоретических и практических знаний в области нейронных сетей
• Научиться применять полученные знания для работы с данными через нейронные сети

Программа курса

Модуль 1. Введение

• Искусственные нейронные сети как биологически вдохновленные модели
• Структура нейрона
• Краткий обзор истории нейронных сетей
• Искусственный интеллект, машинное обучение и нейронные сети
• Обзор архитектур нейронных сетей

Модуль 2. Многослойные нейронные сети

• Урок 1. Функции активации
• Урок 2. Математическая модель многослойной нейронной сети
• Урок 3. Функции потерь
• Урок 4. Алгоритм обратного распространения ошибки

Модуль 3. Алгоритмы обучения нейронных сетей

• Урок 1. Методы градиентного спуска
• Урок 2. Методы адаптивной скорости обучения
• Урок 3. Стохастический градиентный спуск
• Урок 4. Методы второго порядка
• Урок 5. Инициализация весов

Модуль 4. Обобщение в нейронных сетях

• Урок 1. Способность к обобщению
• Урок 2. Разложение смещения-разброс
• Урок 3. Техники кросс-валидации
• Урок 4. Техники регуляризации
• Урок 5. Отсев и батч-нормализация

Пройдя данный курс, вы приобретете понимание сущности искусственных нейронных сетей, умение определять цели и области их применения, разберетесь в преимуществах и особенностях использования нейронных сетей. Вы научитесь выбирать подходящую архитектуру сети, организовывать процесс обучения, понимать основные алгоритмы обучения и параметры, а также сможете создавать, обучать и оценивать качество моделей нейронных сетей.

Основные моменты курса:

• Для аспирантов МГУ имени М. В. Ломоносова, знакомых с программированием и математикой
• Использование методов искусственных нейронных сетей для анализа данных в научных исследованиях

Целевая аудитория:

• Начинающие ученые с разных факультетов: физики, филологи, химики, медики, математики, социологи
• Завершение курса с написанием программы и получением успешного результата для диссертации
• Подготовка научной публикации на основе полученных навыков