Нейронная сеть
1. Познакомьтесь с нейронной сетью.
Что делает нейронная сеть? Его наиболее важная функция — использовать для сквозной классификации. Классификация изображений и жанров текстов заключается в том, чтобы вводить контент, который необходимо классифицировать, в модель в виде числовых векторов, а затем классифицировать их с помощью операции черного ящика, о которой мы упоминали выше. Результат классификации значения или вектора. В качестве простого примера: при распознавании рукописных чисел входным слоем является матрица пикселей изображения 28 × 28, а выходным слоем — Такая однорядная матрица, первый столбец равен 1, что означает, что результат классификации равен 1, а скрытый слой посередине — это наш черный ящик.
2. Модель нейрона.
Самым основным компонентом нейронной сети является нейрон. Наименьшей единицей на уровне активации ввода и вывода является нейрон. На следующем рисунке показан процесс анализа модели нейрона. Нейрон получает m внешних входов. Сигнал (может быть один или несколько, передаваемых другими нейронами), сначала взвесьте все сигналы, а затем оцените, превышает ли он пороговое значение нейрона, если оно больше порогового значения нейрона, отправьте его в функцию активации для вывода, как показано на следующем рисунке. Сетевая структура модели нейрона.
3. Одноуровневая сеть
Правило обучения нейронной сети состоит в том, чтобы соответствовать функции путем настройки весов и пороговых значений. Эта настройка зависит от размера предыдущего значения возбуждения нейрона. Как показано на рисунке, это однослойная нейронная сеть (персептрон). Она регулируется путем настройки трех весов. Вы можете подобрать несколько простых функций линейной классификации.
4. Многослойная сеть
Если перцептрон имеет только один слой, его способность к обучению очень ограничена. При изучении нелинейных задач, поскольку модель не может найти подходящие веса, вес будет колебаться. Если рассматриваются нелинейные задачи, необходимо несколько слоев. Сеть, то есть добавляет несколько скрытых слоев между входным и выходным слоями. Другими словами, многослойная сеть непрерывно увеличивает широту функции аппроксимации с помощью функции активации, и ее, очевидно, легче классифицировать с помощью нелинейной функции, как показано на рисунке. Многослойная сеть с четырьмя скрытыми слоями (см. ) и пример линейно неразделимой задачи.
5. Алгоритм обратного распространения ошибки (BackPropagation)
Способность к обучению многоуровневой сети намного выше, чем у одноуровневой сети, но ее обучение очень проблематично. Обычно используемый метод — это алгоритм обратного распространения ошибки, также называемый алгоритмом обратного распространения. Следующий рисунок в этом разделе содержит скрытый слой Сеть является примером для ознакомления с принципом BP.
5. Возникла проблема
Количество скрытых слоев нейронной сети достаточно, чтобы соответствовать любой сложной функции, но часто происходит переоснащение.Существуют две стратегии для решения таких проблем: одна — установить обучающий набор и проверочный набор, когда ошибка обучающего набора Если она уменьшается, но увеличивается ошибка набора проверки, прекратите обучение; второй тип — регуляризация. Вы можете добавить условия регуляризации L1 или L2 к функции потерь, чтобы описать сложность алгоритма. Подробнее см. «Методы статистического обучения» учителя Ли Хана. ».
Рекуррентная нейронная сеть (RecurrentNeural Network)
1. Рекуррентная структура нейронной сети.
Рекуррентная нейронная сеть используется для прогнозирования данных последовательности (таких как текст, голос, видео, изображения, данные о погоде и акциях и т. Д.). Традиционная нейронная сеть полностью подключена от скрытого слоя к выходному слою, но когда наши данные представляют собой набор Когда есть связанная информация временного ряда, нам необходимо реализовать взаимодействие между внутренними нейронами в скрытом слое, то есть выход скрытого слоя системы останется в сети, и вместе с входом следующего момента системы определить выход следующего момента, и каждый Входной нейрон — это информация момента. Как показано на рисунке ниже, входная информация в каждый момент времени содержит верхний скрытый слой, а также информацию и информацию в этот момент времени.
Проанализируйте внутреннюю часть каждого нейрона скрытого слоя, и каждый нейрон будет обрабатывать исходный ввод и ввод предыдущей временной точки (нейрона) (функция активации tanh), как показано на следующем рисунке:
Прежде чем говорить об обучении RNN, мне нужно поговорить о функции активации tanh, используемой RNN. На самом деле, это очень просто, и это функция гиперболического тангенса. Разница между ней и сигмоидой заключается в том, что она не так чувствительна, как изменение значения функции в интервале (-1, 1). Он менее подвержен градиентной дисперсии при использовании для решения градиента. Обучение RNN аналогично традиционной нейронной сети. При прямом распространении необходимо только вычислить выходное значение каждого момента времени в последовательности во времени. Обратное распространение должно добавить изменения времени в алгоритм BP, которые будут накапливаться с последнего момента Остаток возвращается.
3. Возникла проблема
Как упоминалось выше, для решения явления градиентной дисперсии или градиентного взрыва мы предпочитаем использовать tanh вместо сигмоида, но это может уменьшить вероятность появления только при более низком уровне сети. Как правило, есть две стратегии для решения этой проблемы: 1. В настоящее время функция активации часто используется в нейронных сетях; 2. Улучшить структуру сети, например: LSTM, GRU. В то же время LSTM также способствует решению проблемы долгосрочной зависимости, то есть, когда интервал между соответствующей информацией и текущим прогнозируемым положением становится больше, RNN Восприятие снизится.
Общее описание структуры сети LSTM.
LSTM — это нейронная сеть с рекурсией времени, подходящая для обработки и прогнозирования событий с относительно длинными интервалами и задержками во временных рядах. Системы на основе LSTM могут научиться переводить языки, управлять роботами, анализировать изображения, суммировать документы, распознавать речь, распознавать изображения и писать от руки. Распознавайте чат-ботов и управляйте ими, прогнозируйте болезни, CTR и акции, синтезируйте музыку и многое другое. Причина, по которой LSTM может обрабатывать входную информацию с относительно большой задержкой, заключается в том, что он добавляет ячейку для выбора информации. Каждая ячейка содержит три стробированных структуры и параметр состояния. Состояние ячейки (состояние ячейки), стробированная структура. Чтобы удалить или добавить информацию о состоянии ячейки, он содержит слой сигмоидной нейронной сети и операцию точечного умножения. Далее я объясню три стробирующих структуры и состояния ячеек, а также подробную структуру сети в сочетании со следующим рисунком (это краткое изложение в основном относится к , который является переводом оригинальной статьи, и объяснение очень четкое):
2. Состояние ячейки
Состояние клетки — это Ct, что похоже на состояние клетки и похоже на конвейерную ленту.Информация проходит непосредственно по всей цепочке только с несколькими линейными взаимодействиями.
4. Войдите в ворота.
Входной вентиль определяет, какая информация должна храниться в состоянии ячейки. Входной вентиль состоит из двух частей. Первая часть использует сигмоидальную функцию активации, а выход — это она. Вторая часть использует функцию активации tanh, а выход — это Ct ‘, за которым следует результат обоих Умножит и обновит состояние ячейки.
5. Обновите состояние ячейки.
Старое состояние ячейки умножается на отброшенную информацию ft, и произведение двух типов информации во входном шлюзе добавляется для получения информации Ct в следующий раз.
6. Выходной вентиль
Выходной вентиль определяет, какое значение выводить.Этот вывод будет основан на состоянии нашей ячейки, но это также отфильтрованная версия. Сначала мы запускаем сигмовидный слой, чтобы определить, какая часть состояния ячейки будет выводиться. Затем мы обрабатываем состояние ячейки с помощью tanh (получаем значение от -1 до 1) и умножаем его на результат сигмовидного вентиля. В конце мы выведем только ту часть, которую мы определили для вывода.
