Персептрон

Контенус

Персептрон вдохновлен обработкой информации одной нервной клеткой (называемой нейроном). Нейрон принимает входные сигналы через свой аксон, который передает электрический сигнал в тело клетки. Дендриты передают сигнал к синапсам, которые представляют собой соединения дендритов одной клетки с аксонами других клеток. В синапсе электрическая активность преобразуется в молекулярную (молекулы нейромедиатора пересекают синаптическую щель и связываются с рецепторами). Молекулярная связь вырабатывает электрический сигнал, который передается на аксон соединенных клеток.

Целью обработки информации в этом методе является моделирование заданной функции путем изменения внутренних весов входных сигналов для получения ожидаемого выходного сигнала. Система обучается с использованием метода обучения с учителем, при котором ошибка между выходными данными системы и известными ожидаемыми выходными данными представляется системе и используется для изменения ее внутреннего состояния. Состояние поддерживается набором весов входных сигналов. Веса используются для представления абстракции отображения входных векторов в выходной сигнал для примеров, которым система подвергалась во время обучения.

Персептрон состоит из структуры данных (весов) и отдельных процедур формирования и применения структуры. Структура на самом деле представляет собой просто вектор весов (по одному для каждого ожидаемого входа) и член смещения.

Следующий алгоритм обеспечивает псевдокод для изучения персептрона. Вес инициализируется для каждого входа плюс дополнительный вес для постоянного смещения, которое почти всегда установлено на 1,0. Активация сети при заданном входном шаблоне рассчитывается следующим образом:

где n — количество весов и входов, x_ki — k-й атрибут i-го входного шаблона, а w_bias — вес смещения. Веса обновляются следующим образом:

где w_i — i-й вес в моменты времени t и t+1, α — скорость обучения, e(t) и a(t) — ожидаемый фактический результат в момент времени t, а x_i — i-й вход. Этот процесс обновления применяется к каждому весу по очереди (а также к весу смещения с его входом).

Персептрон можно использовать для аппроксимации произвольных линейных функций и для решения задач регрессия или классификации. Персептрон не может изучить нелинейное сопоставление между входными и выходными атрибутами. Проблема XOR — классический пример проблемы, которую персептрон не может изучить.

Входные и выходные значения должны быть нормализованы таким образом, чтобы каждый x находился в [0; 1]. Скорость обучения α в [0; 1] контролирует количество изменений, которые каждая ошибка вносит в систему, распространены более низкие значения обучения, такие как 0,1. Веса можно обновлять в режиме онлайн (после воздействия каждого входного шаблона) или в пакетном режиме (после наблюдения фиксированного количества шаблонов). Пакетные обновления должны быть более стабильными, чем онлайн-обновления для некоторых сложных проблем.

Вес смещения используется с постоянным входным сигналом для обеспечения стабильности процесса обучения. Ступенчатая передаточная функция обычно используется для передачи активации в двоичное выходное значение 1<–активация ≥ 0, иначе 0. Рекомендуется подвергать систему входным шаблонам в другом случайном порядке для каждой итерации. Начальные веса обычно представляют собой небольшие случайные значения, обычно в [0; 0,5].