Развитие нейронных сетей. Правило Хебба.

Сегодня я бы хотел чуть больше рассказать об обучении нейронных сетей и одном простейшем, но, тем не менее, практическом примере задачи классификации. Простейшей задачей классификации является классификация по двум классам.

Для тех, кто не знает, поясним, что персептрон Розенблатта был разработан с целью классификации изображений и состоял из фотоэлементов, которые вырабатывали логические 0 или 1 в зависимости от того, попал на них сигнал или нет. Выходные сигналы фотоэлементов в конечном итоге суммировались (как и в искусственном нейроне). Получив сумму, можно было ее сравнить с пороговым значением и в случае необходимости произвести корректировку сумматора.

rosenblatt

Но каким образом выполнять корректировку (переобучение)? Одним из самых простых и понятных способов переобучения стало так называемое Правило Хебба. Для начала опишем его работу применительно к нейронным сетям, а потом приведем небольшую историческую справку.

Как выполнить обучение перспетрона? Предположим у нас есть обучающая выборка, состоящая из объектов обоих классов. Мы предоставляем персептрону сначала один объект, смотрим на выходной сигнал. Пусть 0 соответствует первому классу, а 1 – второму классу. Если выходной сигнал правильный (то есть на входе был действительно объект класса 0 или 1), то берем второй объект и завершаем обучение. Но если сигнал неверен? необходимо выполнить корректировку весов. И тут возможны два варианта:

1). Выходной сигнал неверен и равен нулю — нужно увеличить веса всех активных входов, добавив к каждому величину входного сигнала, т.е.

Wj(t+1) = Wj(t) + Xj

Данное правило было названо первым правилом Хебба.

2). Выходной сигнал неверен и равен единице – нужно уменьшить веса всех активных входов, отняв от каждого величину входного сигнала, т.е.

Wj(t+1) = Wj(t) – Xj

Это правило по аналогии стало вторым правилом Хебба.

Если после корректировки весов результат оказался верным, то повторная корректировка не требуется. Мы либо завершаем обучение, либо берем следующий объект из обучающей выборки.

В дальнейшем на практике чаще использовалось видоизмененное правило Хебба, записанное в общей форме – дельта-правило. В этом случае мы сначала определяем разницу между нужным выходным сигналом и реально полученным:

 

E = D – Y, где

E – полученная ошибка.

D – нужное значение на выходе

Y – полученное значение на выходе.

 

Далее все выполняется по тому же принципе за исключением того, что к прежнему весу прибавляется не просто значение активного входного сигнала, а величина ∆W = E*Xj.

Дональд Хебб был физиологом и нейропсихологом.

hebb

Он занимался вопросами понимания значения нейронов в познавательном процессе человека. В его знаменитой работе 1949 года «Организация поведения» он и привел свое знаменитое высказывание:

Предположим, что постоянная или повторяющаяся реверберация возбуждения (его «отзвук») вызывает в клетках долговременные изменения, которые усиливают стабильность такого процесса. Это предположение можно точно сформулировать следующим образом: «Если аксон клетки А расположен достаточно близко, чтобы возбудить клетку Б, и постоянно или многократно участвует в активации последней, то в одной или обеих клетках происходят процессы роста или обменные изменения, в результате которых усиливается активирующее действие клетки А на клетку Б».

 

То есть Хебб утверждает, что изменения активности нейронов зависит от силы синаптической связи. Математики применительно к нейронным сетям сильно изменили правило Хебба в его изначальной трактовке. В книге Хебба говорится только о влиянии клетки А на клетку Б, но никак не о взаимном изменении. Возможно, что такое упрощение было обоснованным.

Тем не менее правило Хебба дало толчок к созданию новых методов обучении и в частности – к появлению метода обратного распространения ошибки.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *