neuroproject.ru

[Куркин Дмитрий]

Попробовал создать собственную сеть. Вроде получилось (имеется ввиду только способность сети выдавать корректные выходные значения на входные данные). Когда дело доходит до обучения, ничего не получается: все веса изменяются циклически: сначала слегка растут, потом также слегка уменьшаются, в итоге остаются примерно одинаковыми - процесс обучения никогда не заканчивается (так как ошибка на выходе при этом всегда остаётся огромная). У меня есть подозрения, что заданы некорректные обучающие выборки:
x1=[1, 0, 0, 0] y1=[1, 0]
x2=[0, 1, 0, 0] y1=[1, 0]
x3=[0, 0, 1, 0] y1=[0, 1]
x4=[0, 0, 0, 1] y1=[0, 1] при конфигурации сети: 4-3-2 для одного случая и:

x1=[0, 0] y1=[0]
x1=[0, 1] y1=[1]
x1=[1, 0] y1=[1]
x1=[1, 1] y1=[0] при конфигурации сети 2-2-1 для другого.
Что делать? Мож кто с этим уже сталкивался?

[siteadmin]

данные нормальные. учиться должно идеально.
видимо вам надо поотлаживать алгоритм.
если с алгоритмом все ок, то может надо поиграть с параметрами обучения?(уменьшить скорость и тд)
вообще напишите поподробнее что вы делали(какие передаточные ф-ии, нормировка входов и тд)

[Куркин Дмитрий]

Насколько я понял, для указанных обучающих выборок нормировка не требуется. Скорости обучения брал следующие: 0.05, 0.1, 0.2 (т.е. маленькие). Передаточная функция: униполярный сигмоид (out = 1 / (1 + exp(-sum))), где sum это взвешенная сумма входов (пробовал как с учётом постоянного входа +1, так и без). Кстати, я так и не понял, нужен этот постоянный вход или нет (в некоторых источниках он используется, в некоторых - не используется). Веса изменял по формуле с моментом (той, где учитывается изменение веса на предыдущей итерации).

[siteadmin]

постоянный вход нужен, так как задает постоянное смещение.
скорость лучше поставить 0.01
а какую величину момента вы ставили?

[Куркин Дмитрий]

Момент (в формулах он зовётся [mu:]) брал равным 0.1 - 0.5. Он оказывался как больше так и меньше коэффициента обучения (скорости).

[Oleg Agapkin]

Тут дело не в обучающих выборках.
1) Ничего сложного в данных, действительно, нет.
2) Даже если бы данные были случайными, в конкретном случае приведенные вами конфигурации их бы просто запоминали.

Я попробовал загрузить ваши данные в NeuroShell, сети именно такие, какие вы указывали. Сети обучаются за неисчислимо малое время со 100% верным результатом.

Поэтому тут дело скорее в неверно реализованном алгоритме обратного распространения.

[dmitrdv]

[Куркин Дмитрий]

А вообще, как должны вести себя выходы сети после одной итерации алгоритма? Я имею ввиду, значения выходов должны стать чуть ближе к значениям, заданным обучающей выборкой или это не обязательно? В моём случае они крутились вокруг каких-то промежуточных значений. Впечатление такое, что им что-то не давало изменяться дальше.

[Victor G. Tsaregorodtsev]