| Предыдущая тема :: Следующая тема |
| Автор |
Сообщение |
kos
Новый посетитель
Зарегистрирован: 09 Июл 2007
Сообщения: 4
|
 Добавлено: Пн Июл 09, 2007 2:10 pm Заголовок сообщения: Обратное распространение ошибки. Помогите разобраться |
 |
|
Добрый день.
Вопрос такой. Сеть обучаеться только на последний пример.
Грубо говоря из 10 образов, сеть учит только последний предявляемый ей образ.
Может кто-то сталкивался с такой проблеммой? |
|
| Вернуться к началу |
|
 |
Victor G. Tsaregorodtsev
Эксперт
Зарегистрирован: 28 Июн 2005
Сообщения: 114
Откуда: Красноярск
|
| Добавлено: Вт Июл 10, 2007 10:55 am Заголовок сообщения: |
|
|
Может, программа неправильна?
Тут, вообще-то, телепатов вроде никогда замечено не было. Поэтому вопрос - а каким вообще алгоритмом сеть учится?
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование |
|
| Вернуться к началу |
|
|
kos
Новый посетитель
Зарегистрирован: 09 Июл 2007
Сообщения: 4
|
| Добавлено: Вт Июл 10, 2007 4:33 pm Заголовок сообщения: |
|
|
у читься обратным распространением ошибки.
сначала активирую сеть, пототм вычисляю ошибку и обновляю вес. |
|
| Вернуться к началу |
|
|
Victor G. Tsaregorodtsev
Эксперт
Зарегистрирован: 28 Июн 2005
Сообщения: 114
Откуда: Красноярск
|
| Добавлено: Ср Июл 11, 2007 11:29 am Заголовок сообщения: |
|
|
Алгоритм обратного распространения ошибки не есть алгоритм обучения Хотя-бы из названия это следует.
Какой именно алгоритм обучения? Попримерный с фиксированным шагом, пакетный (здесь варианты - с фиксированным шагом, с адаптивным шагом, с инерцией, RPROP, сопряженные градиенты, Левенберг-Марквардт,...)? Настройки этого алгоритма?
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование |
|
| Вернуться к началу |
|
|
kos
Новый посетитель
Зарегистрирован: 09 Июл 2007
Сообщения: 4
|
| Добавлено: Ср Июл 11, 2007 1:18 pm Заголовок сообщения: |
|
|
| Victor G. Tsaregorodtsev писал(а): | Алгоритм обратного распространения ошибки не есть алгоритм обучения Хотя-бы из названия это следует.
Какой именно алгоритм обучения? Попримерный с фиксированным шагом, пакетный (здесь варианты - с фиксированным шагом, с адаптивным шагом, с инерцией, RPROP, сопряженные градиенты, Левенберг-Марквардт,...)? Настройки этого алгоритма? |
ОГО  я начниющий. я наверное попримерный с фиксированным шагом. кстати а где можно про дургие алгоритмы почитать? я нормального описание почти нигде не встречал
настройки такие: шаг обучение(или корректировки весов) 0.1-0.5.
но во сновном 0.2.
в течении 1000 или 10000 эпох в цикле (в цикле по тому что непонятно когда остновиться). причем ошибка минимизируеться.
Обучаю я набором из 10 примеров. и я их по очереди в сеть пихаю.
у меня выход примерно такой: на всех выходах 0.009543 (ну прмерно). а на последнем 0.989343 ну то есть разница огромная...
и получаеться что сеть учит только последний поданный ей образ. |
|
| Вернуться к началу |
|
|
Victor G. Tsaregorodtsev
Эксперт
Зарегистрирован: 28 Июн 2005
Сообщения: 114
Откуда: Красноярск
|
| Добавлено: Ср Июл 11, 2007 1:40 pm Заголовок сообщения: |
|
|
Уже легче Попримерный - это хорошо (в том плане, что всё просто в плане алгоритмов и нагородить ошибок можно только в фазе обратного распространения)
Ошибка (суммарная квадратичная для 10 примеров, как я полагаю), минимизируется до каких значений?
Шаг последовательно снизьте на 1-2-3 порядка и посмотрите, как будет вести себя сеть. Если обучающие примеры образуют какую-нибудь тенденцию, то их лучше на каждой итерации подавать в новом случайном порядке (выборка в 10 примеров - очень мала, поэтому упорядочение может случиться само по себе, самопроизвольно - пусть и не для всех 10 примеров, а для их существенной части)
Из проблем, которые могут затормозить обучение (т.е. не относятся непосредственно к текущей проблеме, но в будущем для других задач могут доставить неприятности) - скорее всего неоптимальна кодировка желаемых выходов сетки. Вместо эталонных значений 0 и 1 надо взять значения -1, 1 и поставить на выход сети сумматор, а не нейрон с сигмоидной нелинейностью c диапазоном значений (0,1).
Читать - ну, учебники по нейросеткам...
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование |
|
| Вернуться к началу |
|
|
kos
Новый посетитель
Зарегистрирован: 09 Июл 2007
Сообщения: 4
|
| Добавлено: Ср Июл 11, 2007 3:43 pm Заголовок сообщения: |
|
|
| Victor G. Tsaregorodtsev писал(а): |
Читать - ну, учебники по нейросеткам...
|
А что посоветуете? просто книг много. и не все из них адекватные
Буду вечером эксперементировать |
|
| Вернуться к началу |
|
|
Victor G. Tsaregorodtsev
Эксперт
Зарегистрирован: 28 Июн 2005
Сообщения: 114
Откуда: Красноярск
|
| Добавлено: Чт Июл 12, 2007 9:09 am Заголовок сообщения: |
|
|
Осовский, Хайкин, Ежов+Шумский, Рутковская+Пилиньский+Рутковский
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование |
|
| Вернуться к началу |
|
|
DmitryShm
Участник форума
Зарегистрирован: 09 Апр 2006
Сообщения: 33
Откуда: Россия, Казань
|
| Добавлено: Вс Июл 29, 2007 12:06 pm Заголовок сообщения: Хайкин хорош |
|
|
Саймон Хайкин хорош, но в русском переводе опечаток много. Но если быть в теме, то они легко ищутся, т.к. абсурд местами... В формулах даже.
_________________
знаю, что не знаю |
|
| Вернуться к началу |
|
|
Victor G. Tsaregorodtsev
Эксперт
Зарегистрирован: 28 Июн 2005
Сообщения: 114
Откуда: Красноярск
|
| Добавлено: Пн Июл 30, 2007 10:28 am Заголовок сообщения: Re: Хайкин хорош |
|
|
| DmitryShm писал(а): | | Саймон Хайкин хорош, но в русском переводе опечаток много. Но если быть в теме, то они легко ищутся, т.к. абсурд местами... В формулах даже. |
В первом варианте перевода опечаток было действительно много. Я даже у себя на сайте выложил список опечаток для первой половины книги) - см. www.neuropro.ru/memo41.shtml
Потом издательство выпустило исправленный вариант (может, даже на основе моего списка опечаток) - про его качество не знаю.
Насчет абсурда - не уверен, внимательно просмотренные 6.5 глав книги (дальше так за 1.5 года и не добрался) почти без бреда в тексте и формулах (очень часто присутствующий иной шрифт у отдельных переменных в формулах и тексте - кривизна самого набора текста при переводе).
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование |
|
| Вернуться к началу |
|
|
|
FAQ
Поиск
Пользователи
Группы
Регистрация
Профиль
Войти и проверить личные сообщения
Вход
