|
neuroproject.ru Форум сайта компании НейроПроект
|
| Предыдущая тема :: Следующая тема |
| Автор |
Сообщение |
Eugeen Эксперт

Зарегистрирован: 15 Ноя 2005 Сообщения: 66 Откуда: Москва
|
Добавлено: Ср Авг 15, 2007 7:52 am Заголовок сообщения: Нормирование обучающего множества |
|
|
Господа! У меня к Вам вопрос.
При аппроксимации набора функций одной НС я обычно произвожу нормирование обучающего множества к диапазону -1<=Y<=+1 и для аксона использую гиперболический тангенс. Для сравнения я попробовал номировку 0<=Y<=+1 с целью уже использовать для аксона сигмоид. Получаемый результат оказывается заметно хуже по конечной точности аппроксимации хотя структура и размер НС одинаков и вся процедура обучения идентична..
Все данные обучающего множества исходно строго положительны.
Чем может объясняться такое поведение НС? _________________ Мелочи не играют решающей роли. Они решают все.
"Жизнь среди акул", Х. Маккей. |
|
| Вернуться к началу |
|
 |
Victor G. Tsaregorodtsev Эксперт

Зарегистрирован: 28 Июн 2005 Сообщения: 114 Откуда: Красноярск
|
Добавлено: Ср Авг 15, 2007 11:18 am Заголовок сообщения: |
|
|
А тангенс - это не сигмоид? Говорите - биполярный сигмоид (тангенс) и униполярный.
Классическая проблема (по крайней мере, для алгоритмов обучения) - нецентрированные (на входе сети, на выходе, на нейронах скрытых слоев) данные приводят к замедлению сходимости процесса обучения (и для тангенса была больше вероятность иметь средние значения сигналов ближе к нулям, чем для униполярных сигмоид). Поэтому просто во втором случае сетка может хуже обучилась (если число эпох обучения априорно ограничивалось).
Точности обучения в обоих случаях - в студию! Желательно - в виде статистики по нескольким случаям обучения сеток для одного и другого варианта нейронов (а то может быть, что плохие алгоритмы обучения или ошибки в программировании просто негативно проявились во втором случае) _________________ www.neuropro.ru - нейросети, анализ данных, прогнозирование |
|
| Вернуться к началу |
|
 |
Eugeen Эксперт

Зарегистрирован: 15 Ноя 2005 Сообщения: 66 Откуда: Москва
|
Добавлено: Ср Авг 15, 2007 11:52 pm Заголовок сообщения: |
|
|
[quote="Victor G. Tsaregorodtsev"] | Цитата: | | А тангенс - это не сигмоид? Говорите - биполярный сигмоид (тангенс) и униполярный | .
Это я для краткости. Вы же поняли суть!
| Цитата: | | Классическая проблема (по крайней мере, для алгоритмов обучения) - нецентрированные (на входе сети, на выходе, на нейронах скрытых слоев) данные приводят к замедлению сходимости процесса обучения (и для тангенса была больше вероятность иметь средние значения сигналов ближе к нулям, чем для униполярных сигмоид). Поэтому просто во втором случае сетка может хуже обучилась (если число эпох обучения априорно ограничивалось). |
Интересно, если не ограничивать число эпох, а задавать конечную точность, результат должен быть одинаков? Надо проверить.
| Цитата: | | Точности обучения в обоих случаях - в студию! Желательно - в виде статистики по нескольким случаям обучения сеток для одного и другого варианта нейронов (а то может быть, что плохие алгоритмы обучения или ошибки в программировании просто негативно проявились во втором случае) |
Я пользую NEUROSOLUTION 5.06, думаю алгоритмы на уровне, но как говориться, доверяй но проверяй! Причем пробовал все. которые там "зашиты". Таблицы для обучения достаточно представительные. Для Cross Validation использую 20% данных, для тестирования результата - 10%, остальные 70% - для обучающего набора.
Конечно хорошо бы сравниться по расчетам с другой программой. Тем более, что оба тестовых набора (как в упорядоченном так и в рандомизированном виде) насчитаны в обычнои формате *.txt, который легко "засасывается в другие форматы (напр. в *.xls).
Интересно кому-нибудь (извините за наглость) попробовать свои проги на этих наборах и сравнить результаты с NEUROSOLUTION ? _________________ Мелочи не играют решающей роли. Они решают все.
"Жизнь среди акул", Х. Маккей. |
|
| Вернуться к началу |
|
 |
DmitryShm Участник форума

Зарегистрирован: 09 Апр 2006 Сообщения: 33 Откуда: Россия, Казань
|
Добавлено: Чт Авг 16, 2007 3:43 pm Заголовок сообщения: давайте |
|
|
Я был бы непрочь получить эти наборы данных для проверки своих программ, когда время появится. _________________ знаю, что не знаю |
|
| Вернуться к началу |
|
 |
|
|
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах
|
|