Список форумов neuroproject.ru neuroproject.ru
Форум сайта компании НейроПроект
 
 FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 

Нормирование обучающего множества

 
Начать новую тему   Ответить на тему    Список форумов neuroproject.ru -> Нейронные сети
Предыдущая тема :: Следующая тема  
Автор Сообщение
Eugeen
Эксперт
Эксперт


Зарегистрирован: 15 Ноя 2005
Сообщения: 66
Откуда: Москва

СообщениеДобавлено: Ср Авг 15, 2007 7:52 am    Заголовок сообщения: Нормирование обучающего множества Ответить с цитатой

Господа! У меня к Вам вопрос.
При аппроксимации набора функций одной НС я обычно произвожу нормирование обучающего множества к диапазону -1<=Y<=+1 и для аксона использую гиперболический тангенс. Для сравнения я попробовал номировку 0<=Y<=+1 с целью уже использовать для аксона сигмоид. Получаемый результат оказывается заметно хуже по конечной точности аппроксимации хотя структура и размер НС одинаков и вся процедура обучения идентична..
Все данные обучающего множества исходно строго положительны.
Чем может объясняться такое поведение НС?
_________________
Мелочи не играют решающей роли. Они решают все.
"Жизнь среди акул", Х. Маккей.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
Victor G. Tsaregorodtsev
Эксперт
Эксперт


Зарегистрирован: 28 Июн 2005
Сообщения: 114
Откуда: Красноярск

СообщениеДобавлено: Ср Авг 15, 2007 11:18 am    Заголовок сообщения: Ответить с цитатой

А тангенс - это не сигмоид? Говорите - биполярный сигмоид (тангенс) и униполярный.
Классическая проблема (по крайней мере, для алгоритмов обучения) - нецентрированные (на входе сети, на выходе, на нейронах скрытых слоев) данные приводят к замедлению сходимости процесса обучения (и для тангенса была больше вероятность иметь средние значения сигналов ближе к нулям, чем для униполярных сигмоид). Поэтому просто во втором случае сетка может хуже обучилась (если число эпох обучения априорно ограничивалось).
Точности обучения в обоих случаях - в студию! Желательно - в виде статистики по нескольким случаям обучения сеток для одного и другого варианта нейронов (а то может быть, что плохие алгоритмы обучения или ошибки в программировании просто негативно проявились во втором случае)
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Eugeen
Эксперт
Эксперт


Зарегистрирован: 15 Ноя 2005
Сообщения: 66
Откуда: Москва

СообщениеДобавлено: Ср Авг 15, 2007 11:52 pm    Заголовок сообщения: Ответить с цитатой

[quote="Victor G. Tsaregorodtsev"]
Цитата:
А тангенс - это не сигмоид? Говорите - биполярный сигмоид (тангенс) и униполярный
.
Это я для краткости. Вы же поняли суть!

Цитата:
Классическая проблема (по крайней мере, для алгоритмов обучения) - нецентрированные (на входе сети, на выходе, на нейронах скрытых слоев) данные приводят к замедлению сходимости процесса обучения (и для тангенса была больше вероятность иметь средние значения сигналов ближе к нулям, чем для униполярных сигмоид). Поэтому просто во втором случае сетка может хуже обучилась (если число эпох обучения априорно ограничивалось).

Интересно, если не ограничивать число эпох, а задавать конечную точность, результат должен быть одинаков? Надо проверить.

Цитата:
Точности обучения в обоих случаях - в студию! Желательно - в виде статистики по нескольким случаям обучения сеток для одного и другого варианта нейронов (а то может быть, что плохие алгоритмы обучения или ошибки в программировании просто негативно проявились во втором случае)

Я пользую NEUROSOLUTION 5.06, думаю алгоритмы на уровне, но как говориться, доверяй но проверяй! Причем пробовал все. которые там "зашиты". Таблицы для обучения достаточно представительные. Для Cross Validation использую 20% данных, для тестирования результата - 10%, остальные 70% - для обучающего набора.
Конечно хорошо бы сравниться по расчетам с другой программой. Тем более, что оба тестовых набора (как в упорядоченном так и в рандомизированном виде) насчитаны в обычнои формате *.txt, который легко "засасывается в другие форматы (напр. в *.xls).
Интересно кому-нибудь (извините за наглость) попробовать свои проги на этих наборах и сравнить результаты с NEUROSOLUTION ?
_________________
Мелочи не играют решающей роли. Они решают все.
"Жизнь среди акул", Х. Маккей.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
DmitryShm
Участник форума
Участник форума


Зарегистрирован: 09 Апр 2006
Сообщения: 33
Откуда: Россия, Казань

СообщениеДобавлено: Чт Авг 16, 2007 3:43 pm    Заголовок сообщения: давайте Ответить с цитатой

Я был бы непрочь получить эти наборы данных для проверки своих программ, когда время появится.
_________________
знаю, что не знаю
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов neuroproject.ru -> Нейронные сети Часовой пояс: GMT + 4
Страница 1 из 1

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах


Rambler's Top100 Rambler's Top100