neuroproject.ru

Dmitry

Добрый день!
Кто в написании сетей использовал в качестве активационной функции сигмоид? Поделитесь опытом!! Например, как лучше побороть проблемму с недостаточно широкой Е(f)?

Oleg Agapkin

Dmitry

Dmitry

Разве на этом форуме нет практикующих НС программистов??

siteadmin

просто видимо никто не понимает, что вы подразумеваете. Если хотите получить ответ, формулируйте вопросы четко и понятно.
Ну и не все занимаются программированием НС - многие пользуются готовыми программами.

Dmitry

Хорошо, четко и понятно.
Область значений сигмоида 0<E(f)<1. Нужно расширить E(f), например до 0<E(f)<2. Как лучше поступить?

Oleg Agapkin

Dmitry

Дело в том, что этот сигмоид в выходном слое сетки, типа обобщает результаты предидущего скрытого. Задача НС такова, что выход должен быть один, причем типичные размеры учителя [1;2). Обучение не может дать такого выхода в принципе, т.к. сигмоид выдает (0;1). Вот такая проблема.. Я вот что удумал по этому поводу:

*Можно прибавлять к выходу какой-то коэфициент как константу, заведомо меньшую чем предпологаемый выход, настраивать разницу.
*Можно сделать этот коэфициент отдельным весом и тоже подбирать в процессе обучения.
*А можно просто в числителе сигмоида 2 поставить, и все.

По каждому варианту имею сомнения. А Вы как думаете? Простите, если опять невнятно объяснил. Сильно не бейте..

П.С: еще раз - неужели никто не имел такую проблему?

Victor G. Tsaregorodtsev

Dmitry

Нормировка входов - выходов - а как это на точности отразится?

Victor G. Tsaregorodtsev

На точности чего?
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование

Oleg Agapkin

_next_

Понабросились Cool

Dmitry

Dmitry

_next_

Oleg Agapkin

_next_

Кстати вопрос - приведённая выше формула это ведь линейное масштабирование. И при ненормальном распределении данных обучающей выборки возможен вариант адаптации весов сети к единичным выбросам. Насколько корректно в таком случае масштабировать данные нелинейно, т.е. приводить их к нормальному распределению?

Oleg Agapkin

Dmitry

Присоединяюсь к вопросу _next_а. Мне лично кажется, все зависит от того, какое распределение считать нормальным для конкретно того процесса, который Вы пытаетесь представить нейросетью. Т.е. влияют ли выбросы на дальнейшее формирование данных. Если да, то ничего не поделаешь, придется учитывать. Но если попытаться сгладить их(выбросы) не умаляя, по возможности, их значения? Что, если уменьшать каждое значение на коэффициент, пропорциональный этому значению? Чем больше выброс, тем больше он обрежется. Это я конечно велосипед изобрел, но кто что об этом думает?