neuroproject.ru

evgesha

Люди я не пойму, то ли этот форум мертвый, то ли ни кто не знает ответ на мой вопрос. Поясните пожалуйста. Кто-то же заходит сюда и навернека сталкивался с алгоритмом обратного распространения. Exclamation

_________________
Бог слепил человека из глины
и остался у него неиспользованный кусок
что еще слепить тебе? - спросил бог
слепи мне счастье - попросил человек
ничего не ответил бог
только положил человеку в ладонь
оставшийся кусочек глины

Victor G. Tsaregorodtsev

Данные надо отмасштабировать в тот интервал, который сетка может выдать. Насчет работы с бесконечностью - это вы загнули, а вот любой отрезок можно спроецировать на выдаваемый сигмоидой интервал (-1,1), а потом значение выхода сети по обратной формуле можно будет перевести опять в исходную шкалу измерений.
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование

evgesha

Всмысле если я применяю сигмоидную функцию. То для требуемые результаты мне нужно тоже через сигмоид вычислить, затем вычислить ошибку между требуемым и полученным?
_________________
Бог слепил человека из глины
и остался у него неиспользованный кусок
что еще слепить тебе? - спросил бог
слепи мне счастье - попросил человек
ничего не ответил бог
только положил человеку в ладонь
оставшийся кусочек глины

Victor G. Tsaregorodtsev

Ничё не понял... (конец рабочей недели и рабочего дня). Опишите плиз предполагаемый план действий или другими словами, или поподробнее.
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование

evgesha

У меня сеть генерирует многочлен k-степени. Как мне нормировать выходную область значения если я не знаю интервал значений этого многочлена. Мне нужно нормировать входные сигналы тоже или нет?
_________________
Бог слепил человека из глины
и остался у него неиспользованный кусок
что еще слепить тебе? - спросил бог
слепи мне счастье - попросил человек
ничего не ответил бог
только положил человеку в ладонь
оставшийся кусочек глины

Victor G. Tsaregorodtsev

Сеть ничего не генерирует Класс функций, которые может реализовать нейронная сеть некоторой структуры (путем выбора тех или иных наборов значений весов синапсов), не совпадает с классом полиномиальных функций некоторой степени. Сетка просто может "провести" свою функцию через те точки, которые Вы ей дадите в качестве обучающего набора - и даже если через эти точки проходит некоторый полином, то поведение сети вне этих эталонных точек (т.е. интерполяция и экстраполяция) будет скорее всего отличаться от поведения эталонного полинома.

А что касается масштабирования данных - это имманентное для нейросетки требование, так что область значений придется как-то заранее определить (хотя-бы на наборе тех точек, которые сформируют обучающее множество данных). Входные данные нормировать скорее всего придется тоже (я не телепат и не представляю, на какой области значений аргументов будет строиться этот полином)

В общем, курите нейросетевые учебники в плане нормировки (масштабирования, предобработки) данных и описаний плохих эффектов от возникновения насыщения нелинейных функций нейронов.
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование

DmitryShm

А что, ведь можно посторить сеть, которая будет генерировать именно функции из H^n(K), где K-компакт, естественно. В качестве выхода просто давать коэффициенты полинома. Коэффициенты, как функции от свободных параметров. Разве не так?

Вот мне другой вопрос мучает... Если мы приближаем функцию на бесконечном множестве... Можно ее разложить по базису Эрмита (пространство функций X=L_(2,\sqrt{1-t^2})(U), где U не ограниченное множество). Базис эрмита --- это, помнится, бесконечное семейство ортогональных функций на Х. Является базисом Хаара. Т.е. по нему можно хорошо интегрполировать.

Внимание вопрос. Как можно хорошо сочетать то многое, что уже достигнуто в классической теории приближения, и теорию нейронных сетей, довольно мутную, если честно?

Меня на это натолкнула тема с многочленами. Например, приближать не искомую функцию, а ее (n+1)-ый отрезок разложения по базису (т.е. полином n-ой степени не по x^j, а, скажем, по T_j(x) [полином Чебышева]).

Также известны архитектуры WaveNet, т.е. на вейвлетах. Тема тесно перекликается с мультиразрешающим анализом.

Был бы благодарен, если бы вы привели удачные примеры таких вот полиномных сетей для приближения функций или решения дифференциальных или интегральных уравнений (т.е. то же приближение, только неявное).

Просто говоря про нейронные сети многие опускаются до примитивной, вообще говоря, задачи распознования. Примитивной, т.к. не требующей точности, где и сходимость по вероятности даст хороший результат. А вот в деле приближения функций, похоже, таких же хороших результатов нет.
_________________
знаю, что не знаю

Eugeen

[quote="DmitryShm"]

DmitryShm

Спасибо.

Мутными я бы назвал формулы, например, выводящие количество узлов сети в зависимости от VC-измерения исходных данных.

Ведь как все замечательно в теории равномерного приближения, например. Задал ошибку --- и получил N, количество членов разложения. Это я к примеру. Понятно, что там ограничений много.

Приближать функции уже пробовал. По Хайкину написал программы. Одну на WaveNet-ах, другую на многослойном перцептроне. Данные для обучения давал равномерно распределенные на области определении искомой функции. Сходится, но оооочень медленно. И вот, как говорите, злость тут как тут. Когда при гораздо меньших затратах на производительность мы можем почти моментом получить результат, используя классическую теорию.

Про уравнения --- более интересная история. Я решал системы интегральных уравнений Фредгольма 2-го рода (соотв. образом поставленная задача электродинамики: решение единственно и существует в нашем пространстве). Ей я приближал искомое решение. Считал ошибку на выходе сети, и давал ее модуль на МНС для BP-обучения (т.е. пытался обучать на разных по знаку ошибках и брал лучший от обучения результат). Тоже медленно сходится. Потом, как достигает определеной точности, начинает осциллировать туда-сюда без толку.

Теперь про уравнения первого рода и речи вести не хочется. Там же нет устойчивости по решению! И его может вообще не существовать! А если и существовать, то только в обобщенных функциях.

А вообще, наверное имеет смысл находить собственные вектора у исследуемых достаточно хороших операторов, и решение раскладывать по приведенному базису от векторов (по их достаточному количеству).

Вечно подстраивать НС под исходные данные жизни не хватит. Вот, может, пробовать автоматически настраиваемые НС? Посетить бы семинары по НС, пообщаться. Очень не хватает положительных опытов.

Сложно все это.
_________________
знаю, что не знаю

Victor G. Tsaregorodtsev

DmitryShm

Посмотрите обзор Pinkus A. Approximation theory of the MLP model in neural networks / Acta Numerica, 1999. - pp.143-195. Он есть (или, по крайней мере, был) в инете, дает довольно хорошее описание состояния проведения параллелей между НС и классической теорией представления и приближения функций. Хоть он и для многослойных персептронов, но многое можно перенести и на сетки, например, радиальных базисных функций.
Если не найдете - мыльните мне (мыло есть в профиле и на сайте в подписи), я вышлю (вроде помню, где он у меня на компе валяется, и поэтому думаю, что найду быстро)

evgesha

Вобщем, поняв как делать нормировку. Я написал программу, но почему то всё равно ответы сильно отличаются от настоящих. Подскажите пожалуйста где могут быть ошибки.
_________________
Бог слепил человека из глины
и остался у него неиспользованный кусок
что еще слепить тебе? - спросил бог
слепи мне счастье - попросил человек
ничего не ответил бог
только положил человеку в ладонь
оставшийся кусочек глины