neuroproject.ru

[DmitryShm]

Здравствуйте. У меня вопрос по применению простейших нейронных сетей.

Сейчас занимаюсь написанием программы для численного решения системы из двух интегральных уравнений типа Фредгольма 2-го рода. Т.е. поставлена краевая задача (теоретически имеющая единственное решение). Только аналитически его получить не удастся. Задача, как водится, имеет несколько параметров (около 10). Решение ищется перцептроном и WaveNet-ами на базе двухмерных вейвлетов.

В случае перцептрона решение ищется так...

Пусть наше уравнение записывается в операторном виде, как Af=0. A: C(K)->C(R^2). K\in R^2 компакт. f ищется в виде f(x)=p(q(x)), где q:K->[-1,1], p:[-1,1]->R^2. Причем, p и q имеют голоморфные продолжения в комплексное C^2 в соответствующих областях. q ищется приближается перцептроном с активационной функцией Th(x). Т.е. решение ищется в виде tg(Pi/2 q(x)) == tg(Pi/2 th(..)). Т.е. по идее это и есть нужное отображение. Осталось приблизить q..

Каждый раз, когда я меняю параметры задачи, мне приходится подстраивать сеть, по-другому ее инициализировать, иначе используемый мною алгоритм обратного распространения ошибки не сходится. Ошибкой сети в данном случае полагается соответствующее отклонение от тождества этих двух уравнений. Очень уж часто перцептрон не находит решение, устремляя свою ошибку в бесконечность.

Необходимо подстраивать саму емкость сети (увеличивая ее размеры), параметр скорости обучения, мощность обучающей выборки (равномерно распределенная на отрезке [0,1] случайная величина генерирует точки на контуре (тоже равномерно по нему распределенные), эти точки подставляются в уравнение, и считается ошибка сети).

Какие алгоритмы и архитектуры нейронных сетей использовать, чтобы избежать таких проблем? Что прочитать? Имеется единажды прочитанная книга Саймона Хайкина. Кажется, придется еще раз ее почитать (постоянно держу ее рядом с собой). Также имеется книжка Терехова+Ефимова+Тюкина "Нейросетевые системы управления" тоже прочитанная, но бегло.

И еще... Я совсем новичек как в нейронных сетях, так и в математике. МехМат Казанского ГосУниверситета, выпуск этого года. Из наших учителей никто нейронками не занимается. А мне вот показалось интересным.
_________________
знаю, что не знаю