neuroproject.ru

[foraxel]

Есть вот такая задача:
Сформируем некую хаотическую систему
x[0]=rand(1) - нач.условие, выбирается случайно из диапазона 0..1
x[k]=4*x[k-1]*(1 - x[k-1]), для k=1..N, N=10..100 тыс.;
назовем этот ряд r1 = {x[0],..,x[N]};


Возьмем Feedforward NN например с топологией: 10-10-1
т.е. 3 слоя, в первом 10 нейронов, во втором 10 нейронов, в последнем 1 нейрон.
Будем обучать нейросеть на предсказание будущего значения r1 по предудущим двум значениям, на вход сети будем подавать вектор (x[n-2],x[n-1]), на выход x[n].
Легко убедится, что при заданных условиях нейросеть легко раскусит внутренние правила ряд r1 и на CrossValidation покажет хороший результат.


Возьмем теперь ряд r2, который представляет собой сумму двух рядов r1 с разными нач. условиями.
Нейросеть также справится и с этой задачей, но время на обучение потребуется больше.


Возьмем теперь ряд r5, который представляет собой сумму 5 рядов r1 с разными нач. условиями.
Нейросеть не может раскусить правила r5.


Вопрос: как изменить топологию сети или вектор входных данных или метод обучения, чтобы нейросеть была способна раскусить этот "черный ящик", состоящий из суммы 5 элементарнейших систем.


Я без особого успеха попробовал следующее:
- увеличивал кол-во нейронов (хорошо что длину ряда мы задаем здесь сами)
- увеличивал кол-во лагов (размерность входного вектора)
- использовал GANN (весовые коэф-ты подбирались генетическим алгоритмом)
- поробовал различные топологии



Мне не понятно, почему нейросеть не может раскусить правила достаточно простой нелинейной динамической системы, т.е. хочу понять, что я делаю не так, понять как влияет топология сети, способ ее обучения, состав входной информации на способности сети.



Привожу код скрипта для матлаба для генерации ряда r5:

[_next_]

А вы не пытайтесь прогнозировать значение, с сигналами с наличием определённой стационарности это работает, с более сложными процессами - нет, что вобщем вы сами и подтвердили, остаётся только прогноз направления, по крайней мере с теми инструментами которые вы используете..

[foraxel]

[Victor G. Tsaregorodtsev]

foraxel

Так посчитайте всяких там Херстов и корреляционную размерность - хоть какие-то оценки свойств ряда будут понятны. Сколько значимых лагов на автокорреляционной и частной автокорреляционной функциях r5 (т.е. стационарен ли этот ряд вообще?)? График изменения выборочной оценки константы Липшица с ростом глубины погружения тоже не помешал бы.

И вообще, что понимается под невозможностью прогноза r5? какие среднеквадратичные ошибки обучения и обобщения достигаются?
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование

[foraxel]

[Victor G. Tsaregorodtsev]

100 тыров отсчетов - достаточно и даже скорее всего запредельно.

Липшиц: перебором всех сочетаний пар примеров находим максимум отношения нормы разности выходных векторов (в Вашем случае - скаляров прогнозируемых величин) к норме разности входных векторов (лаговых векторов). Показывает, фактически, насколько различаются значения требуемых прогнозов в близких точках фазового пространства (именно при близости в фазовом пространстве, а не во времени - поэтому и перебираются не соседние пары точек вдоль оси времени, а все возможные пары). И с ростом глубины погружения в какой-то момент может уйти это требование противоречащих прогнозов в близких точках. А при заданном числе лагов если смотреть не на максимум, а на некоторый набор (несколько десятков или сотня) самых максимальных значений, то видно, насколько вообще часто требование к выдаче "противоречащих" прогнозов. Ну и явные противоречия в выборке при таких расчетах поймаются - когда входные вектора у пары примерв одинаковы, а требуются разные прогнозы. Т.е. хоть и долго считать для больших выборок (время расчетов квадратично по числу примеров), но получается более детальная и полезная информация, чем при расчете всяких разных ляпуновских показателей и оценках горизонта прогноза.

Сорри за сумбурность - тут крыша у меня не просто летает, а прямо фигуры высшего пилотажа выписывает

Честно говоря, мне самому непонятно, почему нейросетка не может обучиться на r5 - с ростом размера сети она хоть что запомнит, попробуйте хоть до двух-трех-пяти десятков нейронов в скрытом слое размер сетки увеличить. Все мои предположения - теряется вообще вся динамика, процесс становится полностью шумоподобным и наблюдаемые визуально аттракторы - это просто химера.
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование

[foraxel]

[Victor G. Tsaregorodtsev]

Что-то я действительно торможу не по-детски. Херст=0.5 - это формально "чистый" коричневый шум, и я бы все-таки не стал считать его стационарным процессом (если глядеть на отрезки в 200-500 точек, то скорее всего будет относительно часто наблюдаться нестационарность среднего еще более мелких отрезков).

Попробуйте в качестве пробы обучить-спрогнозировать ряд первых разностей - если будет существенно лучше, то всё-таки значит исходному ряду r5 мешает именно низкочастотная часть спектра (нестационарность). А порождение рядов r6, r7 и так может привести к еще большему почернению спектра и превращению этих рядов в ряды случайных блужданий (Херст будет расти выше 0.5). Как, кстати, меняется Херст от r1 к r5?
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование

[_next_]

[Victor G. Tsaregorodtsev]

[foraxel]

[_next_]

Тогда незнаю, значит простого погружения в лаговое пространство недостаточно для описания ряда такой сложности, есть же много методов мат.описания, та же скорость изменения например, или каждый 10 отсчёт, чтобы выявить скрытую динамику.. Да и опять же прогнозировать значение, имхо, Сизифов труд..