neuroproject.ru

[Валера]

Доброго времени суток!
Прошу прощения за дилетантский вопрос! Я только начинаю изучение нейронных сетей. У меня возник вопрос. Для прогнозирования, например цены акции, у меня есть такие данные как: цена открытия, цена закрытия, максимум за день, минимум за день, … допустим мне необходимо прогнозировать цену закрытия, по пяти предыдущим значениям временного ряда. Получается мне необходимо создать нейронную сеть с пятью входами. Но в этом случае я использую только временной ряд соответствующий цене закрытия. Как мне привязать к данному прогнозированию, например, объем продаж за день, получается на вход нейронной сети нужно подавать еще пять значений соответствующие объемам продаж за предыдущие пять дней и теперь моя нейронная сеть будет с 10 входами? Если я добавлю еще одну переменную, у меня будет 15 входов? я надеюсь понятно изложил свой вопрос? Еще раз прошу прощение за дилетантский вопрос? Заранее спасибо за ответы!

[Victor G. Tsaregorodtsev]

Да, именно так.
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование

[Валера]

У меня в процессе изучения нейросетевых технологий, а именно примению их к прогнозированию, возник вопрос связанный с предобработкой данных.
Прогнозируя котировки ценных бумаг, в качестве входных переменных можно использовать большое количество рыночных показателей, индексов, … однако это влечет за собой значительное увеличение количества входов в нейронной сети, при этом с увеличением количества входов падает точность прогноза … Подскажите, пожалуйста, как оценить качество временного ряда, для того чтобы исключить наименее важную для прогноза информацию?
На данный момент я построил таблицу коэффициентов парной корреляции, для всех входных переменных, с ее помощью я отбрасываю статистически зависимые переменные. В Интернете находил статью о том, что можно измерять стационарность и непротиворечивость временных рядов, если кто-нибудь работал с этими показателями, опишите, пожалуйста, как с ними работать. Заранее большое спасибо за помощь!

[Victor G. Tsaregorodtsev]

О стационарности на фин.рынках забудьте - инфляция, знаете ли...
Непротиворечивость - а что это? В смысле, можно ли определить непротиворечивость здесь не как субъективную категорию, а как допускающую корректное математическое измерение (неинформативность показателя для прогноза другого показателя - это одно, а вот непротиворечивость...).
Касательно отбора показателей - разработано дофига методов feature selection. Хотя, конечно, придется немножко поизвращаться - описания и готовый софт преимущественно рассчитаны на отдельные независимые переменные, а не на временные ряды (когда информативных лагов в ряде может быть несколько и когда они расположены может быть даже с включением промежуточных неинформативных лагов). Но и для временных рядов было тоже многое сделано именно с учетом подобной специфики. А вот парные корреляции не учитывают временной сдвиг влияния одной переменной на другую (когда влияние проявляется через несколько моментов времени) - надо смотреть значимые лаги на корреляционных функциях между двумя временными рядами.
Нейросетка же лишнюю информацию, подсунутую ей на вход, и не будет реально использовать, если вся остальная информация будет достаточной для прогнозирования нужной величины с нужной точностью. А вот если информативных переменных нет - то и начнется запоминание всяких ложных корреляций и шумов в неинформативных переменных для того, чтобы точность прогноза при обучении хоть как-то вытянуть. Если лень выкидывать неинформативные признаки до обучения сети - то можно обучить сетку на всей помойке информации и потом попросить сетку откинуть незначимые, по её мнению, сигналы (методы упрощения обученных нейросеток допускают редукцию избыточных входов).
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование

[Валера]

У меня появилось еще несколько вопросов связанных с все той же предобработкой обучающей выборки.
В процессе изучения литературы по данной теме часто встречаю понятие энтропии, как величины определяющей информативность временного ряда. На сколько я знаю эта энтропия рассчитывается по следующей формуле: -SUM(Pi*Log(Pi)), но данная формула рассчитывает энтропию для каждого признака в обучающей выборке в отдельности. Как рассчитать общую энтропию для всей обучающей выборки, и нужно ли это вообще (может нужно добиваться максимума энтропии для каждого признака из обучающей выборки индивидуально, и в следствии достичь максимума энтропии для всей обучающей выборки)? Если кто-нибудь работал над этим вопросом, подскажите, пожалуйста!
Еще один вопрос! Кто-нибудь сталкивался с расчетом выборочной константы Липшица, не могу понять, как применить формулу для ее расчета. Подскажите пожалуйста!
Заранее большое спасибо, за помощь!

[Victor G. Tsaregorodtsev]

Для энтропии от нескольких переменных (т.е. всех переменных на входе сети) тоже есть формула (множественная условная энтропия). Максимизация энтропий отдельных признаков в контексте задачи прогнозирования представляется мне совершенно неправильной, как и максимизация общей энтропии вообще. О константах Липшица - что вообще читали, у меня на сайте статью смотрели?

А вообще-то, "всё уже украдено до нас" - скорее всего в Вашей задаче другие люди пробовали разные варианты, и если более-менее точный прогноз получается практически лобовым решением на готовом софте без всяких хитрушек, то прекрасно. Как, много по Вашим сведения успешных решений задачи прогноза нужных Вам фин. инструментов с помощью нейросетей? А если прогноз не получается - то очень часто никакими шаманскими плясками с бубном приемлемую точность не получить (т.к. исходно большая неточность требует её последующего снижения примерно на порядок, а не в пару раз, т.к. улучшения в пару раз бывает недостаточно) и надо не к сети бантики привязывать, а иначе задачу ставить.
И т.к. предобработка практически никак точность и не улучшает - то не там сейчас заостряете внимание.
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование

[Валера]

Извините, но если верить книге Ежова А.А. и Шумского С.А. "Нейрокомпьютинг и его применения в экономике и бизнесе" именно от качества предобработки в большей степени зависит качество прогноза.

А на чем собственно заострять внимание если не на этом? Посоветуйте, пожалуйста?

Именно по вашим статьям я и узнал о константе Липшица, после этого искал более подробного описания формулы, везде тоже самое. Если у вас есть какой нибудь пример, пришлите пожалуйста мне на почту!

На счет энтропии, спасибо за подсказку, попробую применить!

[Victor G. Tsaregorodtsev]

Значит, у нас с Ежовым-Шумским противоположные мнения
Мое мнение таково - предобработка влияет на точность во многом опосредованно, если неудачная предобработка приводит именно к неоптимальным внутренним свойствам сети. Если внутренние свойства сетей (отражаются несколькими скалярными индикаторами - тем же NIC-критерием Мураты и Амари) сопоставимы при разных предобработках, то и точность сетей будет сопоставима тоже.

Я, честно говоря, не понимаю, почему максимизации энтропии и иже с ними не использовались и не используются в методах полиномиальной регрессии, МГУА и т.д. - в предложенных еще до нейросеток методах построения нелинейных зависимостей для задач прогноза и классификации. Да и модным SVMам это тоже не нужно. Наверно, потому, что предобработка в нейросетках влияет в первую очередь на алгоритм обучения градиентным методом оптимизации (методом обратного распространения ошибки), и вот как раз для этого и требуется центрирование признаков и декорреляция (чтобы уменьшить обусловленность матрицы Гессе нейросетки). Т.е. если взяли нейросетки с обратным распространением - то и приходится обращать внимание на те вещи, которые другим методам пофигу.

Что вспоминается здесь из классической теории аппроксимации, применимо на практике и проецируется на нейросети - это эффект Гибба для задачи аппроксимации гармоническими рядами (там чем более крутую "ступеньку" надо приблизить - тем больше членов ряда надо брать, а это ухудшает в итоге интер- и экстраполирующие свойства модели), подобное же для полиномиальной аппроксимации, Тейлора и т.д. Т.е. чем больше локальный всплеск функции - тем бОльший размер сети нужен для достижения той же самой точности на обучающей выборке, хуже интер- и экстраполяция, затруднительнее на малой сети найти при обучении глобальный минимум и не попасть в локальный.
А вот как раз энтропия на локальные особенности аппроксимируемой функции внимания-то и не обращает.

С Липшицем тоже надо аккуратно общаться - чтобы уменьшение максимальной производной аппроксимируемой функции не привело к децентрированию признака (децентрирование может снизить эффект от предобработки)

В общем, если экспериментов еще не начинали или балуетесь еще с определением нужного числа входов сети - возьмите простую предобработку путем центрирования и масштабирования к единичной сигме каждого признака. Уверяю - как начнете обучать сетки, то получите гораздо более важные вопросы и проблемы, чем улучшение предобработки по сравнению с указанной.
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование