neuroproject.ru

Fyodor

Мой второй вопрос в дополнение к этому в следующем:

На что влияет 1) количество слоев и 2) количество нейронов в слое?

Я так понял, что 2-е влияет на правильность сдвига и крутости выходной функции, которая представляет собой многомерную плоскость ответов, зависящую от входных сигналов, и если слой только один, то это - плоскость с одним локальным максимумом (?)

1-е (количество слоев) влияет на количество бугров и ям на этой плоскости. То есть если сеть для каких-то похожих вариантов все время недостаточно правильно отвечает, это сигнал, что она недостаточно гибка, чтобы увидеть в определенном месте локальный максимум или минимум.

Правильно ли я понял?

зы. у меня в голове статистическая и терминологическая каша, но я надеюсь вы поможете мне приблизить мои знания к правде (отточенных формулировок я не прошу, мне не экзамен сдавать Wink

мне бы лишь направление).

Oleg Agapkin

Nickolay Martinov

При выборе числа слоев и нейронов в них можно опираться на критерий Червоненкиса-Вапника, собственный опыт и метод проб и ошибок. Сдается мне что по другому никак. Наверное, именно поэтому все большую популярность набирают динамические сети (CasCor, Casper, FlexNet, ...)

Fyodor

Спасибо!

Oleg Agapkin

Victor G. Tsaregorodtsev

Nickolay Martinov

Nickolay Martinov

Victor G. Tsaregorodtsev

Nickolay Martinov

Victor G. Tsaregorodtsev

>Backprop, например, очень медленный, а застрять в локальном минимуме ему гораздо легче, чем любому адаптивному алгоритму, который к тому же обучит сеть быстрее

Ну прямо очень медленный
См. недавние работы Wilson&Martinez, LeCun, меня родимого (конкретные ссылки и текст моей статьи есть у меня на сайте) - никакой он не медленный, с хорошими настройками просто летает при онлайн-обучении. Про зависимость ошибки обобщения бэкпропа от величины шага есть более ранняя статья Wilson&Martinez, так что обобщение - это свойство не архитектуры сети (слоистая, растущая,...), а итоговых внутренних свойств сети (весов синапсов, производных), о чем говорят теор.результаты Шин-Ичи Амари с соавторами, Петера Бартлетта и т.д. И в слоистых сетях наиболее просто эти индикаторы отслеживать параллельно с обучением, чтобы поймать минимум ошибки обобщения. С растущими сетями сложнее эти фишки использовать - подбор настроек алгоритма и свойств сети будет более эмпиричен.

>Лично мне нравится S_Casper с кросс-валидацией

Дык, я в ту же сторону и намекал - к списку указанных мной доработок исходного каскора можно добавить и отбор нейронов-кандидатов (и дообучение сети после встраивания нейрона) с учетом еще и валидационной выборки. Правда, сейчас точно авторов не вспомню (лень перелистывать папку с тремя сотнями страниц распечатанных статей по растущим сетям), но вроде бы там было это предложение на фоне другого алгоритма, не с-каспер. Это я к тому, что доработки и улучшения каскора носили массовый характер, значит, не все в порядке было в королевстве датском.

Что-то мы тут друг перед другом извилины растопыриваем - надо придти к консенсусу. Я не отрицаю интересности и полезности идеи растущих сетей, могу соглашаться с их значительными преимуществами по сравнению с другими архитектурами. Но просто хотел отметить, что базовый вариант Фалмана сейчас сильно проигрывает более поздним улучшениям, причем улучшения шли по всему фронту идей. Вам не нравится исходный бэкпроп, Вы предпочитаете более свежие алгоритмы - так и у меня та же позиция в плане алгоритмов обучения растущих сетей (старые результаты - это, конечо, классика, но в реальной работе лучше использовать последние достижения нейронауки и практики).

Nickolay Martinov

Согласен.
Решение зависит от задачи и конкретных условий.

usdeur

ОБЪЕКТИВНОЕ не способно ошибается!
СУБЪЕКТИВНОЕ не может быть без погрешностей и ошибок!
После такого знания = ОЧЕВИДНО! Надо не медленно менять своё мировоззрение, что б жить по объективным Законам. Поскольку это сверх задача, то надо признать - Чел ПОРОЧЕН по своей СУТИ и рождён для понимания своих ошибок и то только взяв их как опыт на тот свет !
Компромисс же возможен уже сегодня – это EXPERT- Он не ограничен временем и пространством.
Следовательно, ему такая нагрузка под силу, експерт уйдёт от всяких субъективностей, если вы ему прикажете. Я буду доверять Т/Р своему эксперту. Для этого есть ВНУТРИННИЕ РЕСУРСЫ ТЕКУЩЕЙ ЦЕНЫ + ряд принципов.

ВОПРЕКИ такого подхода к ОБЪЕКТИВНОСТИ На форумах много Красиво написанного.
ОДНАКО позвольте уточнить. Все ведут речь о внешних обстоятельствах (ДАННЫХ) – а они все субъективны.
Такое ощущение, что про объективность, предпочтения, про отличительные признаки субъективного – всё нехотят даже слушать. И этим искажают само СОБЫТИЕ.

НЕТ объективности, даже тогда, когда казалось бы имеется все основания, для того, что бы хорошую идею, как например про слои РЕШАТЕЛЕЙ NeuroShell - не испортить …
ПОРЧА в том, что Предпочтя при выборе способа решения, количество слоёв – внедряется Суть ничтожности. Тогда остаётся только погрешность. Данные уже ею ограничены, ибо нарушена - многомерность, нет тут её.
Т.Е. – это означает – отдано предпочтение субъективной РАЗМЕРНОСТИ.
Это не столь опасная ошибка, если нет других, таких же аналогичных.
Но в том то вся и беда, что шаг за шагом, так же как на этом примере, вводятся аналогичные размерности, это повсеместно стало принципом у всех аналитиков.

Это делает СИСТЕМУ ограниченной до ничтожного события и обстоятельства. Т.Е. Тут уже объективна только большая погрешность. Господа, Нафиг она нам нужна?

Применяемая трейдерами инфо – ВНЕШНЯЯ. Т.Е. Всё то, что подаётся на вход NS или на 100 входов NeuroShell - суть одна = ограниченная пространством и временем – это есть доказательство её ВНЕШНЕГО и стороннего происхождения.
В моём понимании – это означает – так с помощью ПОРОЧНОЙ субъективности, все ищут УСТОЙЧИВУЮ доходность.

Совершенно иная СУТЬ та, что состоит из аналогичных РЕСУРСОВ - но объективных ДАННЫХ. Они больше соответствуют желанной СУТИ и результату на выходе NeuroShell. А речи о слоях нейронов не лишние, но и не настолько важны, что бы их идеализировать.http://skuki.net/index.php?act=Post&CODE=02&f=3&t=8006&qpid=264270

Чел.. так устроен что ему удобнее пользоваться конкретными данными от внешних обстоятельств, и незачем думать при этом, - ОБЪЕКТИВНЫ ли эти данные.

Неопределённостями внешних данных, как правило, если и пользуются, то на уровне расчётов, (математика, ТА, и много всяких исторических данных) – Т.Е. сплошная НАУКА – она всё и всякое только и ограничивает. Наука не бывает – ОБЪЕКТИВНОЙ. Она лишь ЖАЛКОЕ отражение ИСТОРИЙ. Истории нге лечат, историями калечат… Они только поэтому и проявлены, - это одно из характерных свойств СУБЪЕКТИВНОСТИ. Объективности не проявляются, но эксплуатируются. Они как и всё то что ВЫСШЕЕ по сути – являются ВСЕСУЩИМИ. Это уже характерное свойство ОБЪЕКТИВНОСТИ.
КЛАС грубой, неочищенной от субъективизма материи – это не только сливки. Наоборот, СЛИВКИ уже показывают направление в сторону объективного качественного СОБЫТИЯ, хотя и проявлено.
ОДНАКО, стремление к комфорту, к удобству эксплуатации данных, Чел.. невольно уходит с пути к ИСТИНЕ. Мой же путь в том, что б не модифицировать, не экстраполировать, не аппроксимировать, и вообще отказаться по максимуму от всякой математики и алгебры и от аналитики. Конечно без них не обойтись, однако стремление к дистанции от них должно ДОМЕНИРОВАТЬ. Данные должны быть такими, что б их не аппроксимировать, что бы выбрать из них предпочтения уже при входном контроле, на пути к этим данным, где они уже сами по себе будут иметь решение в виде желанного РЕСУРСА – подаваемого на вход NS. Это уже – АВТОПИЛОТИРУЕМЫЕ данные. И такое возможно. Т.Е. – их суть готова к применению и что характерно – без дополнительного тестирования, и без дополнительных индикаторов. Сгустки качества – не могут шибаться. К тому же Индикаторы образны и панорамные и на дисплеях.

Отсутствие проявления Внутренних Ресурсов Текущей Цены, (ВРТЦ) – как Понятия эквивалентно функциям -ЧЁРНОГО ЯЩИКА, на панорамах мониторов, соответствует СУТИ того, что вся работа аналитиков – не по СУТИ желанного.

Понятие ВРТЦ = эквивалентно функциям -ЧЁРНОГО ЯЩИКА – это Не означает, невозможность эксплуатации тех объективных ресурсов, которые из такого ящика будут извлекаться в силу того, что там они имеются в СГУЩЁНОМ состоянии. Именно в Ч.Я. есть все, нам необходимые математические модели и функции, применение которых мы даже не подозреваем, а эксплуатировать будем посредством ЧЯ – наш EXPERT. Эти законы математики, как и паттерны тренда, ещё не имеют описаний и ещё не открыты гениями математики, или аналитики.

Сгущённость объективности – ОЧЕВИДНА в 1000 жизненных примеров.
Выбор нами таких предпочтений, о которых я тут сознательно не умалчиваю, даст нам в свою очередь систему – уже с минимизированной погрешностью в режиме АВТОПИЛОТА.
Это позволит понять суть НОУ-ХАУ, для этого я приведу ряд примеров –они ниже.

Общая Ошибка у учёных, НЛПишников, и на FOREX у ТРЕЙДЕРОВ в том, что все полагают, что, будто не имеют возможности управлять рынком FOREX или судьбою.

ИНАЧЕ говоря! Многое определяется не только у трейдеров, но и у НЛПишников тем, что мы принимаем за ЦЕЛЬ. Всё что мы видим, понимаем, анализируем, изучаем - = ТУФТА... Т.Е. как вы уже поняли – это НЕ СУТЬ, а лишь ОСТРОВА с навязанными нам своими лжи панорамами. Т.Е. все проявления лишь СУБЪЕКТИВНЫЕ ПАНОРАМЫ, которые не только не СУТЬ, но ещё и формируют наш АЛГОРИТМ МЫШЛЕНИЯ.
Этот то алгоритм и есть сама ПОРОЧНОСТЬ. Порочность по СУТИ настолько, что она не способна даже дистанцироваться от СУБЪЕКТИВНОГО.

ПОРОЧНОСТИ в методах работы так много, что даже зная о преимуществе объективного - мозг продолжает жить по тенденциям -ограниченных сущностей. ... - "ХОЧУ, ЧУВСТВУЮ, ОЩУЩАЮ и всё это вопреки ОБЪЕКТИВНОСТИ". - Как много чел согласятся со мной в том, что подобная чушь – управляет нами и редко соответствует СУТИ УСПЕХА на FOREX или в НЛП.
Обращаясь же к волшебной палочке в виде НЛП – чел этим подписывается в своей нелепости и ничтожности.
Однако, при некоторых условиях, НЛП, действительно! Но это если оно как событие - действующее и ОБЪЕКТИВНО, что как сами понимаете бывает - очень редко.

После этого - Хорошо запомним! = Лишь Объективность позволяет управлять FOREX, как и судьбою, и в НЛП и в достижении успеха и во всяком результате.

Иначе говоря, АКСИОМА;
Если вашими деньгами и вами управляют кто то, ИЗ ВНЕ, то увы, вы уже на 100% - себя сами воткнули в лохотрон.
При этом виновных нет кроме вас самих. Это психология ЖЕРТВЫ.
Вероятность ухода от нежелательных результатов И в ТОМ, если чел сумеет обуздать в себе ЭМОЦИИ. И вместо них станет немного роботом, автоматом, хотя бы в той степени, где необходим профессионализм и где можно сказать….. Не зная броду, не хожу в воду, - поэтому сохраню своё ДЕПО. Тогда и РЕСУРСЫ придут и РАСПОКУЮТСЯ как бы на АВТОПИЛОТЕ И позволят управлять FOREX и лохотроном. Это уже 99% вероятности, и будет УСПЕХ в ваших руках. Собрав не математические формулы, не учёных, в момент решения ТРИЗовской задачи, а сгущенные обстоятельства по сути, тут и УЗНАЕМ И ПОМНИМ то, что в капле сливок (Т.Е. в точке) меньше неопределённостей, и значительно больше качеств молока. Вы по отношению к себе, зразу ГРЕШНЫ, если ищите тенденции в ВНЕШНИХ обстоятельствах или в НЛП, или в прогнозах аналитиков.
[b]Для эксплуатации Неопределённых Внутренних Ресурсов Текущей Цены, их НЕОПРЕДЕЛЁННОСТИ нам сразу придётся с ними сотрудничать и при создания установочного CD и EXPERT с МТ-3-4, ИНТИЛЕКТ которых, объединит ПО диска с WinWaves 32, NS, NeuroShell Dey Traider, NeuroShell2 release 3.0 рус.вер (NSTRADER rus), [TRADER]NeuroShell Trader 3.3, ELWAVE rus v7.1 , Neuro Hit, NeuroSolutions rus, TradingSolutions rus. Тогда каждая из сотрудничающих сторон, получит по уникально настроенному рабочему месту ТРЕЙДЕРА. Тогда не придётся лишний раз сливать ДЕПО. Вспомним…
При сравнении тренда с змеёй или аллигатором. СУТЬ змеи это не то, что бы в момент глотания пищи, изучать свою длину тела или его историю изгиба - ТА. Не считает змея и номеров волн по Элиот. СУТЬ же змеи – остаётся.[/B] Тут об ПО по ЭЛИОТ: http://apps5.oingo.com/apps/domainpark/domainpark.cgi?client=netw8744&s=NEUROSHELL.NET

НЛПишник или Трейдер поступающий так же - ПО СУТИ, – будет больше соответствовать сути ЗМЕИ, ТРЕНДА, АЛЛИГАТОРА. В этом УСПЕХ трейдера. - Wink

СУТЬ – она ВАЖНЫЙ признак ОБЪЕКТИВНОСТИ, но не единственный. К тому же ВНЕШНИЕ обстоятельства, так или иначе, проявлены. Но, Все они лишь ОСТРОВА в океане стихий. Мыже ОБЯЗАНЫ ПОМНИТЬ… Суть островов в том, что они все меж собой соединены в единое целое под океаном стихий.
Спросим сами себя – где ОСТРОВНОЙ СУТИ БОЛЬШЕ, в их видимых частях панорам? Или в том, что от нас спрятано? Я полагаю – теперь это для вас уже ОЧЕВИДНО.
И… EXPERT с установочным CD Это уже = ТАНКОДРОМ = основа для рабочего стола трейдера.
Тут АЛГОРИТМ поведения системы – это уже 70% работы, которые мною сделаны, нам надо ВНЕДРИТЬ на CD оставшиеся 30%. Человек - дрянная и порочная СИСТЕМА - даже у гениев больше ошибок, чем у эксперта.

Желаете понять, как работают неопределённости? И у НЛПшников и для трейдеров – Тогда ещё не один пример… Сообщаю… . Но… только для тех, кто хочет дальше читать, что бы затем и сотрудничать.
Пишите и я вам ВЫШЛЮ – ПРОДОЛЖЕНИЕ.
_________________
Видимые панорамы островов - это не их СУТЬ. СУТЬ островов, объединена ЦЕЛЫМ в стихии океана. СУТЬ надо брать и ЭКСПЛУАТИРОВАТЬ, а не анализировать.
только мал мой опыт в написании EXPERT

DmitryShm

Вот только ботвы не надо. Это уводит от конструктивного общения. Ее и так придостаточно во множестве непрофессиональных статей. Спасибо, это не то, что нужно специалистам сейчас. Многобуков никогда никуда не приводили. Философам место на филфаках и тому подобных заведениях.
_________________
знаю, что не знаю