neuroproject.ru

[Наташа]

Подскажите, пожалуйста, какая программа лучше всего подойдет для демонстрации работы нейросети. Если учесть, что я новичок в этом, а изучить нужно, в целях ОБРАБОТКИ ДАННЫХ и ПРОГНОЗИРОВАНИЯ.
Заранее спасибо.

[SlaSH]

День добрый. Разреши полюбопытствовать, чего хорошего тебе посоветовали?

[Наташа]

Да ничего никто и не подсказывает понимаю, что наивный достаточно вопрос, но информация везде какая то несистематизированная, а изучить надо )

[_next_]

[Victor G. Tsaregorodtsev]

_next_ Спасибо, конечно, за рекламу - но лучше уж сразу взять что-нибудь посовременнее и помощнее простенькой программы восьмилетней давности (это я о той версии neuropro).

Моя рекомендация - Statistica Neural Networks
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование

[_next_]

[Victor G. Tsaregorodtsev]

[Наташа]

Большое спасибо.

[DmitryShm]

[Victor G. Tsaregorodtsev]

[DmitryShm]

А жалко то как! Вот, имея желание работать с этим, я до сих пор не нашел российского комьнити, чтоб пообщаться. Надо будет заказать диски с семинарами... Толковые хоть?

Делаю попытки решать задачи с помощью НС. Классифицировать НС легко обучить, а вот аппроксимировать функции --- шиш.
_________________
знаю, что не знаю

[Victor G. Tsaregorodtsev]

насчет классификации и аппроксимации - непонятно в чем трудность, разделяющую поверхность в задаче классификации ведь можно тоже считать функцией/вектор-функцией (и задача осложняется тем, что она не задана сама по себе - её надо провести по линиям равных или нулевых вероятностей)

А комьюнити на форумах-то и не живет почти... Все больше на научных конференциях народ встречается, там же и образовательные лекции ведет - см лекции на ежегодной МИФИшной конференции по нейроинформатике http://neurolectures.narod.ru/

ЗЫ. Это лекции, не имеющие отношениям к лекциям/семинарам уважаемой компании Нейропроект, на форуме которой мы тусуемся У Нейропроекта - свое
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование

[DmitryShm]

Спасибо.

Хотелось бы все-таки хоть раз увидеть нейронку, обученную аппроксимировать функции.

У меня своя есть, так она не обучается нормально. Использую метод обратного распространения на многослойном перцептроне. Пробовал по всякому. Не получается обучить.
_________________
знаю, что не знаю

[Victor G. Tsaregorodtsev]

Так может задача такая "необучаемая"? Или размер сетки недостаточен? Или ошибки в программировании?
Даже на простейших тестовых функциях (линейная, 1-2 периода синуса, и т.д.) не работает?

Телепатией тут никто не страдает, поэтому опишите задачу, методы, проблему и результаты попыток её решить - может, и получите совет.
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование

[DmitryShm]

Не. Ошибок в программировании вроде нет. Тестил. Сейчас другая проблема. Обучается больно медленно. Спасибо. Я исправил сеть, теперь приближает, но только медленно обучается больно.

И еще ворос. Похоже, что алгоритм обратного распространения находит ближайший локальный минимум функции "энергии ошибок сети". И т.к. ее вид --- это сумма квадратов ошибок, то локальный минимум совпадает с глобальным? Что-то не так, вам не кажется?
_________________
знаю, что не знаю

[DmitryShm]

Это вообще нормально, когда перцептрон (1,5,10,5,1) обучается с сутки, а то и больше?
_________________
знаю, что не знаю

[Victor G. Tsaregorodtsev]

локальные минимумы могут не совпадать с глобальными, всего минимумов в сети комбинаторное число (вычисляется по числу слоев, нейронов и особенности нейронов).

Метод обратного распространения - это способ вычисления направления коррекции сети, к нему довешивается способ задания или вычисления величины шага вдоль этого направления коррекции. И этот способ управления шагом может быть неудачным и приводить к "перескоку" в бассейн притяжения иного минимума (т.е. видим яму, но прыгаем так сильно, что перепрыгиваем яму и попадаем в другую). Так что насчет нахождения именно ближайшего минимума - я бы не стал так утверждать без дополнительных ограничений.

Непонятно, на каком объеме данных сеть данной структуры обучается, но все-таки слишком долго. Плюс несбалансированная структура сети
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование

[DmitryShm]

Способ обучения пакетный, т.е я генерирую равномерно распределенный набор данных, вычисляю максимальную ошибку выходного слоя на этих данных, протаскиваю ее назад, вычисляя нужные градиенты, естественно. Корректирую веса.

Как вычислять глобальный минимум? Использовать что-то типа машины Больцмана или отжиг имитировать. Может быть ГА еще?
_________________
знаю, что не знаю

[DmitryShm]

Объем... Да... Объем увеличивается до тех пор, пока ошибка сети на выходе не станет меньше задаваемого эпсилон. Ошибка сети --- это максимум из отклонений от значения целевой функции по набору данных. Ошибка больше эпсилон ---- даю еще набор.

Это, конечно, не обучение еще, но попытка сделать что-то с сетью.
_________________
знаю, что не знаю

[Victor G. Tsaregorodtsev]

Вот именно, что не обучение И не пакетный режим Учить (считать градиент) надо на ВСЕХ примерах выборки, а не на самом плохом. Обучение на самом плохом сходимости вообще не гарантирует.
В общем, рекомендация - пока строго следовать нейроучебникам.

Нафиг ГА и отжиг - надо избавляться от лок.минимумов (раз нужен допуск в эпсилон - так и надо в целевую функцию его вводить, чтобы в ней был не точечный минимум, а континуальный). А если в данных все-таки есть шум с амплитудой порядка эпсилон и более - то регуляризация решения по Тихонову.
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование