|
neuroproject.ru
Форум сайта компании НейроПроект
|
| Предыдущая тема :: Следующая тема |
| Автор |
Сообщение |
euph0ria
Новый посетитель
Зарегистрирован: 01 Окт 2006
Сообщения: 2
Откуда: Minsk
|
 Добавлено: Пн Окт 02, 2006 6:57 pm Заголовок сообщения: Скрытые слои: количества нейронов |
 |
|
Реализую НС, аппроксимирующую несколько функций от нескольких переменных (несколько нейронов во входном слое и несколько (1-5) в выходном). НС обучается на основе алгоритма обратного распространения.
Встает проблема выбора количества слоев и количества нейронов в скрытых слоях.
Было установлено, что при число слоев больше 4 (3 скрытых, соответственно) брать нецелесообразно - сеть обучается только хуже.
С другой стороны, количество нейронов в скрытом слое не стоит делать бОльшим количества обучающих пар, дабы сеть не постигло переобучение.
Надеюсь, я правильно все понял, и теперь позвольте задать вопрос: каким нужно брать количество нейронов в скрытых слоях, в частности, когда их несколько. Должно ли это количество увеличиваться от входа к выходу или можно брать его постоянным? Есть ли правило изменения количества скрытых нейроннов от слоя к слою, возможно, с учетом вида аппроксимируемой функции и количества обучающих пар?
Может есть литература, где именно этот вопрос был бы понятно разобран?
Спасибо! |
|
| Вернуться к началу |
|
 |
Victor G. Tsaregorodtsev
Эксперт
Зарегистрирован: 28 Июн 2005
Сообщения: 114
Откуда: Красноярск
|
|
| Вернуться к началу |
|
|
Oleg Agapkin
Администратор
Зарегистрирован: 10 Июн 2005
Сообщения: 112
Откуда: Москва
|
| Добавлено: Ср Окт 04, 2006 7:27 pm Заголовок сообщения: |
|
|
| Цитата: | НС обучается на основе алгоритма обратного распространения
....
Было установлено, что при число слоев больше 4 (3 скрытых, соответственно) брать нецелесообразно - сеть обучается только хуже.
|
Согласен. Больше слоев ставить просто нецелесообразно.
Сеть с одним скрытым слоем по соотношению Качество работы/Сложность обучения - безусловный фаворит. Иногда на одних и тех же данных сети с двумя и тремя слоями дают чуть меньшую ошибку, но скорость их обучения и их "капризность" выше намного.
И уж совсем никогда не бывает такого, что удается решить задачу большим количеством слоев, когда совсем не работает сеть с одним скрытым слоем.
В принципе, все это интуитивно понятно и теоретически из теоремы Колмогорова. Конечно, функциональное отображение, которое описал Колмогоров не совсем эквивалентно нейросетевым отображениям (хотя бы за счет неопределенности функций), но они, в принципе, очень близки.
Еще в многослойных сетях есть опасность перегрузить сеть синапсами (при этом необходимо большее количество примеров для обучения).
Вообще, при обучении пятислойных сетей в разных задачах лично я довольно часто наблюдал одинаковую картину - ошибка сети на независимых наборах уменьшается выраженными "ступеньками":
Таким образом вполне разумные критерии остановки тренировки, которые используются в большинстве нейроэмуляторов (например, остановка когда ошибка на тестовом наборе не уменьшалась в течении n эпох) могут тормознуть обучение еще до того, как сеть "нащупает" серьезный минимум на энергетическом ландшафте. |
|
| Вернуться к началу |
|
|
euph0ria
Новый посетитель
Зарегистрирован: 01 Окт 2006
Сообщения: 2
Откуда: Minsk
|
| Добавлено: Чт Окт 05, 2006 4:59 pm Заголовок сообщения: |
|
|
| Oleg Agapkin, спасибо и Вам! Теперь многое прояснилось! =) |
|
| Вернуться к началу |
|
|
Eugeen
Эксперт
Зарегистрирован: 15 Ноя 2005
Сообщения: 66
Откуда: Москва
|
| Добавлено: Пт Окт 06, 2006 8:05 am Заголовок сообщения: Re: Скрытые слои: количества нейронов |
|
|
Примерно Ваш случай я исследовал в: http://neuralnetwork.narod.ru/besucher.html
Примечательно, что кривую для ошибки обучения, которую приводит Oleg Agapkin у меня давал только метод сопряженных градиентов. А Левенберг-Маквардт давал плавную кривую (без ступенек). Видимо это скорее эффект метода поиска минимума функционала ошибки, а не свойство НС.
_________________
Мелочи не играют решающей роли. Они решают все.
"Жизнь среди акул", Х. Маккей. |
|
| Вернуться к началу |
|
|
Oleg Agapkin
Администратор
Зарегистрирован: 10 Июн 2005
Сообщения: 112
Откуда: Москва
|
| Добавлено: Пн Окт 09, 2006 12:53 pm Заголовок сообщения: Re: Скрытые слои: количества нейронов |
|
|
| Eugeen писал(а): | | Примечательно, что кривую для ошибки обучения, которую приводит Oleg Agapkin у меня давал только метод сопряженных градиентов. А Левенберг-Маквардт давал плавную кривую (без ступенек). Видимо это скорее эффект метода поиска минимума функционала ошибки, а не свойство НС. |
Похоже, что так. В моем случае использовалось обычное обратное распространение ошибки. |
|
| Вернуться к началу |
|
|
|
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
|
|
FAQ
Поиск
Пользователи
Группы
Регистрация
Профиль
Войти и проверить личные сообщения
Вход
