|
neuroproject.ru
Форум сайта компании НейроПроект
|
| Предыдущая тема :: Следующая тема |
| Автор |
Сообщение |
DmitryShm
Участник форума
Зарегистрирован: 09 Апр 2006
Сообщения: 33
Откуда: Россия, Казань
|
 Добавлено: Вс Апр 09, 2006 10:13 pm Заголовок сообщения: Подбор модели для нейронки |
 |
|
Я хочу написать курсовую (МехМат КГУ, 4 курс, кафедра Теории Функций и Приближений). Ставлю себе задачу нахождения экстремумов функции (естественно от многих переменных) с помощью стохастических методов и нейронной сети. Если кто что-то подобное уже делал, то скажите пожалуйста, чего достигли, и какая модель нейронной сети лучше подойдет для этого. Как лучше обучать, чтобы быстрее. Хочу сделать реализацию на однопроцессорном компьютере. Код-сниппеты только приветствуются.
_________________
знаю, что не знаю |
|
| Вернуться к началу |
|
 |
Eugeen
Эксперт
Зарегистрирован: 15 Ноя 2005
Сообщения: 66
Откуда: Москва
|
| Добавлено: Пн Апр 10, 2006 5:43 pm Заголовок сообщения: Re: Подбор модели для нейронки |
|
|
| DmitryShm писал(а): | | Я хочу написать курсовую (МехМат КГУ, 4 курс, кафедра Теории Функций и Приближений). Ставлю себе задачу нахождения экстремумов функции (естественно от многих переменных) с помощью стохастических методов и нейронной сети. Если кто что-то подобное уже делал, то скажите пожалуйста, чего достигли, и какая модель нейронной сети лучше подойдет для этого. Как лучше обучать, чтобы быстрее. Хочу сделать реализацию на однопроцессорном компьютере. Код-сниппеты только приветствуются. |
К своему стыду  признаюсь что нас, в Урюпинской академии СанТехНаук не научили, как использовать нейросети для нахождения экстремумов функции! Все преподаватели математики ушли в университеты.
Интересно, может быть эти преподаватели работают на МехМат КГУ?
_________________
Мелочи не играют решающей роли. Они решают все.
"Жизнь среди акул", Х. Маккей. |
|
| Вернуться к началу |
|
|
DmitryShm
Участник форума
Зарегистрирован: 09 Апр 2006
Сообщения: 33
Откуда: Россия, Казань
|
| Добавлено: Пн Апр 10, 2006 6:01 pm Заголовок сообщения: что за приколы, я серьезно |
|
|
Я серьезно спрашиваю. Без приколов. Может вопрос не нравится? Я еще новичек в нейронках. Кстати, в МехМате МГУ вообще ажиотаж по поводу нейронок. Многие студенты заинтересовались ими. У нас в КГУ я один.
_________________
знаю, что не знаю |
|
| Вернуться к началу |
|
|
Eugeen
Эксперт
Зарегистрирован: 15 Ноя 2005
Сообщения: 66
Откуда: Москва
|
| Добавлено: Пн Апр 10, 2006 6:11 pm Заголовок сообщения: Re: что за приколы, я серьезно |
|
|
| DmitryShm писал(а): | | Я серьезно спрашиваю. Без приколов. Может вопрос не нравится? Я еще новичек в нейронках. Кстати, в МехМате МГУ вообще ажиотаж по поводу нейронок. Многие студенты заинтересовались ими. У нас в КГУ я один. |
А если серьезно, то для начала почитайте что-нибудь из литературы по НС. Здесь, на сайте, например. Книг уже написано достаточно много. С Вашей матподготовкой это легко!
"Нейронка"  требует серьезного подхода!
Ажиотаж и мода скоро пройдут, останется тяжелый труд. Вы к этому должны быть готовы.
_________________
Мелочи не играют решающей роли. Они решают все.
"Жизнь среди акул", Х. Маккей. |
|
| Вернуться к началу |
|
|
Oleg Agapkin
Администратор
Зарегистрирован: 10 Июн 2005
Сообщения: 112
Откуда: Москва
|
| Добавлено: Пн Апр 10, 2006 7:17 pm Заголовок сообщения: Re: Подбор модели для нейронки |
|
|
| DmitryShm писал(а): | | Ставлю себе задачу нахождения экстремумов функции (естественно от многих переменных) с помощью нейронной сети |
Попробуйте решить задачу с помощью Генетических Алгоритмов.
На самом деле, поиск экстремумов - это, мягко говоря, далеко от классического применения нейронных сетей. По большому счету, сам процесс обучения НС - это поиск минимума функции ошибки в пространстве состояний. Но оптимизировать функцию, заданную пользователем.... вряд ли это работа для новичка. Тут надо серьезно подумать над постановкой задачи 
Думаю, еще кто-нибудь может посоветовать. Мне приходилось в каталогах статей встречать работы о поиске экстремумов с помощью нс, но сам я их не читал (речь идет о персептронах).
На основе НС Хопфилда можно решать оптимизационные задачи когда энергетическая функция системы неизвестна, а известно лишь "как примерно должно выглядеть решение". Таким образом, с разной степенью эффективности, с помощью НС Хопфилда решаются задачи Коммивояжера, n-Ферзей, Поиск треков - чем не оптимизационные задачи?
Последний раз редактировалось: Oleg Agapkin (Пн Апр 10, 2006 7:30 pm), всего редактировалось 1 раз |
|
| Вернуться к началу |
|
|
Eugeen
Эксперт
Зарегистрирован: 15 Ноя 2005
Сообщения: 66
Откуда: Москва
|
| Добавлено: Пн Апр 10, 2006 7:26 pm Заголовок сообщения: Re: Подбор модели для нейронки |
|
|
| Oleg Agapkin писал(а): | | DmitryShm писал(а): | | Ставлю себе задачу нахождения экстремумов функции (естественно от многих переменных) с помощью нейронной сети |
Попробуйте решить задачу с помощью Генетических Алгоритмов.
На самом деле, поиск экстремумов - это, мягко говоря, далеко от классического применения нейронных сетей. По большому счету, сам процесс обучения НС - это поиск минимума функции ошибки в пространстве состояний. Но оптимизировать функцию, заданную пользователем.... вряд ли это работа для новичка. Тут надо серьезно подумать над постановкой задачи
Думаю, еще кто-нибудь может посоветовать. Мне приходилось в каталогах статей встречать работы о поиске экстремумов с помощью нс, но сам я их не читал.
Вот, например, на основе НС Хопфилда можно решать оптимизационные задачи, особенно когда энергетическая функция системы неизвестна, а известно лишь "как примерно должно выглядеть решение". По крайней мере, с разной степенью эффективности, с помощью НС Хопфилда решаются задачи Коммивояжера, n-Ферзей, Поиск треков - чем не оптимизационные задачи?
|
L'homme хочет использовать НС для поиска экстремумов функций многих переменных!
Мне кажется, некорректно обозначать эти призрачные: "как примерно должно выглядеть решение", когда вопрос поставлен "в лоб"!
_________________
Мелочи не играют решающей роли. Они решают все.
"Жизнь среди акул", Х. Маккей. |
|
| Вернуться к началу |
|
|
Oleg Agapkin
Администратор
Зарегистрирован: 10 Июн 2005
Сообщения: 112
Откуда: Москва
|
| Добавлено: Пн Апр 10, 2006 7:35 pm Заголовок сообщения: Re: Подбор модели для нейронки |
|
|
| Eugeen писал(а): | | Мне кажется, некорректно обозначать эти призрачные: "как примерно должно выглядеть решение", когда вопрос поставлен "в лоб"! |
Согласен.
DmitryShm, используйте ГА. |
|
| Вернуться к началу |
|
|
DmitryShm
Участник форума
Зарегистрирован: 09 Апр 2006
Сообщения: 33
Откуда: Россия, Казань
|
| Добавлено: Пн Апр 10, 2006 8:05 pm Заголовок сообщения: |
|
|
Спасибо. Вообще, перед тем, как задать здесь вопрос, я почитал кое-что. Книги 2-3, если статьи скопом считать книгой. Поиграться немного с нейронками хочется, понять на практике что же это такое. Может напишу библиотеку на C#.NET. На первом этапе хотелось бы заюзать их на решении всяких экстремальных задач. Сравнить с метоами Рунге-Кутта решения ОДУ, решить СЛАУ, и научиться решать нелинейные уравнения, показать, что нейронки лучше решают нелинейные уравнения, и.т.п.. Насколько это реально показать? Ведь из многих книг ясно следует, что должным образом обученные нейронки с этим должны лучше справляться. Даже будучи реализованные на обячном писюке.
_________________
знаю, что не знаю |
|
| Вернуться к началу |
|
|
Eugeen
Эксперт
Зарегистрирован: 15 Ноя 2005
Сообщения: 66
Откуда: Москва
|
| Добавлено: Пн Апр 10, 2006 11:32 pm Заголовок сообщения: |
|
|
| DmitryShm писал(а): | | На первом этапе хотелось бы заюзать их на решении всяких экстремальных задач. Сравнить с метоами Рунге-Кутта решения ОДУ, решить СЛАУ, и научиться решать нелинейные уравнения, показать, что нейронки лучше решают нелинейные уравнения, и.т.п. |
Под такую программу действий надо "выбить" из Нобелевского комитета специальную премию! А ведь это только первый этап!
Затрудняюсь придумать награду под "второй этап"! Может кто-нибудь на форуме подскажет?
_________________
Мелочи не играют решающей роли. Они решают все.
"Жизнь среди акул", Х. Маккей. |
|
| Вернуться к началу |
|
|
DmitryShm
Участник форума
Зарегистрирован: 09 Апр 2006
Сообщения: 33
Откуда: Россия, Казань
|
| Добавлено: Вт Апр 11, 2006 12:15 am Заголовок сообщения: тогда получается, что.. |
|
|
Тогда получается, что нейронки сейчас вообще беспомощны, если с помощью них трудно даже для непрерывной функции многих переменных найти максимум. Странно, но из книги Уоссермена "Нейрокомпьютерная техника : теория и практика" следует, что такие задачи на нейронках-то как раз хорошо и решаются. Решаются ли? Есть ли примеры на самом деле -- вот еще хороший вопрос. В частности, мне приглянулся "метод отжига металла", когда распределение Больцмана или Коши помагают найти глобальный экстремум. Концептуально звучит так, что хоть сейчас садись и пиши программу. 
Также прочел статьи на вашем сайте про кинетическую машину, и.т.п.. Смахивает на наукообразное словоблудие со стороны. У нас на МехМате ребята алгебраисты одно время сильно были заняты машиной Тьюринга, доказательства теорем про конечные автоматы читали, и.т.п.. Практической пользы от этой машины похоже нет. Одно словоблудие породило другое. Чем только академики занимаются? Лучше-б компилятор что-ль новый написали, чем банкой со словами играться. Похоже, что эта банка помогла кому-то "выбить деньги на науку". Сами наверное догадываетесь, где бы я хотел видеть эту науку.
_________________
знаю, что не знаю |
|
| Вернуться к началу |
|
|
Eugeen
Эксперт
Зарегистрирован: 15 Ноя 2005
Сообщения: 66
Откуда: Москва
|
| Добавлено: Вт Апр 11, 2006 10:00 am Заголовок сообщения: Re: тогда получается, что.. |
|
|
| DmitryShm писал(а): | | Тогда получается, что нейронки сейчас вообще беспомощны, если с помощью них трудно даже для непрерывной функции многих переменных найти максимум. Странно, но из книги Уоссермена "Нейрокомпьютерная техника : теория и практика" следует, что такие задачи на нейронках-то как раз хорошо и решаются. Решаются ли? Есть ли примеры на самом деле -- вот еще хороший вопрос. В частности, мне приглянулся "метод отжига металла", когда распределение Больцмана или Коши помагают найти глобальный экстремум. Концептуально звучит так, что хоть сейчас садись и пиши программу. |
Где-то я прочитал: ".. НС смогут ВСЁ! Только их надо правильно этому обучить!"
Они запоминают только то, что написано большими буквами, а малые - пропускают. Тут-то их постигает большое разочарование!
Позволю себе дать вам совет: в Инете есть много ссылок на бесплатные или триальные программы по НС. Возьмите их и поупражняйтесь. Только после этого начинайте писать свои собственные.
_________________
Мелочи не играют решающей роли. Они решают все.
"Жизнь среди акул", Х. Маккей. |
|
| Вернуться к началу |
|
|
Oleg Agapkin
Администратор
Зарегистрирован: 10 Июн 2005
Сообщения: 112
Откуда: Москва
|
| Добавлено: Вт Апр 11, 2006 10:38 am Заголовок сообщения: Re: тогда получается, что.. |
|
|
| DmitryShm писал(а): | В частности, мне приглянулся "метод отжига металла", когда распределение Больцмана или Коши помагают найти глобальный экстремум. Концептуально звучит так, что хоть сейчас садись и пиши программу.
|
Этот метод можно использовать для тренировки НС. Например, его используют для поиска энергетического экстремума хопфилдовских структур. Результаты, в принципе, неплохие, но время обучения чудовищно. Но это использование отжига ищет экстремум функции ошибки НС, а вовсе не функции, заданной пользователем. Использовать этот метод для поиска экстремумов пользовательских функций можно (технически), но к НС это никакого отношения не имеет.
| DmitryShm писал(а): | Тогда получается, что нейронки сейчас вообще беспомощны, если с помощью них трудно даже для непрерывной функции многих переменных найти максимум.
|
НС в классических и легкодоступных для понимания вариантах не предназначены (!!!) для поиска экстремумов. Для эффективного поиска экстремумов используйте Генетические Алгоритмы |
|
| Вернуться к началу |
|
|
Victor G. Tsaregorodtsev
Эксперт
Зарегистрирован: 28 Июн 2005
Сообщения: 114
Откуда: Красноярск
|
| Добавлено: Вт Апр 11, 2006 11:51 am Заголовок сообщения: |
|
|
Eugeen, Oleg Agapkin
Не совсем согласен касательно невозможности применения нейросеток для решения задач нахождения экстремумов одно- или многоэкстремальной функции: если функция задана аналитически, то ее нейропредставление будет позволять быстро считать градиент целевой функции (о ней далее) по входам сети - аргументам функции. А градиентное нахождение глобальных минимумов/максимумов многоэкстремальных функций реализуется алгоритмами динамического туннелирования путем последовательного добавления членов к оптимизируемой функции (члены эти будут представлять собой видоизменяющие рельеф исходной функции слагаемые-репеллеры, отталкивающие поисковую точку в пространстве аргументов от точек локальных экстремумов). Сорри за невнятное описание - вспоминаю давно читаные статьи из журналов по оптимизации.
Т.е. о тренировке сети речи не идет - идет речь о возможности явного конструирования нейроописания заданной функции и градиентного "обучения" входов этой функции (наподобие того, что было в методе одновременной с обучением сети очистки входов CLEARNING Андреаса Вайгенда с соавторами).
DmitryShm
Вам правильно сказали - знакомьтесь глубже с теорией, многое по поднятой Вами этой теме живет не в нейроучебниках, а в крутой современной нейропериодике.
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование |
|
| Вернуться к началу |
|
|
DmitryShm
Участник форума
Зарегистрирован: 09 Апр 2006
Сообщения: 33
Откуда: Россия, Казань
|
| Добавлено: Вт Апр 11, 2006 2:18 pm Заголовок сообщения: Спасибо |
|
|
Спасибо за ответы. Обязательно воспольуюсь ими.
_________________
знаю, что не знаю |
|
| Вернуться к началу |
|
|
Oleg Agapkin
Администратор
Зарегистрирован: 10 Июн 2005
Сообщения: 112
Откуда: Москва
|
| Добавлено: Вт Апр 11, 2006 8:06 pm Заголовок сообщения: Re: Спасибо |
|
|
DmitryShm
| Цитата: | Вам правильно сказали - знакомьтесь глубже с теорией, многое по поднятой Вами этой теме живет не в нейроучебниках, а в крутой современной нейропериодике.
|
Пока книжка с библиографией под рукой, приведу несколько ссылок.
Kwan H.K. One-layer feed forward neural network for fast maximum/minimum determination. //Electronic Letters, 1992, vol.28, no.17 (p.1583-85)
Nishiyama K., Unoki M. An artifical neural network for searching the maximum values 1994
Мячин М.Л. К вопросу о построении нейронной сети для поиска максимума. //Моделирование и анализ информационных систем , 1993, №1 (с.67-69)
Есть еще несколько ссылок, сейчас времени нет писать  Если будет нужно, потом дополню.
В общем, если есть желание, погрузитесь в эти статьи, в учебниках, действительно, вы этого не найдете. А еще лучше - используйте ГА. |
|
| Вернуться к началу |
|
|
|
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
|
|
FAQ
Поиск
Пользователи
Группы
Регистрация
Профиль
Войти и проверить личные сообщения
Вход
