|
neuroproject.ru
Форум сайта компании НейроПроект
|
| Предыдущая тема :: Следующая тема |
| Автор |
Сообщение |
pl0x
Новый посетитель
Зарегистрирован: 11 Апр 2007
Сообщения: 3
|
 Добавлено: Ср Апр 11, 2007 10:35 am Заголовок сообщения: Доказательство оптимальности решения |
 |
|
Здравствуйте,
есть нейронная сеть, которая обучена выбору режима технологического процесса. Как доказать оптимальность этого выбора и оценить погрешность. Т.е. есть ли методики доказательства того, что этот экстремум является глобальным, а не локальным ? Оценка погрешности зависит от шага обучения, но есть ли аппарат для формализации величины погрешности.
Надо стройно доказать и обосновать выбор нейронной сети для решения поставленной задачи. |
|
| Вернуться к началу |
|
 |
Victor G. Tsaregorodtsev
Эксперт
Зарегистрирован: 28 Июн 2005
Сообщения: 114
Откуда: Красноярск
|
| Добавлено: Ср Апр 11, 2007 11:14 am Заголовок сообщения: |
|
|
www.neuropro.ru/memo12.shtml плюс обсуждение на форуме basegroup в конце марта этого года
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование |
|
| Вернуться к началу |
|
|
pl0x
Новый посетитель
Зарегистрирован: 11 Апр 2007
Сообщения: 3
|
| Добавлено: Ср Апр 11, 2007 11:45 am Заголовок сообщения: |
|
|
Прочитал ...
У меня модель адекватна, т.е. я менял выборки и модель все равно выдавала результаты очень близкие к расчетным точными методами.
Меня интересует метод формализация доказательства оптимальности модели. Т.е. можно конечно методом наименьших квадратов, но может быть есть какие-то формулы или теоремы применительно именно к нейронным сетям. |
|
| Вернуться к началу |
|
|
Victor G. Tsaregorodtsev
Эксперт
Зарегистрирован: 28 Июн 2005
Сообщения: 114
Откуда: Красноярск
|
| Добавлено: Ср Апр 11, 2007 12:37 pm Заголовок сообщения: |
|
|
| pl0x писал(а): | | Т.е. можно конечно методом наименьших квадратов, но может быть есть какие-то формулы или теоремы применительно именно к нейронным сетям. |
Вот этого я не понял...
К первому посту - насчет глобального минимума - ничего доказать нельзя, т.к. сетка любого размера может остановиться при обучении в локальном минимуме и даже многократные пробы могут не позволить добраться до глобального. Т.е. если не пользуетесь методами глобальной оптимизации (причем отличными от поисковых, т.е. от монтекарлы и генетических алгоритмов, а именно находящими глоб.минимум) при обучении сети - то ничего касательно полученной сети сказать нельзя, да и недостаточно говорить только о глоб.минимуме для ошибки обучения (надо смотреть на тестовую выборку).
А рафинированная ситуация с полным отсутствием шума в данных тоже не позволит положиться именно на точность обучения (когда нулевая погрешность на обучающей выборке может говорить просто о запоминании этого шума) и заставит проверять локальность или глобальность минимума в том числе и на тестовой выборке тоже.
Насчет зависимости оценки погрешности от шага обучения (первый пост) тоже не понял, что имелось в виду
В общем, поэтому и советовал смотреть со статистической точки зрения, поскольку даже какие-то дополнительные формальные знания о нужном виде решения (например, касательно гладкости или производных той "теоретической" функции, которую дожна заапроксимировать нейросеть при обучении) вводятся в нейросеть априорно при ее создании или путем использования критериев вторичной оптимизации (регуляризация решения - тому пример) и опять же обычно не позволяют ничего сказать о "правильности" обученной нейросети без теста последней на независимой тестовой выборки.
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование |
|
| Вернуться к началу |
|
|
pl0x
Новый посетитель
Зарегистрирован: 11 Апр 2007
Сообщения: 3
|
| Добавлено: Ср Апр 11, 2007 3:50 pm Заголовок сообщения: |
|
|
Т.е. я так понимаю, надо провести поиск глобального минимума и при этом проверить на тестовой выборке. А какой метод поиска вы можете посоветовать ?
Рафинированной ситуации нет, да и обучающая и тестовые выборки разные. При этом последняя очень даже объемная.
Про зависимость от шага. Если есть аналоговая модель, я ее вычисляю с каким-то шагом и потом обучаю сеть. Если шаг будет больше, значит и сеть будет хуже воспроизводить информацию. Но тут уже вопрос видимо об оптимальном размере выборки.
Т.е. я так понимаю, что для формализации данных о выполнении сетью той или иной функции я должен ввести дополнительные структуры в сеть ? Регуляризация вроде бы дает только "сглаживание" сети.
Я не отрицаю использование тестовой выборки. Просто хотелось еще отметиться методами доказательства глобального максимума. Как, например, решение задачи, опираясь на теорему Пифагора. Т.е., чтобы можно было сказать "по таким-то и таким-то критериям и признакам данная модель находит оптимальный вариант".
А вот как это лучше сделать, пока знаний не хватает =( |
|
| Вернуться к началу |
|
|
Victor G. Tsaregorodtsev
Эксперт
Зарегистрирован: 28 Июн 2005
Сообщения: 114
Откуда: Красноярск
|
| Добавлено: Чт Апр 12, 2007 10:04 am Заголовок сообщения: |
|
|
| Цитата: | | Т.е. я так понимаю, надо провести поиск глобального минимума и при этом проверить на тестовой выборке. |
Стоп. Давайте просто разделять разные способы доказательства оптимальности. Глоб.минимум - это если решение принимается только на (или с учетом) обучающей выборке, на основании точности решения сеткой этой выборки. Критерий очевидно однобок (ничего не говорит о качестве обобщения), т.е. может быть необходим, но не достаточен. А вот какой критерий будет достаточен - подумайте сами исходя из постановки задачи (может, и не нужен будет критерий теоретической оптимальности, хватит критерия практической оптимальности, например, если по точности решения задачи сетка перекрывает существующий способ управления объектом, то её внедрение может быть экономически оправдано)
| Цитата: | | Про зависимость от шага. Если есть аналоговая модель, я ее вычисляю с каким-то шагом и потом обучаю сеть. |
Ясно, т.е. это не шаг обучения сети, а что-то типа шага для метода численного интегрирования
| Цитата: | | Т.е. я так понимаю, что для формализации данных о выполнении сетью той или иной функции я должен ввести дополнительные структуры в сеть ? Регуляризация вроде бы дает только "сглаживание" сети. |
Регуляризация - это пример дополнительного слагаемого в целевой функции, которая используется при обучении сети. И эти слагаемые (критерии вторичной оптимизации) могут накладывать те или иные ограничения на свойства сети и её элементов, т.е. это альтернативный способ к способу явного управления структурой сетки.
| Цитата: | | Я не отрицаю использование тестовой выборки. Просто хотелось еще отметиться методами доказательства глобального максимума. |
Максимума чего? В зависимости от этого определения, критерий будет однозначен (или более-менее очевиден). Если точность обучения - то надо ловить глоб.минимум ошибки обучения, если точность обобщения - то надо улучшать точность на тестовой выборке (не забывая и про обучающую), если по критериям устойчивости к тому или иному виду шумов на входе - свои способы повышения шумостойкости и отказоустойчивости, и т.д.
Не абстрактного определения оптимальности сетки вне контекста задачи. А для конкретной задачи Вы требования к оптимальности можете проранжировать и выбрать первый или несколько первых по важности. Если требования не введены - вводите, у Вас есть такая возможность.
_________________
www.neuropro.ru - нейросети, анализ данных, прогнозирование |
|
| Вернуться к началу |
|
|
|
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
|
|
FAQ
Поиск
Пользователи
Группы
Регистрация
Профиль
Войти и проверить личные сообщения
Вход
