Кросс-энтропийный метод

Кросс-энтропийный метод

Метод кросс-энтропии был разработан как эффективный метод оценки вероятностей редких событий в дискретных системах моделирования событий и адаптирован для использования в оптимизации. Название метода происходит от кросс-энтропийного метода Кульбака-Лейблера для измерения количества информации (битов), необходимой для идентификации события из набора вероятностей.

Стратегия обработки информации алгоритма заключается в выборке проблемного пространства и аппроксимации распределения хороших решений. Это достигается путем предположения распределения проблемного пространства (например, гауссовского), выборки проблемной области, создания возможных решений с использованием распределения и обновления распределения на основе обнаруженных лучших возможных решений. Образцы строятся поэтапно (по одному компоненту за раз) на основе обобщенного распределения хороших решений. По мере продвижения алгоритма распределение становится более точным, пока не сосредоточится на области или диапазоне оптимальных решений в области.

Следующий алгоритм описывает метод кросс-энтропии для минимизации функции стоимости.

Кросс-энтропийный метод

Метод кросс-энтропии был адаптирован к задачам комбинаторной оптимизации, хотя он применялся и к оптимизации непрерывных функций, а также к задачам моделирования, содержащим много шума.

Параметр альфа (а) или скорость обучения в [0; 1] обычно имеет высокое значение, например 0,7. Функцию сглаживания можно использовать для дальнейшего управления обновлениями выборочного распределения (распределений) пространства определения. Например, при оптимизации непрерывной функции параметр может заменить (a) для обновления стандартного отклонения, рассчитанного во время t как BB(1-1/t)^q, где B изначально установлено в [0,8 ; 0,99], а q — небольшое целое число в [5; 10].

Делиться
ru_RURU
%d такие блоггеры, как: