prosdo.ru 1 2 3 4
ТЕОРИЯ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ


  1. Пояснение к теме.

1.1.Задачи оптимизации при ограничениях в виде нестрогих неравенств.

1.2. Различные виды функционалов. Задачи Лагранжа, Больца и Майера

1.3. Задача оптимального управления.

  1. Непрерывный вариант динамического программирования

    1. Пояснение к теме

    2. Уравнения Беллмана для задачи оптимального управления

    3. Вывод уравнений Эйлера с помощью метода Беллмана

    4. Задача АКоР

  2. Принцип максимума Л.С. Понтрягина

    1. Пояснение к теме. Запись необходимых условий оптимальности для простейшей вариационной задачи в гамильтоновой форме

    2. Задача оптимального быстродействия

    3. Пример 1. Управление простейшей линейной системой второго порядка

    4. Теорема Фельдбаума

    5. Пример 2. Управление линейной системой второго порядка с действительными собственными числами

    6. Пример 3. Управление нелинейной системой

    7. Доказательство принципа максимума для линейных задач оптимального быстродействия



  1. Пояснение к теме.

    1. Задачи оптимизации при ограничениях в виде нестрогих неравенств. Задача оптимального управления

В рамках классического вариационного исчисления рассматривались задачи на оптимизацию функционалов при ограничениях типа равенство. Однако во многих технических и экономических задачах существуют ограничения вида нестрогих неравенств. Это случается, когда управление ограничено некоторой величиной (например, сила тяги поезда не может превышать некоторое значение). Другим распространенным примером служит ограничение на объем денежных инвестиций в экономический проект. Для решения задач с такими ограничениями нужен новый аппарат. Простой вариант такого аппарата представляет собой непрерывный вариант Динамического программирования, предложенный Р.Беллманом в [4.13]. Другое обобщение классического вариационного исчисления – принцип максимума Л.С. Понтрягина была разработано в [4.12]. Дискретные проблемы оптимального управления подробно рассматриваются в [5.1].


1.2 . Различные виды функционалов

Исторически возникла ситуация, что в классическом вариационном исчислении рассматривались только интегральные функционалы видов



Однако помимо интегральных функционалов в практических задачах возникают и так называемые терминальные функционалы. Простым примером терминального функционала служит значение функции в некоторой точке:



Вариационная задача, в которой требуется оптимизировать интегральный функционал при ограничениях, называется задачей Лагранжа. Вариационная задача, в которой требуется оптимизировать терминальный функционал при некоторых ограничениях, называется задачей Больца. Вариационная задача, в которой требуется оптимизировать сумму интегрального и терминального функционалов при некоторых ограничениях, называется задачей Майера. Несложно показать, что задачи Больца и Майера сводятся к задаче Лагранжа и задача Лагранжа сводится, как к задаче Больца, так и к задаче Майера. Рассмотрим примеры такого взаимного сведения задач.

Пример 1. Пусть требуется свести задачу Лагранжа





к какой-нибудь задаче Больца.

Решение

Обозначим



Тогда задача (3) превращается в следующую задачу с терминальным функционалом:





Пример 2. Пусть требуется свести задачу Больца




к какой-нибудь задаче Лагранжа.


Решение

Обозначим







Тогда задача (4) превращается в следующую задачу с интегральным функционалом:





1.3 . Задача оптимального управления

Прогресс в нахождении аналитических методов неклассических вариационных задач возник после постановки общей задачи оптимального управления. Эта задача имеет следующий математический и векторный вид:







В задаче (8) представляет собой вектор-функцию времени и имеет координат:











Обычно область задается системой в виде уравнений и нестрогих неравенств, в которых неизвестными являются координаты функции управления

Задача оптимального управления отличается от вариационной задачи Лагранжа, прежде всего, наличием области и описывающих ее ограничений типа неравенство. Простейшим примером таких ограничений может служить ограничение вида


  1. Непрерывный вариант динамического программирования

    1. Пояснения к теме

Принцип Беллмана о том, что часть оптимальной траектории также является оптимальной траектории в случае как интегральных, так и терминальных функционалов доказан в части конечномерной оптимизации, но доказательство без изменения относится и к настоящей части - теории оптимального управления.

    1. Уравнения Беллмана для задачи оптимального управления

Рассмотрим вариационную задачу Лагранжа (8). Сначала инвариантно погрузим ее в следующее множество вариационных задач:







Введем в рассмотрение следующую функцию Беллмана:



Тогда, в силу принципа оптимальности Беллмана получим:





Из (12) следует, что



Пусть теперь допустимое управление на отрезке оптимально относительно состояния которое возникло в результате действия в системе (10) оптимального управления на отрезке Тогда получим:



Из (14) следует, что



Объединяя уравнения (13) и (15), получим:



Если сделать предположение о том, что у функции Беллмана существуют производные, то получим уравнение Беллмана:



Конструкция



называется производной функции Беллмана в силу системы (8). Выражение



является градиентом функции Беллмана. Начальным условием для уравнения Беллмана служит следующее равенство:



Уравнение Беллмана является уравнением в частных производных, отягощенным операцией взятия минимума. Его далеко не всегда удается решить. Кроме того, существует много случаев, когда частные производные у функции Беллмана не существуют. Тогда нельзя использовать непрерывный вариант динамического программирования. С другой стороны, если существует решение уравнения Беллмана (17) с начальным условием (18), то найденное при этом управление является оптимальным.


    1. Вывод уравнений Эйлера с помощью метода Беллмана

Покажем, что из уравнения Беллмана (17) можно получить уравнение Эйлера для простейшей вариационной задачи:



Сведем задачу (19) к следующей задаче оптимального управления типа (8):



Запишем уравнение Беллмана:



Приравняем к нулю производную по от выражения под знаком минимума в (21):


Вычислим полную производную по времени в (22):



Воспользуемся равенством (21) в правой части равенства (23) и получим:



Из уравнения (24) получается уравнение Эйлера в его обычной форме:



Полученный результат говорит о возможности применения уравнения Беллмана (17) при решении задач оптимального управления.


    1. Задача АКоР

Задачей аналитического конструирования регуляторов (АКоР) называется вариационная задача минимизации интегрального квадратического и определенно положительного функционала при ограничениях в виде дифференциальных уравнений. Ее можно записать в следующей форме задачи оптимального управления:



Выражение является квадратичной формой с симметрической матрицей . Эта форма обычно считается определенно положительной. Величина является положительной константой.

Задача оптимального управления (26) может быть решена как с помощью классического вариационного исчисления, так и с помощью принципа максимума Понтрягина, так и с помощью непрерывного варианта метода динамического программирования. Именно этим методом воспользуемся и мы. Запишем уравнение Беллмана:



Будем искать решение уравнения Беллмана в виде квадратичной формы от фазовых переменных:


В (28) является симметрической матрицей, элементы которой зависят от времени. Из (28) получим:




Подставим (29) в (27) и получим:



Найдем минимум квадратного трехчлена в (30), приравняв к нулю его производную:



Вычислим квадрат управления с его коэффициентом из (26):



Подставим (31) и (32) в (30) и получим:



Равенство квадратичной формы нулю возможно лишь тогда, когда симметризированная матрица формы является нулевой: Поэтому из (33) получим:



Уравнение (33) называется матричным дифференциальным уравнением барона Риккати. Это уравнение следует решать с начальными условиями, которые вытекают из (18) и имеют следующий нулевой вид:


Решив уравнения (35) численно методом установления и найдя , можно получить оптимальное уравнение из формулы (31). Иногда, обнуляя производную в уравнении (34), можно получить уравнения, которые удается решить либо аналитически, либо каким-нибудь численным методом. Однако, универсальным подходом к численному нахождению коэффициентов оптимального управления является решение (34) методами численного интегрирования дифференциальных уравнений. Таким образом, получено, что оптимальное управление является линейной комбинацией фазовых переменных. Такая форма ответа дает возможность простого формирования закона управления. Это обстоятельство утвердило за рассмотренной задачей термин задачи аналитического конструирования регуляторов, введенный А.М. Летовым. Заметим, что в силу уравнения динамического программирования (17) и его конкретного вида (33) можно считать функцию Беллмана (28) функцией Ляпунова для управляемой системы (26). Ее производная в силу этой системы ограничений из (33) равна определенно отрицательной функции в то время как сама функция Беллмана опредленно положительна. По теореме Ляпунова об асимптотической устойчивости для оптимальной системы гарантирована устойчивость.


Пример 3. Найти оптимальное управление в следующей одномерной задаче АКоР:



Решение

Запишем уравнение (34) для примера 3:



Считая и обнулив производную в (37), получим:



Значение должно быть положительным, так как функционал в (36) положительный. Поэтому в (38) выберем знак плюс при радикале и получим:



Из условия (31) получим закон оптимального управления:





Дифференциальное уравнение оптимальной системы после подстановки в (36) оптимального управления (40) будет иметь следующий вид:



следующая страница >>