Уравнение Беллмана

Уравнение Беллмана (также уравнение динамического программирования) — достаточное условие оптимальности в методах оптимизации динамического программирования, названное в честь Ричарда Эрнста Беллмана и основывающееся на принципе оптимальности Беллмана.

Описание

Уравнение Беллмана представляет собой дифференциальное уравнение в частных производных с начальными условиями, заданными для последнего момента времени (то есть справа), для функции Беллмана, которая выражает минимальное значение критерия оптимизации, которое может быть достигнуто, при условии эволюции системы из текущего состояния в некоторое конечное. А это в свою очередь позволяет перейти от решения исходной многошаговой задачи оптимизации к последовательному решению нескольких одношаговых задач оптимизации.

Понятие уравнения Беллмана и функции Беллмана обычно применяется для непрерывных систем. Для дискретных систем аналогом выступает рекуррентное соотношение Беллмана. Принцип оптимальности (см. ниже) позволяет в этом случае оптимальное планирование от конца к началу^[1].

Формальные соотношения, выражающие достаточное условия оптимальности как для дискретных, так и для непрерывных систем могут быть записаны как для случая детерминированных, так и для случая стохастических динамических систем общего вида. Отличие заключается лишь в том, что для случая стохастических систем в правых частях этих выражений возникает условное математическое ожидание.

В контексте решения задачи оптимального управления можно выделить два подхода: численный и аналитический. Численный подход основан на использовании вычислительных процедур динамического программирования, в то время как аналитический подход связан с решением уравнения Беллмана. То есть, нелинейного уравнения в частных производных, которое имеет аналитическое решение лишь в простейших случаях^[2].

Принцип оптимальности

Принцип оптимальности, подходящий как для непрерывных, так и дискретных систем является основополагающим в теории управления. Две формулировки^[1]:

Если управление оптимально, то, каковы бы ни были первоначальное состояние системы и управление системой в начальный момент времени, последующее управление оптимально относительно состояния, которое система примет в результате начального управления.

Указанное свойство можно сравнить с соответствующим свойством марковского процесса^[1].

Оптимальное управление в любой момент времени не зависит от предыстории системы и определяется только состоянием системы в этот момент и целью управления.

Как следствие этого, оптимальное управление зависит только от текущего состояния системы. Последствия неоптимального управления в прошлом не могут быть исправлены в будущем^[1].

Согласно принципу оптимальности, оптимальная стратегия гарантирует, что после первого решения последующие решения будут оптимальными относительно нового состояния, полученного в результате первоначального решения, независимо от начального состояния и начального решения^[2].

Пример уравнения Беллмана из теории оптимального управления

Модель системы и управления

Рассмотрим уравнение состояния управляемой динамической системы^[3]:

${\displaystyle {\dot {x}}(t)=f(t,x(t),u(t))}$,

где:

${\displaystyle t}$ — время из интервала времени функционирования системы ${\displaystyle t\in T=[t_{0},t_{1}]}$,

${\displaystyle x}$ — вектор-функция состояния системы из пространства состояний (n-мерного евклидова пространства, ${\displaystyle \mathbb {R} ^{n}}$),

${\displaystyle u}$ — вектор-функция управления со значениями из пространства управлений ${\displaystyle U\subseteq \mathbb {R} ^{n}}$,

${\displaystyle f}$ — вектор-функция системы ${\displaystyle T\times \mathbb {R} ^{n}\times U\to \mathbb {R} ^{n}}$.

Для упрощения изложения требования к гладкости функций и другие нюансы здесь и далее опущены.

Вектор начальных условий:

${\displaystyle x(t_{0})=x_{0}\in \mathbb {R} ^{n}}$,

где ${\displaystyle x_{0}}$ не считается произвольным.

Определим функционал качества управления для минимизации:

${\displaystyle I(x,u)=\int _{t_{0}}^{t_{1}}g(x(t),u(t),t)dt+F(x(t)),}$

где:

${\displaystyle F}$ и ${\displaystyle g}$ — заданные непрерывно дифференцируемые функции.

Для получения управления используется текущее время ${\displaystyle t}$ и состояние системы ${\displaystyle x}$:

${\displaystyle u(t)=u(t,x(t))}$

Задача оптимального управления состоит в том, чтобы найти такую функцию ${\displaystyle u^{*}(t,x)}$, которая минимизирует ${\displaystyle I(x,u)}$:

${\displaystyle \forall x_{0}\quad I(x^{*},u^{*})=\min _{D}I(x,u),}$

где:

${\displaystyle (x^{*}(\cdot ),u^{*}(\cdot ))=u^{*}(\cdot ,x(\cdot ))}$,

D — множество допустимых управлений с учетом ${\displaystyle t_{0}}$ и ${\displaystyle x_{0}}$, то есть, ограничение на возможные ${\displaystyle (x(\cdot ),u(\cdot ))}$.

Функция оптимального управления ${\displaystyle u^{*}(t,x)}$ для любого начального ${\displaystyle x_{0}}$ дает оптимальный процесс: оптимальное управление ${\displaystyle u^{*}(\cdot )}$ и оптимальную траекторию ${\displaystyle x^{*}(\cdot )}$.

Уравнение Беллмана

Если существует функция ${\displaystyle \omega (t,x)}$, непрерывно дифференцируемая по ${\displaystyle t}$ и ${\displaystyle x}$ на ${\displaystyle (t_{0},t_{1})\times \mathbb {R} ^{n}}$, удовлетворяющая уравнению Беллмана^[3]:

${\displaystyle \max \limits _{u\in U}\left[{\frac {\partial \omega (t,x)}{\partial t}}+{\frac {\partial \omega (t,x)}{\partial x}}\cdot f(t,x,u)-g(t,x,u)\right]=0}$

и граничному условию

${\displaystyle \forall x\in \mathbb {R} ^{n}\quad \omega (t_{1},x)=-F(x)}$,

то управление

${\displaystyle u^{*}(t,x)=\arg \max \limits _{u\in U}\left[{\frac {\partial \omega (t,x)}{\partial x}}\cdot f(t,x,u)-g(t,x,u)\right]}$,

является оптимальным управлением с полной обратной связью.

См. также

• Принцип максимума Понтрягина

Примечания

1. Ванько и др., 2006.
2. Рачков, 2023.
3. Семенов и др., 1997.

Литература

• Рачков М. Ю. Оптимальное управление в технических системах. — 2-е изд., испр. и доп. — Москва: Юрайт, 2023. — С. 53—59. — 120 с. — ISBN 978-5-534-09144-1.
• Семенов В. В., Пантелеев А. В., Бортаковский А. С. Математическая теория управления в примерах и задачах. — Прикладная математика в примерах и задачах. — МАИ, 1997. — С. 214—216. — ISBN 9785703513941.
• Ванько В. И., Ермошина О. В., Кувыркин Г. Н. Вариационное исчисление и оптимальное управление. — Математика в техническом университете. — МГТУ им. Н.Э. Баумана, 2006. — ISBN 5-7038-2627-6.