もっともシンプルなケース
- モデル
- x(k+1) = f(x(k), u(k)m ,k), \quad k=0,1,\cdots, N
- \dot{x}(t) = f(x(t), u(t), t), \quad t\in [t_0, t_f]
- 評価関数
- J = \varphi(x(N)) + \sum_{k=0}^{N-1} L(x(k), u(k), k)
- J = \varphi(x(t_f)) + \int_{t_0}^{t_f} L(x(t), u(t), t)\, dt
- ハミルトニアン
- H(x,y,\lambda,k) = L(x,u,k)+\lambda^T f(x,u,k)
- H(x,y,\lambda,t) = L(x,u,t)+\lambda^T f(x,u,t)
- オイラー・ラグランジュ方程式（最適制御の必要条件）
-
\begin{cases}
x(k+1) = f(x(k), u(k), k),
\quad x(0)=x_0, \\
\lambda(k) = \left(\dfrac{\partial H}{\partial x}\right)^T (x(k), u(k), \lambda(k+1), k),
\quad \lambda(N) = \left(\dfrac{\partial \varphi}{\partial x}\right)^T (x(N)), \\
\dfrac{\partial H}{\partial u}(x(k), u(k), \lambda(k+1), k)=0.
\end{cases}
- 動的計画法
- 値関数
- \left\{\begin{aligned}
&V(x,k) = \min_{\{u(\ell)\}_{\ell=1}^{N-1}}\left(\varphi(x(N))+ \sum_{\ell=k}^{N-1} L(x(\ell), u(\ell), \ell)\right), \quad & x \in \mathbf{R}^n, k=0,1,\cdots, N,\\
&V(x, N) = \varphi(x), \quad & x \in \mathbf{R}^n.
\end{aligned}\right.
-
V(x,t) = ...
- ベルマン方程式（（値関数が存在すれば）最適制御の十分条件）
- \left\{\begin{aligned}
&V(x,k) = \min_{u}(L(x,u,k) + V(f(x,u,k), k+1)), \quad & x\in \mathbf{R}^n, k = 0,1, \cdots, N-1\\
&V(x, N) = \varphi(x), \quad & x \in \mathbf{R}^n.
\end{aligned}\right.
- ベルマン方程式からオイラー・ラグランジュ方程式の導出
LQ 制御モデルの場合
- モデル
- x(k+1) = Ax(k) + Bu(k), \quad k=0,1,\cdots, N
- \dot{x}(t) = Ax(t) + Bu(t), \quad t\in [t_0, t_f]
- 評価関数
- J = \dfrac{1}{2} x^T(N) S_f x(N) + \sum_{k=0}^{N-1} \dfrac{1}{2}(x^T(k) Q x(k)+u^T(k) R u(k))
- J = ...
- ハミルトニアン
- H(x,y,\lambda) = \dfrac{1}{2}(x^T Q x+u^T R u) + \lambda^T(Ax+Bu)
- H(x,y,\lambda) = ...
- オイラー・ラグランジュ方程式 \left\{\begin{aligned}
& x(k+1) = Ax(k) + Bu(k),
\\ & \quad x(0)=x_0, \\
& \lambda(k) = Qx(k) + A^T\lambda(k+1),
\\ & \quad \lambda(N) = S_f(x(N)), \\
& u^T(k)R + \lambda^T(k+1)B=0.
\end{aligned}\right.
- リッカチ方程式 \left\{\begin{aligned}
S(N) &= S_f ,\\
S(k) &= Q+A^TS(k+1)A \\
&\quad -A^TS(k+1)B(R+B^TS(k+1)B)^{-1}B^TS(k+1)A ,
\quad k = N-1, N-2,\cdots, 0
\end{aligned}\right.
- 動的計画法
- ベルマン方程式 \left\{\begin{aligned}
&V(x,k) = \min_{u}\left\{\dfrac{1}{2} (x^T Q x+u^T R u) + V(Ax+Bu, k+1)\right\}, \quad & x\in \mathbf{R}^n, k = 0,1, \cdots, N-1\\
&V(x, N) = \dfrac{1}{2}x^TS_f x \quad & x \in \mathbf{R}^n.
\end{aligned}\right. これの解は, リッカチ方程式の解 S(k) を用いて V(x,k) = \dfrac{1}{2}x^TS(k)x と解ける
他のモデル
- 初期条件固定(さっき上げたやつ)
- 終端条件固定(x(N), x(t_f) を固定する)
- 随伴変数の終端条件なくなる
- 初期状態自由
- 随伴変数に初期条件が課される
- 等式拘束条件C(x(k), u(k), k)=0
- C 同じ次元のラグランジュ乗数 \rho を導入し、ハミルトニアンを H(x,u,\lambda, \rho,k) = L(x,u,k) + \lambda^T f(x,u,k) + \rho^TC(x,u,k) としてオイラー・ラグランジュ方程式を導出すると, [u^T, \rho^T]^T を入力とした停留条件を得る
- 終端時刻自由
- 離散の場合: 各 N について評価関数 J_N を求め, N に関して最小値を探索する
- 連続の場合