動学的最適化の基礎の学習記録

【学習動機】

変分ベイズを学ぶ前に、変分法のおさらいをしようと思ったことと、マクロ経済学で、動学的最適化問題に帰着させて、最適化を行うのだけれど、変分法だとかハミルトニアンだとか動的計画法(DP)だとか、出てくるけど、いったいぜんたいなんなんだってなって整理したかった。とくに、中級マクロをやると、二期間モデルで最適化解きますまでは良いのだが、唐突に「こいつがオイラー方程式って呼ばれる」って書かれる。
たとえば、
二神・堀『マクロ経済学』
http://amzn.asia/d/bC2ZtZE
では、たしかそのようだったと記憶している。オイラー方程式ってなんなんだよってなるのに、それを教えてはくれない。とても気持ち悪い(二神・堀『マクロ経済学』は、それ以外は読みやすく、中級マクロ本としては良著だと思います。)。上級マクロの講義を受けると、最適化を、オイラー方程式だったり、ハミルトニアンだったり、ベルマン方程式だったりの、どれかで、突然解かれていて、何がなんだか分からないうちにどんどん前に進んでいってしまうことがある(とくに一番最初は面食らって意味不明の沼の底に落とされた。)。一応、解き方を真似してその場しのぎをしてみるけれど、やはり、気持ち悪い。
動学的最適化の諸々の違いは何なのか。各手法の旨味は何なのか。そのへんが分からなくて気持ち悪い。
そんなときに、日本語でいいものがないか探していて出会ったのが、
A.C.チャン『動学的最適化の基礎』
http://amzn.asia/d/5FvrgpB
だった。そんなわけで、これをざっくりと読むことにした。

【学習記録】

＜総括＞

動学的最適化問題には、3つの主要なアプローチがあり、変分法と最適制御理論(ハミルトニアン)と動的計画法がある。
変分法は古典的アプローチで、汎関数が積分可能で、登場するすべての関数が連続で連続的に微分可能であることが仮定される。
最適制御理論は、時間変数 $t$ と状態変数 $y(t)$ に加えて、制御変数 $u(t)$ を扱う。制御変数に焦点を当てるということは、状態変数が二次的な地位になる。これは、状態変数について初期条件が与えられると、制御経路の決定が、その副産物として状態変数の経路を必ず決める場合にのみ受け入れられる。このため、最適制御問題は状態変数 $y$ と制御変数 $u$ を結ぶ式である $\frac{dy}{dt}=f(t,y(t),u(t))$ がないといけない。これは運動方程式(遷移式、状態方程式)と呼ばれ、 $u$ の選択による $y$ への影響を表す。動的計画法の特徴は、与えられた制御問題を制御問題の一群に包含し、その結果それはある与えられた問題を解くことが結果的に問題の一軍を解くことになることと、この一連の問題の焦点は汎関数の最適値 $V^{ * }$ に向けられ、変分法における最適状態経路 $y^{ * }$ や最適制御理論における最適制御経路 $u^{ * }$ の特徴に関心がない点である。

この本は、第一部が序論、第二部が変分法、第三部が最適制御理論で構成されている。動的計画法については、連続時間だと偏微分方程式の知識が必要になるため、深入りせず、変分法と最適制御理論に焦点が当てられている。この記事では、各章について記述するのではなく、気になっていたことについてだけ書いていくことにする。

結局、オイラー方程式とは、 $\max{\int{F(t, y(t), y'(t))}dt}$ s.t. $y(0)=A, y(T)=Z$ を変分法で解いたときに、変分法で設定された $\epsilon$ と $p(t)$ が消え、必要条件として現れる $F_y$ $- \frac{d}{dt}$ $F_{y'}$ $= 0$ $\forall t \in [0,T$ ]のことだった。(このブログの記事では場合分けして書くのが面倒なので、積分区間を曖昧に濁している。本ではしっかり書かれている。)このオイラー方程式は、 $F_{y' y'} y''(t) + F_{y y'} y'(t)+F_{t y'}-F_{y} = 0$ $\forall t \in [0,T$ ]とも表現でき、これはオイラー方程式が一般に、2階の非線形微分方程式であることを意味している。これは。一般解は2つの任意の定数をもつから、初期点と終点があれば確定した解が得られるってことにつながる。終点が可動的な場合を考えると、横断性条件が導ける。
制約条件付き静学的最適化問題同様、制約条件付き動学的最適化問題でも、ラグランジュの未定乗数法が役に立つ。ラグランジュ乗数を、それぞれが1つのオイラー方程式(オイラー・ラグランジュ方程式)における付加的状態変数として扱えばよい。動学的最適化問題に帰着して、ラグランジュ関数を立てて解いてるのは、変分法だったわけだ。

最適制御理論の特徴の一つは、変分法は内点解しか扱えない一方で、最適制御理論ではコーナー解も扱える点である。制御経路はジャンプする非連続性が認められている。他方で、状態経路は時間期間を通して連続でなければならないが、有限個の鋭点、角を持つことが認められていて、区分的に微分可能であればよい。最適制御理論のもう一つの特徴は、制御変数 $u$ に対する制約を直接扱えること。もうひとつ、変分法との違いは、もっとも簡単な例が、変分法では固定終点のケースであったが、最適制御理論では自由終点(垂直的終点直線)のケースである点。
最大値原理と呼ばれる1階の必要条件が重要で、ハミルトン関数(ハミルトニアン) $H$ と共役状態変数(costate variable、あるいは補助変数) $\lambda$ の概念によって記述される。共役状態変数は、ラグランジュ乗数と似ていて、性質上、評価変数であり、関連する状態変数の潜在価格(シャドープライス)を測るもの。ハミルトニアンは
$H(t,y,u,\lambda )=F(t,y,u) + \lambda (t) f(t,y,u)$
と定義される。状態変数 $y$ に関する1つの2階微分方程式であったのがオイラー方程式だったが、最大値原理は、状態変数 $y$ と共役状態変数 $\lambda$ に関する2つの1階微分方程式を含んでいる。さらに、あらゆる時点において、制御変数 $u$ に関してハミルトニアンが最大化されることが必要となる。
たとえば、最適制御の問として最も簡単なものを
$\max{V=\int{F(t,y,u)}dt}$
s.t. $\dot{y}=f(t,y,u),y(0)=A,y(T)=Z$ $A$ は所与で $Z$ は自由。および、 $\forall t, u(t) \in U$
と記述でき、ハミルトニアンは
$H(t,y,u,\lambda )=F(t,y,u) + \lambda (t) f(t,y,u)$
となり、最大値原理の条件は、
$\max_{u}{H(t,y,u,\lambda)} \forall t$
$\dot{y}=\frac{\partial H}{\partial \lambda}$
$\dot{\lambda}=-\frac{\partial H}{\partial y}$
$\lambda(T)=0$
となる。
最大値原理の詳細な証明はこの本では扱っていないが、制御問題の変分法的な見方で以て、理論的根拠を示している。変分法と最適制御理論の比較をし、両者の同等性についても述べられている。その他、経済学的な解釈の仕方まで学べる。たとえば、利潤を最大化する企業を考え、状態変数は資本ストック $K$ 、制御変数 $u$ は経営上の意思決定として、最適制御問題を設定すると、
$\max{\Pi} = \int{\pi (t,K,u)}dt$
s.t. $\dot{K} = f(t,K,u),$ $K(0)=K_0, K(T)=K_T$ ( $K_0, T$ は所与、 $K_T$ は自由。)
このとき、
$\frac{\partial \Pi^{ * }}{\partial K_0}$ $=\lambda ^{ * } (0)$
$\frac{\partial \Pi^{ * }}{\partial K^{ * } (T)}$ $= - \lambda ^{ * } (T)$ となる。最適な共役状態変数 $\lambda ^{ * } (0)$ は、所与の初期資本に対する最適総利潤 $\Pi^{ * }$ の感度の尺度となっており、初期資本を1単位増やしたら総利潤が $\lambda ^{ * } (0)$ 大きかったことを意味する。したがって、初期資本の帰属価値、潜在価格であると理解できる。逆に、 $\lambda ^{ * } (T)$ は計画期間の最後であと1単位保存したいとすると総利潤を $\lambda ^{ * } (T)$ だけ犠牲にしなくてはいけない。つまり、終点資本ストックの潜在価格を意味する。
同様に、一般的に、 $\lambda ^{ * } (t)$ はその特定時点における資本ストックの潜在価格となる。

紛れもなく、読みやすい良著。上級マクロで初見殺しを食らう前に知っておきたかった。

＜捕捉＞

マクロの消費と投資については、阿部修人先生講義ノート
 http://www.ier.hit-u.ac.jp/~nabe/2007consumption.pdf
と
http://www.ier.hit-u.ac.jp/~nabe/investment2013.pdf
が流れを追いやすく参考にした。

橘永久先生の最大値原理の資料
http://www.le.chiba-u.ac.jp/~ttachi/doc/maximumprinciple-061124.pdf
もとても参考になった。

物理のかぎしっぽの変分法のページは今回読まなかったが、過去に変分法で躓いたときに参考した。
http://hooktail.sub.jp/mathInPhys/variations1/

経済セミナーの最適化特集回も昔読んだので、記録しておく。
経済セミナー2011年10・11月号｜日本評論社

後から見つけたので、読めてはいないが、
須賀晃一先生の経済数学の資料
http://www.f.waseda.jp/ksuga/matheco05II.pdf
が、とても有用そうな気がした。
他に、細矢祐誉先生の経済学のための数学の講義資料がすごいので、 http://stairlimit.html.xdomain.jp/text16-8.pdf
つよい人は読んでみるとよいかと。

最適化について、もっと初めの方から始めたい方は
金谷『これなら分かる最適化数学―基礎原理から計算手法まで』
http://amzn.asia/d/8l4kbdI
がオススメ。

＜追記＞

ルジャンドル変換が気になって少し調べて雰囲気理解しただけだけど、参考になった資料のリンクを追加する。
ルジャンドル変換とはなにか？(動画バージョン)
http://irobutsu.a.la9.jp/mybook/ykwkrAM/sim/LegendreTR.html
ルジャンドル変換とは何か（Legendre transformation） http://fnorio.com/0146Legendre_transformation/Legendre_transformation.html
EMANの物理学ルジャンドル変換
https://eman-physics.net/analytic/legendre.html

【学習予定】

マクロのお気持ちは少しずつ理解できてきた気がする。変分ベイズにいい加減、取り組みたい。

霞と側杖を食らう

ほしいものです。なにかいただけるとしあわせです。[https://www.amazon.jp/hz/wishlist/ls/2EIEFTV4IKSIJ?ref_=wl_share]