今月発売されました、共立出版の「速習 強化学習」を購入しざっと読んでみました。これまで日本語の書籍が少ない強化学習ですが、この書籍がどういう読者にオススメなのかをご紹介します。目次などは出版社のホームページを御覧ください。
- 作者: チョバサパシバリ,Csaba Szepesv´ari,小山田創哲,前田新一,小山雅典
- 出版社/メーカー: 共立出版
- 発売日: 2017/09/21
- メディア: 単行本
- この商品を含むブログを見る
書評する立ち位置
まずは私が強化学習についてどの程度、理解しているのか明確にしておきます。これまで下記掲載の2冊の書籍を読み、Double DQNの論文を読みながらOpenAIのゲームを学習するPythonコードを昨年書きました。機械学習（DNNなど）や最適化、基本的な数学の記述についてはある程度理解しています。私個人は、強化学習がどういった問題に適用されているのか、どういった論文が注目されているいるのかという点に関心があります。
- 作者: Richard S.Sutton,Andrew G.Barto,三上貞芳,皆川雅章
- 出版社/メーカー: 森北出版
- 発売日: 2000/12/01
- メディア: 単行本（ソフトカバー）
- 購入: 5人 クリック: 76回
- この商品を含むブログ (29件) を見る
- 作者: 牧野貴樹,澁谷長史,白川真一,浅田稔,麻生英樹,荒井幸代,飯間等,伊藤真,大倉和博,黒江康明,杉本徳和,坪井祐太,銅谷賢治,前田新一,松井藤五郎,南泰浩,宮崎和光,目黒豊美,森村哲郎,森本淳,保田俊行,吉本潤一郎
- 出版社/メーカー: 森北出版
- 発売日: 2016/10/27
- メディア: 単行本（ソフトカバー）
- この商品を含むブログ (3件) を見る
「速習 強化学習」の特徴
早速、こちらの特徴について私なりに感じたことを書きます。 3点に絞り長所をご紹介します。 もちろん、みなさんが何を求めるかによって感じるメリットは異なるかもしれませんので、そのあたりのギャップはご了承ください。
厳密な定義
第一章を読み始めて最初に感じたのは、様々な定義に対する厳密さです。 冒頭の数式を一部抜粋すると以下のような記述があります。
（前略）一方で関数
の一様ノルム
は
と定義する。
この数式を見て抵抗なく読み進められそうであれば、後は機械学習の基本的な記述が多いので大丈夫かと思います。
全体を通して言えることは、様々な定理、定義が数学的に丁寧に記述されています。 数学出身の方は安心して読めるのではないかと想像しました。 これまで私が厳密な定義を疎かにしていたことを自覚させられた一冊です。 これまで強化学習を使いこなしていた方々も、一度基本に立ち返って読む価値のある一冊だと思います。
サーベイと基礎
本を手にとって最初に感じたのは「意外に薄い」でした。 130ページほどで、これまでに読んでいた2冊の強化学習の書籍と較べても薄く感じました。
しかしこれは読んでいて気づいたのですが、筆者は積極的に他の文献へ誘導している印象を受けました。 「詳細はこの本・論文がいい」と過去の書籍との違いが明確にされています。
強化学習の全体像を具体的な例とともに紹介する、という印象は受けませんでした。 それよりは、全ての理論を理解し応用するのに必要な定理、定義を説明し、 一般的な手法を理解するために必要な範囲を漏れなく解説しています。 強化学習の応用を知る前に読んでおきたい一冊だと思います。
訳者執筆の付録が豪華
Szepesvári氏の本が翻訳された書籍ですが、実は訳者の工夫によって付録が大変豪華です。 強化学習はここ数年、深層学習を使った応用例なども研究されており、目覚ましい成果がでています。 AlphaGoもその一例といえます。
それらの最新の研究成果、論文（中には2016年の論文）のまとめが付録に記載されています。 これから研究の取り組まれる方、最新の研究に興味がある方は必読の付録です。
最後に
ここまで私が読んで感じた3つの長所を挙げてきました。
- 厳密な定義
- サーベイと基礎
- 豪華な付録
機械学習、数学の初心者には少しハードルが高いかもしれませんが、 収録されている情報の量や数式の美しさは素晴らしいと思います。
研究に取り組むことを検討されている方、最新の成果をビジネスに活かそうとされている方、 是非手にとって見てください。