Reinforcement Learning, second edition: An Introduction (Adaptive Computation and Machine Learning series)

・ドラフト版（2018年2月ぐらいのもの）のパート2までほとんど読み切っていたので購入しました（最後のパート3はほとんどが神経科学や応用のお話です）．ざっと見てはドラフト版と大きくは変わっていないようです．・基本的な方針・雰囲気は初版と同じで図と文章での説明が中心ですが，数式が若干増えたかもしれません．適格度トレースの説明は若干分かりにくくなったかも．・英語は若干まどろっこしい感じがあって，コード本ほどスラスラとは読めない感じがしました．・数式の展開・擬似コードの記述は初版と同じく丁寧で分かりやすいと思います．・タイトルの通り，深層強化学習について直接触れているわけではありません，が，関数近似のパートを読むと，何故近年の深層強化学習においてベルマン方程式に基づくTDバックアップが直接は行われず，SGDを用いているかについて知見が得られるなど，近年の研究のモチベーションを理解するのに役立ちます（他には，ツリーバックアップを見れば，TRPOのVineに対して自然に理解できるようになります）．また，n-stepバックアップ（A3Cで使用）・適格度トレース（PPOで使用されていたような…）についてやさしく説明している本が他にあまり見当たらないのでそこも貴重です．・TD学習の収束性の証明について，一応触れられているものの一箇所論文任せになっています．・方策ベースの方法，特にアクタークリティックに関してはもう少し詳しく説明があっても良かったかも．また，方策勾配定理の証明は割引率γ=1のケースのみですが，Webで探せば一般的なケースのものも見つかります．・個人的に，初版でイマイチ歯切れが悪かったように感じた箇所はかなりカットされています．

本書の内容に沿ってPython Simulatorを作成しながら、また、関連の最近の論文も読みながら読んでいるが、説明の内容は現在の技術動向、研究動向に照らし合わせても適切な内容に見える。強化学習を効率的に理解するのに役に立つ。従来から研究している進化的方法との比較、融合などを、本書も参考にしながら行う予定。

新品の本を買ったはずがボコボコの中古本が届いた。新品と取替えて欲しい。内容に関してはこれから読むのでレビューできません。

I have received the book in great shape. The content inside is great!