こんにちは。アナリティクスサービス本部、AI開発部の仲田です。
NVIDIAが開催する GPU の技術イベント「GTC2018」3日目のレポートです。
3日目は夜に GTC Party が開催されました。 その模様もこの記事の最後でレポートします！（以降、セッションの紹介が続くので、パーティの様子を知りたい方は最後までスクロールしてください）
■セッション
まずは、1日目・2日目に引き続き、セッションの模様をお届けします。
Matching DS Organizational Maturity to DS Skills to Optimally Grow Your Team
ひとつめにご紹介するのは、世界最大の営利型医療企業 HCA Healthcare 社の Data Science Director である Jesse Spencer-Smith 氏による講演です。 この講演では、データサイエンスチームを企業内に立ち上げるにあたってどのような能力が要求されるのか、また、どのような段階を踏んでいけばよいのかを HCA 社内での経験を踏まえて紹介していました。
例えば、データサイエンティストが担当する作業を「分析の高度さ」と「ワークフローへの適用」の2軸からプロットした図や、 データサイエンティストのスキルセットをレーダーチャートとして表す図などを紹介して、企業のデータサイエンスの成熟度が今どの段階にいるのかについてや、データサイエンスチームのスキルセットから今後伸ばす領域／補う領域を決めたりといった判断について触れられていました。
必ずしもすべてのスキルを持つ必要はなく、必要に応じて伸ばすべき領域を決めるべきだといった話など、企業のデータサイエンスの成熟度等の議論は日本でも非常によく聞く内容ですが、世界的にも同じようなことが議論されているのだと実感しました。
Deep Learning Hyperparameter Optimization with Competing Objectives via Bayesian Optimization
続いて、 SigOpt 社の CEO、Scott Clark 氏による「Deep Learning Hyperparameter Optimization with Competing Objectives via Bayesian Optimization」をご紹介します。 この講演では、ベイズ最適化によるハイパーパラメータ探索自動化ソフトウェアの機能紹介が行われていました。
ハイパーパラメータチューニングの経験がなくても聞いたことがあるとは思いますが、深層学習を含む機械学習モデルのチューニングは非常に困難かつ非自明です。 ハイパーパラメータ探索には、伝統的には Grid search や最近では Random search がよく使われていますが、より洗練された手法としてベイズ最適化が挙げられます。 SigOpt 社の製品は、このベイズ最適化周りの自動化をおこなってくれるソフトウェアです。
ベイズ最適化をするだけならばよくあるのですが、今回特に気になった機能として、「複数指標のチューニング」があります。 精度を高くしたいという要求はもちろんですが、一方で、「モデルの訓練時間」「モデルの推論時間」を短くしたいという要求もあるはずです。 しかし、精度と訓練時間を組み合わせた指標を作成するのは非常に難しいため、通常はそれぞれ独立に評価されていることが大半かと思います。 そこで、パレート最適の文脈で使われるパレートフロンティアをうまく利用する方法が提示されていました。
簡単に言えば、複数指標でチューニングするときは、指標の両方が同時に良くなる場所の周りを重点的に調べればよいというだけなのですが、この発想を実際に数理的に判断、実装してソフトウェアにしている例はなかなか見かけないと思います。
ちなみに、ベイズ最適化はそれまでの探索結果を利用するため grid search や random search よりは自然な並列化が難しいのですが、そのあたりの問題を吸収するスケジューラもあるのでちゃんとスケールしますよ、とも付け加えられていました。*1
Towards Lifelong Reinforcement Learning
次に、UC Berkeley の Pulkit Agrawal 氏による「Towards Lifelong Reinforcement Learning」をご紹介します。 この講演では、最初に「本来あるべきAIのすがた」を議論してから、スピーカーらの強化学習における先進的な取組みを説明していました。 元となっている研究は、スピーカーの Agrawal 氏のページにまとまっています。
2018年3月の時点での強化学習は、Atari や囲碁において成功を収めていると言って問題ないでしょう。一方、本来我々が欲している AI とは、特定のゲームだけを解くようなものではなく、より汎用的なもののはずです。*2
例えば人間は初めてプレイするゲームであっても、これまで獲得したある種の「常識」や「事前知識」から、ある程度のスコアを得ることが可能です。 「炎に入ったら危なそうだ」「ハシゴは登れそうだ」という事前知識などが挙げられるでしょう。 一方、強化学習のエージェントは基本的にすべてゼロの状態から訓練が始まるため、事前知識がありません。
このような場合に、強化学習のエージェントに「常識」を獲得させる方法として、スピーカーが主に研究しているのが「経験による獲得」です。 言い換えれば、「自分の行動とその結果を元に、世界がどういう法則で動いているのかを学習する」ということです。*3 *4 この場合に重要なのは、「あくまで概念を獲得するべきであって、完璧な未来の予測は必要ない」ことだと述べられていました。 ビンを落としたときには「割れる」という概念を予測できれば良いのであって、「割れた欠片がどこに飛び散るかをひとつひとつ予測」する必要はないということです。
この考え方は、深層学習による画像処理の「CNNの中間層 *5」を利用すればよいという発想が自然です。 実際、ゲーム画面そのものではなく、CNN の中間層を利用して、その世界の動き方を学習するようにした研究では、スーパーマリオを一切の報酬関数なしである程度クリア可能なことがわかりました。*6 他にも、ロープの結び目を実際のロボットアームで作ったり、予め見せたのと同じ景色をカメラに収めるように自走ロボットを動かしたり、3D物理シミュレータで作った「手」でものを掴んでみたり *7、興味深い例が次々と紹介されていました。
最後に、チューニングテストやエニグマの解読で有名な Alan Turing の論文の一節「Instead of trying to produce a programme to simulate the adult mind, why not rather try to produce one which simulates the child's?」*8がオシャレに引用され、拍手喝采でセッションが終了しました。
■パーティ
さて、長々とセッションの様子を紹介してしまいましたが、最後に3日目の夜におこなわれた GTC 参加者による Party の模様を紹介します。 パーティはキーノート会場で実施されました。
会場の前方には、参加者が書いた輪郭に合わせて絵を生成するブースが設けられていました。*9
ステージでは DJ がプレイしている一方で、会場隅では謎の巨大チェス盤で対戦している人がいたり、独特の雰囲気でした。
もちろん参加者は大変多く、盛り上がったまま10時過ぎになってもまだパーティが続いていました。
日本だとなかなか見慣れない規模・雰囲気でしたので、貴重な経験となりました。 パーティ会場で知り合った日本人参加者の方とも少しお話しする機会があり、情報交換もすることができました。
明日は4日目、GTC 2018 最終日です。 次回のブログもよろしくお願いいたします！
ブレインパッドは、イベントへの参加や最先端の情報収集など、さまざまな取り組みを積極的に実施しています。実際のビジネスで自分の知識・技術を活用してみたいという方、ぜひエントリーください！
*1:GPUイベントなのでちょっと無理やりハイパワーマシン／分散処理の話を挟んだようにも見えましたが(笑)
*2:「弱いAI」「強いAI」の話に近いですね
*3:強化学習では「モデルフリー」と「モデルベース」としてよく参照される概念です
*4:実際、人間の赤ちゃんもいろんな行動をしてみて地球からの重力の存在等を認識すると説明がありました。地球からの重力の存在（高い場所からモノは落ちる）はまさに「常識」の知識にあたります
*5:CNNは、層が深くなるにつれて認識の抽象度が上がっていくことがわかっています
*6:本当は、「自身の行動に関連する部分のみをうまく抽出」したり、「結果の予測が難しい行動を積極的に選択」したりする工夫がたくさんあって更に面白い研究なのですが、ここでは割愛します。興味のある方は「Curiosity Driven Exploration by Self-Supervised Prediction, Deepak Pathak, Pulkit Agrawal, Alexei A. Efros, Trevor Darrell, International Conference on Machine Learning (ICML) 2017」をご参照されることをオススメします！
*7:簡単に思えるかもしれませんが、何も教えない状態で手を適切に操作するのは困難です！
*8:拙いですが、和訳するなら、「大人を模倣するプログラムを作るのではなく、子供を模倣するようにしよう」くらいでしょうか
*9:会場前方の巨大スクリーンに映るのでちょっと恥ずかしいです
