【GTC2018 現地レポート】4日目－最終日！企業展示やポスターの様子も－

アメリカカリフォルニア州サンノゼで、3月26日から29日の4日間開催されているNVIDIA（エヌビディア）のイベント「GTC2018」の現地レポートをお送りします！最終回となる今回は、GTC2018最終日についてです！

こんにちは。アナリティクスサービス本部、AI開発部の山崎です。 NVIDIAが開催する GPU の技術イベント「GTC2018」最終日のレポートです。

最終日は17:00で全てのプログラムが終了となり、3日目までと比べると大きな見どころとなるイベントはありませんが、大変面白いセッションが多くありました。

■セッション

ここでは私が参加した中で特に興味深かったセッションについて簡単に触れさせて頂きます。

Learning from Limited Data

Deep Learning は非常に様々なタスクで大きな成果を出していますが、基本的には大量のデータを必要とします。しかし我々のようにビジネスでDeep Learningを活用しようとすると、大量のデータが手に入らないことがほとんどです。本セッションでは、限られたデータでいかに高い精度で分類問題を解くか、その方法について2つ発表していました。

一つは教師あり学習の枠組みで、Between-Class Learningという手法です。

例えば鳴き声から犬と猫を判別するモデルを作るとすると、通常は犬か猫の鳴き声の音声データを与えて、それが犬か猫かを当てるように学習しますが、本手法では、犬と猫2クラスの音声を混ぜたデータを与えて、犬と猫がどのような重みで混ぜられているかを当てるように学習します。音声のペアとその混ぜ合わせる重みをランダムにすることで、少ないデータから無限のサンプルを生成することができ、高い精度が得られ、かつ、良い特徴量が獲得できるようです。説明では音声を例にしましたが、画像認識でもうまくいっているようです。興味のある方は下記論文をご参照ください。
Between-class Learning for Image Classification
Learning from Between-class Examples for Deep Sound Recognition

もう一つは教師なしでのDomain Transfer の話です。

解きたい問題のdomainのデータが少ないけれども、似たdomainのデータが十分にある場合には、似たdomainで得られた知識を解きたい問題のdomainにtransferすることで、解きたい問題だけで学習するよりも精度が出せることがあります。例えば、自動運転のために道路標識の識別を行いたいと思っても、学習に使える実際のデータは少なかったりするのですが、3Dモデリングなどを活用して仮想的に道路標識のデータを作ることで、大量のデータを得ることが出来ます。実際に解きたい問題のdomainがReal World、大量にデータが得られる問題のdomainがSimulated Worldに対応します。従来手法では、Domain Transferのために各domainにおける特徴量空間の分布を揃える際、全体としての分布を揃えていたのですが、発表手法ではクラスごとの分布を揃えるように考慮しており、それにより精度向上が見られています。興味のある方は下記論文をご参照ください。
Maximum Classifier Discrepancy for Unsupervised Domain Adaptation

「Robots with Digital Dreams」という、心を掴まれる出だしで始まったセッション。人間にとっての夢はロボットにとってのSimulaterというわけです。
先ほど、Real Worldの問題を解きたいけれどもデータが少なく、Simulated Worldだとデータを沢山得ることが出来るという例を出しました。ロボティクスの分野でも同様の状況が見られます。
特に、Reinforcement Learning（強化学習）を行う場合には、シミュレータを用いることで実世界よりも安全にかつ高速に試行錯誤を行うことが出来るため、シミュレータ上での学習というのは必然の選択となりますが、シミュレータと現実世界とのギャップを超えることが出来ないと、現実世界ではシミュレータ上の学習通りにはうまくいきません。ギャップを超える取り組みとして、２つの手法を紹介していました。

一つは、ドローンの自動飛行で実験していた、CAD2RLと呼んでいる、シミュレータ上だけで強化学習を行い、実世界のデータは全く学習には使わなくても、実世界でのテストで良い結果が得られたというものです。シミュレータ特有の環境に過適合を起こさないように、シミュレータ内の環境をランダムにテクスチャ、ライト、配置などを変えながら学習することで、実世界での結果が良くなったようです。たくさんのテクスチャを考えるのも大変そうな気がしますが、現実世界でデータを集めることに比べれば簡単ですね。興味のある方は下記論文をご参照ください。
CAD2RL: Real Single-Image Flight without a Single Real Image

もう一つは、ロボットアームで、画像として指定されたものを（別視点の）認識用カメラでテーブル上の同じものを認識し掴むというタスクで実験していた、Sim2Realと呼んでいるものです。これは一言で表現しづらいのですが、やはり様々な要素をランダムにしながらシミュレータ上で学習するという枠組みです。指定された画像がどれかを認識するためのネットワーク（全ネットワークの内の一部）については、現実世界のデータでTransfer Learningをするようですが、それ以外は現実世界のデータを学習に使っていないようです。興味のある方は下記論文をご参照ください。
Sim2Real View Invariant Visual Servoing by Recurrent Control

この他にも興味深いセッションが沢山ありましたが、ブログでの紹介はこのくらいで留めておきます。

■企業展示

企業展示の模様についても簡単に紹介します。企業展示は2日目から開かれていました。VR、Robotics、Automotiveが目立っていたように思いますが、様々な領域の企業展示が見られました。おそらく150社以上が出展していたと思います。写真は最終日に撮ったもので、最終日にはお酒やおつまみはありませんが、非常に賑わっていました。ちなみに最終日以外のお酒があったときは人混みで渋滞が起きていました。

今回発表のあったDGX-2の展示もありました。Tesla V100 32GBがずらっと並んでいるのは圧巻です。
また、スタートアップパビリオンでは、様々なスタートアップ企業の展示を見たり話を聞いたりする中で刺激を受けることも多々あり、貴重な体験ができました。

■ポスター

ポスターも非常に面白いものが沢山ありました。初日にはお酒を飲みながらのポスター発表の時間があり、参加者が著者と議論している姿がいたるところで見られました。その時間帯以外にもポスターはずっと貼られており、場所が通路ということもあって、最終日までずっとポスターを見ている人は絶えない感じでした。
ポスターについては、既に公開されているようですので、リンクを貼っておきます。 www.nvidia.com

個人的に面白いと思ったものを少しだけ、簡単に紹介します。

Embedded Computing Conference Posters | NVIDIA GTC 2019
Semantic Segmentation CNNs for Precision Agriculture Robots Leveraging Background Knowledge
遠赤外線カメラを使わない代わりに、RGB画像に対して色々な加工をした画像も一緒にモデルの入力とすることで赤外線カメラを使った場合よりも精度が出たというポスターです。方法がシンプルなのが好きです。

Deep Learning Techniques Posters | NVIDIA GTC 2019
A Semi-Supervised Two-Stage Approach to Learning from Noisy Labels
問題設定としては、全データにラベルが付いているものの、質の悪いものが結構あるという設定です。単に教師あり学習として解くのではなく、最初にデータをCleanとNoisyに分類するステップを入れてから、Noisyなデータはラベルが付いていなかったこととみなして半教師あり学習の枠組みに落としています。発想が面白いと思いました。