”フォント”の違い、深層学習で区別できるのか？ーディープラーニングでフォントを見分けるロボットアーム「MSゴシック絶対許さんマン」を「Maker Faire Tokyo 2017」でお披露目ー

世界最大のDIYイベント「Maker Faire Tokyo 2017」に当社の有志社員を中心に構成されているチーム「白金鉱業」が参加。ロボットアーム「MSゴシック絶対許さんマン」によるデモ内容やイベント会場の模様をご紹介します。

こんにちは、アナリティクスサービス部の吉田です。

2017年8月5日（土）、8月6日（日）に東京ビッグサイトにて「Maker Faire Tokyo 2017」が開催されました。「Maker Faire」はアメリカ発の世界最大DIYイベントで、現在世界190ヵ所で開催されています。その中でも日本で開催される「Maker Faire Tokyo」は、特に参加者数が多く、今年で開催10年目を迎えたモノ作りの一大イベントです。
イベント会場には、ロボットや最新の3Dプリンタ、レーザーカッターなどのパーソナルファブリケーション*1技術から、電子工作、航空・宇宙関係、自作楽器、クラフトなどの作品展示の他、ワークショップや体験コーナーといった参加型のコンテンツも多数あり、1日だけでは回りきれないほどユニークで熱量の高い作品が所狭しと並んでいて、子供も大人も楽しめる空間となっていました。

▲熱気溢れる会場

今回、過去最高の約450組が出展する中、私たちのチーム「白金鉱業」は、"フォント"の違いをディープラーニングで見分けるロボットアーム「MSゴシック絶対許さんマン」とともに参加してきましたので、そのデモの様子をご紹介します。

■「MSゴシック絶対許さんマン」とその生みの親の紹介

チーム「白金鉱業」が展示した「MSゴシック絶対許さんマン」は、「なんかダサい」「仕事の文書っぽくて気分が下がる」など嫌われてしまうことのある「MSゴシック」のフォントで書かれたカルタを、ディープラーニングにより自動識別しロボットアームで拾い上げて床に捨てる、というデモを行いました。

▲どれがMSゴシックかわかりますか？この10個のフォントの中から「MSゴシック絶対許さんマン」はMSゴシックを探し当てます。正解はブログの最後に。

▲このロボットアームがMSゴシックを探し出します。

実際に「MSゴシック絶対許さんマン」がMSゴシックを識別している動画も公開していますので、よければご覧ください。
www.youtube.com

私たちのチームの紹介は、以下の出展者紹介ページをご覧ください。
makezine.jp

▲チーム「白金鉱業」のメンバーにて

この「MSゴシック絶対許さんマン」は、ブレインパッドが開発し、Google™ 主催のクラウドイベント「 Google Cloud Next’17 in Tokyo 」にて展示された、機械学習とロボットアームによるデモンストレーションシステム「Find Your Candy」からインスパイアされて作りました。

「Find Your Candy」のソースコードは、こちら
github.com

「Find Your Candy」のイメージ動画は、こちら
www.youtube.com

「 Google Cloud Next’17 in Tokyo 」に関するブログ記事は、こちら
blog.brainpad.co.jp

今回、「日本語フォントを識別する」というマニアックな分類を行うために、自分たちでデータ作成を行い、TensorFlowで畳み込みニューラルネットワークを実装し、フォント特徴を学習しています。

デモ展示では、「MSゴシック」のみを識別しロボットアームにピックアップさせるように設計していましたが、学習したネットワーク自体は48種類のフォントを識別可能です。また、ロボットアームを動かすデモだけでなく、Grad-CAMという手法を用いることで、この学習ネットワークがフォントのどこを見て（どういった特徴量を重要視して）分類を行っているのかを可視化し、説明を行いました。

CNNが絵札のどの部分からフォントを識別しているのか、まとめた資料はこちら

CNNは絵札のどの部分に注目してフォントを見分けているか from Yuta Yoshida

www.slideshare.net

可視化手法Grad-CAMについてブログで紹介しています。記事はこちら
blog.brainpad.co.jp

■最後に

ロボットアームが動いてカードを選ぶ様子は小さな子どもにも大人気でした。また、ディープラーニングの技術的な説明やフォント特徴の可視化結果は、ディープラーニングに興味のある参加者はもちろん、フォントを扱うデザイナーや出版業界の方も関心の高い分野のようで、非常に興味深く話を聞いていただきました。
展示説明の中で、見学者の方から「ディープラーニングってなんだろうと思ってたけど、こうして説明を聞いて、動いているものを見ると実感が湧きますね」とコメントをいただきました。これから社会を大きく変えていくであろう話題の技術を、ジョークめかしたおもちゃに組み込み、たくさんの人に触れてもらう機会を作れたことは、本業でディープラーニングに取り組む私たちにとっても非常に新鮮で、嬉しい体験でした。

なんと、アメリカ「Maker Faire」を運営している団体「Make:」の公式Webメディアでも、「MSゴシック絶対許さんマン」が写真付きで紹介されました！
makezine.com

また、イベント当日の私たちのブース様子などは、すでにいくつかのメディアでも紹介していただいていますので、よければご覧ください。
fabcross.jp

http://eonet.jp/zing/articles/_4100769.html

そして、最後の最後にMSゴシックの正解発表です。正解はこちら！