“自作AIロボット開発”の経験をフル活用!前代未聞「伝統工芸品×AI」プロジェクト成功の秘訣に迫る

未来につながるValues Story~データサイエンティスト編~。
今回は、広島県安芸郡熊野町の伝統工芸品「熊野筆」の検品工程を効率化するため、良品・不良品を瞬時に判別する画像認識AI搭載ツールのプロトタイプを開発したプロジェクトを紹介します。開発を主導したのは、ブレインパッド生え抜きの若手データサイエンティスト2名。AIを活用した自作ロボットの開発で得た経験も投入されたという今回のツールの開発の舞台裏に迫ります。

f:id:brainpad-inc:20210716142527j:plain

※伝統工芸品「熊野筆」の紹介、プロジェクトの背景や使ったテクノロジーなどについては、以下の Google 公式ブログにまとまっていますので、ぜひ詳細を知りたい方はこのインタビュー記事を読む前に一読いただけたら嬉しいです。
https://developers-jp.googleblog.com/2020/05/tensorflow.html

前代未聞!「伝統工芸品×AI」プロジェクトの舞台裏に迫る

ブレインパッドは2020年12月、伝統工芸品「熊野筆」の不良品検知ツールのプロトタイプを開発しました。

熟練の筆職人の検品工程を画像認識AIが支援するというこのツールは、 Google Japan 公式YouTubeチャンネルにも取り上げられるなど、多くの反響をいただきました。(この動画には、本ブログに登場吉田も出演しています)

youtu.be

本記事では、ツール開発を担当した当社データサイエンティスト2名へのインタビューを交えながら、プロジェクト成功の秘訣に迫っていきたいと思います。

「一日中データとにらめっこ」していると思われがちなデータサイエンティストですが、ブレインパッドのデータサイエンティストの業務範囲は意外にも広い!ということをみなさまに知っていただければ幸いです。

ブレインパッド生え抜きのデータサイエンティスト2名がプロジェクトを主導

本プロジェクトの依頼主は、広島県安芸郡熊野町で伝統工芸品「熊野筆」を生産する株式会社晃祐堂(こうゆうどう)様です。取締役社長の土屋様から、「熊野筆の検品作業にAIを活用できないか?」という相談が Google™ の日本法人に持ち掛けられたことがプロジェクトの発端です。

その後同社内で相談内容を検討し、「画像認識AIの開発を得意とするブレインパッドならば、きっと期待に応えてくれるに違いない!」ということで、我々ブレインパッドが開発パートナーに指名されました。

最終的に、 Google のオープンソース機械学習ライブラリ「TensorFlow」を活用した熊野筆の良品・不良品を検知するアルゴリズムが完成し、これを搭載した不良品検知ツールのプロトタイプが完成しました。現在、晃祐堂様では実用に向けた取り組みが進められています。

AIの画像認識技術を利用したこのツールは、完成した筆が良品か不良品かを瞬時に判別します。
AIの画像認識技術を利用したこのツールは、完成した筆が良品か不良品かを瞬時に判別します。

本プロジェクトの中心メンバーは、新卒としてブレインパッドに入社したデータサイエンティストの二人です。2018年のプロジェクト当時、プロジェクトマネジャー兼リードデータサイエンティストの吉田 勇太は入社5年目、データサイエンティストの表 尚吾は入社4年目でした。

f:id:brainpad-inc:20210707112259j:plain
ブレインパッド アナリティクス本部 データサイエンティスト 吉田 勇太
f:id:brainpad-inc:20210707112936j:plain
ブレインパッド アナリティクス本部 データサイエンティスト 表 尚吾
※写真撮影時のみマスクを外しています。


プロジェクト成功の立役者とも言える二人に、今回のプロジェクトを振り返ってもらいました。

「得意な分野」「やりたいこと」のアピールがプロジェクト担当のきっかけ

そもそもこのプロジェクトを担当することになったきっかけは何だったのでしょうか。背景には、日頃からの周囲に向けたアピールがあったと二人は話します。

リードデータサイエンティスト吉田(以下、吉田):僕はもともと伝統工芸とか、農業とか、教育とか、文化として社会に深く根付いていくような分野の仕事をしたいって採用面接のときにも言っていたんです。

あと、僕はプライベートの趣味的な活動で、画像認識で動く自作ロボットを友人たちと開発していました。今回のプロジェクトでは具体的な装置や設備を作る感じになりそうだったので、そこで得た知見も役立てられそうと思い、アサインに立候補しました。

データサイエンティスト表(以下、表):僕は当時、デジタルマーケティング領域のプロジェクトを数多く担当していたので、次は全く異なる領域のプロジェクトに携わってみたいと周囲にアピールしていたんです。自分の技術範囲を広げたいというその話が伝わって、今回のプロジェクトにアサインされることになりました。

ーー得意な分野や、やりたいことをアピールしておくと、そんな仕事の話が舞い込んでくる。それってブレインパッドの文化なのでしょうか?

吉田:そういう傾向はあると思いますね。「私、こういうことに興味があります!できます!」っていうのを日頃から周囲に言いふらしたり社内Wikiに技術記事を書いたりして認識してもらうのは、めっちゃ重要なことだと思います。

まさに「芸は身を助く」!仕事と遊び2つの経験が課題解決のヒントに

2018年にプロジェクトが始まると、メンバーたちは早速広島に向かい、晃祐堂様の課題を綿密にヒアリングしました。そして東京に戻った彼らは、いったいどんな課題解決のアプローチを考えたのでしょうか。

吉田:晃祐堂様のリクエストは、「AIを使って、職人が行う筆の検品作業を自動化・効率化したい」というものでした。でも、AIの画像認識を筆に使ったケースって、ネット上を探しても該当するような情報が全然ない。だから最初は「本当にそんなこと実現できるんだろうか?」と若干不安もありました。

でも、「おそらく実現は可能だろう」ということで依頼をお引き受けすることにしました。そう考えた理由は2つあります。
1つ目は、ポテトの不良品検知に画像認識AIを使ったキユーピー株式会社様のプロジェクトの実績がブレインパッドにあり、そしてこのプロジェクトに私自身が参加していたことです。取り組みの内容を熟知していたので、この経験・ノウハウは活かせるだろうと判断できました。

ブレインパッドは、世界初の食品原料検査装置をキユーピー株式会社様と開発しました。

参考リンク:
2020年2月17日発表プレスリリース
ブレインパッド、キユーピーと開発した世界初の食品原料検査装置が、第2回日本オープンイノベーション大賞 農林水産大臣賞を受賞
https://www.brainpad.co.jp/news/2020/02/17/11108

2016年10月25日発表 プレスリリース
ブレインパッド、キユーピーの食品工場における不良品の検知をディープラーニングによる画像解析で支援
http://www.brainpad.co.jp/news/2016/10/25/3816

「+AI」ウェブサイト掲載
キユーピー株式会社様×ブレインパッド 開発ストーリー対談「AIが高める“食の安全・安心”」
https://ai.brainpad.co.jp/people/story1/

吉田:もう1つは、冒頭でもお話ししましたが、僕には個人的な趣味の活動で、ディープラーニングで画像を見分けるロボットの開発経験がありました。ブレインパッドのノウハウと僕個人の開発経験を組み合わせれば、おそらく筆の画像認識もイケるんじゃないかと。そういった経緯で依頼をお引き受けすることにしました。

ーーなんと!仕事だけでなく、個人的な遊びの経験が今回のプロジェクトに活かされていたんですね。「芸は身を助く」とはまさにこのこと!

ちなみに、吉田が話しているロボットとは、数あるフォントの中からMSゴシックを見つけだし、頑なに排除するという(笑)AIロボット=「MSゴシック絶対許さんマン」の開発プロジェクトです。


吉田が参画した「MSゴシック絶対許さんマン」の開発経験が、本プロジェクトに活かされることに。
吉田が参画した「MSゴシック絶対許さんマン」の開発経験が、本プロジェクトに活かされることに。

参考リンク:
”フォント”の違い、深層学習で区別できるのか? ー ディープラーニングでフォントを見分けるロボットアーム「MSゴシック絶対許さんマン」を「Maker Faire Tokyo 2017」でお披露目 ー
https://blog.brainpad.co.jp/entry/2017/08/22/160000

東急ハンズで材料を調達!驚きの低予算で試作品が完成

プロジェクトを正式に受託すると、メンバーは早速、画像認識AIが筆の不良品検知に活用できるのかテストを行ってみることにしました。

課題解決の方向性を見定めるテスト段階のため、ツールの試作品は驚きの低予算で製作されました。まず、カメラにはブレインパッドの会社備品を使用。筆を設置する台座には東急ハンズで購入したフィギュア用の台座に、紙粘土と爪楊枝で手作りしたアタッチメントをつけました。

f:id:brainpad-inc:20210713163247j:plain
東急ハンズで購入したフィギュア用台座に、
紙粘土と爪楊枝で自作したアタッチメントを設置。
f:id:brainpad-inc:20210713163251j:plain
筆の画像を撮影するカメラには会社備品を使用。
撮影ボックスはそこらへんに転がっていた社員の私物!

撮影ボックスにはブレインパッド社員の私物を拝借!結果として画像データを取得するための撮影環境の総製作費を3,000円程度に抑えることができました。

さて、テストの結果はどうだったのでしょうか?

吉田:テストは思っていたよりうまくいきまして、この方針でデータ取得とアルゴリズム作成を頑張れば課題解決に近づけそうと思えました。筆を置く台は360度回転するようになっていて、筆が1周する間に固定カメラが 20 枚の画像を自動撮影します。その画像を、画像認識AIがチェックして筆が良品か不良品かを判別します。

完成品の筐体は、当然もっとお金をかけて作り直しをしましたが、核となるアイデア自体はプロトタイプのものがそのまま踏襲されています。

5,000枚超を撮影!想定外のアクシデントも乗り越えて、無事不良品検知ツールが完成!

課題解決アプローチの正しさが確認されたことで、あとはこの方向性で画像認識の精度をひたすら高めていくことになります。

プロジェクトは次に、晃祐堂様から良品の熊野筆300本近くを取り寄せ、筆の画像を大量に撮影するフェーズへと進みました。その画像データをAIにディープラーニング(深層学習)させ、「良品とは何か?」を学ばせるのです。

デスクを埋め尽くした大量の熊野筆!
デスクを埋め尽くした大量の熊野筆!

大量の筆の画像撮影とベースラインモデルの改良を担当したのは表です。当時、表のデスクは写真の通り、大量の筆に埋め尽くされていました。その様子を見た別の社員からは「一体何やってるの?」「データサイエンティストってここまでやるのか」とたくさん声をかけられたそうです。

そして、撮影した画像はなんと5,000枚超!画像撮影の作業を表に振り返ってもらいました。

表:撮影で大変だったのは、「良品」として贈られてきた筆の一部が、輸送の最中に梱包の都合で形が変わってしまい「不良品」になってしまうことでした。普通なら気付かずにスルーしてしまうところですが、その時点ですでに大量の筆を見ていたので「なんか変だな?」と不良品に気付くことができました。対象を研究するうちに、いつのまにか自分が学習していたというのは「機械学習あるある」ですね(笑)。

「対象を研究するうちに、いつのまにか自分が学習していたというのは、“機械学習あるある”ですね」(表)
「対象を研究するうちに、いつのまにか自分が学習していたというのは、“機械学習あるある”ですね」(表)

こうして、ディープラーニング用の学習データは無事に揃い、筆の不良品を検知する画像認識アルゴリズムが完成しました。

その後、ハードウェアの開発を得意とするパートナー企業と連携することで、ご覧の通り、立派な筐体もできあがりました。

ブレインパッドが制作したプロトタイプ(左)とパートナー企業と共同制作した完成品(右)。
ブレインパッドが制作したプロトタイプ(左)とパートナー企業と共同制作した完成品(右)。

こうして完成した「不良品検知ツール」は、晃祐堂様を視察にやってくる方々も興味深く見学をされるようで、晃祐堂様のPRにも大きく貢献しています。

具体的な「モノ」をともなうプロジェクトならではの難しさとは?

今回のプロジェクトにおいて難しかったこと、苦労したことを二人に振り返ってもらいました。「伝統工芸品×AI」プロジェクトならではの苦労とはどんなものだったのでしょうか。

まずは吉田から。

吉田:今回のクライアントは伝統工芸品の生産者でしたので、画像分析やAI技術に関する内容をいかにわかりやすく伝えるか、現場の人だけで今回のツールを運用していくためにいかに負担にならず扱いやすいものにできるかには特に気を配りました。

例えばこれは、先方とのコミュケーションのためにプロジェクトメンバーの一人が作ってくれた3次元画像です。青の画像が「良品の筆」、赤の画像が「不良品の筆」、オレンジの画像が「どちらとも判別できない筆」を意味しています。

f:id:brainpad-inc:20210713115212g:plain
画像認識AIの精度を、グラフィカルに伝えるために制作された3次元モデルの画像。

同じ色の画像がなんとなくまとまりを見せていれば、不良品判定のアルゴリズムがちゃんと機能していることをグラフィカルに伝えることができるわけです。筆職人の方とスムーズな意思疎通を図るために視覚的な結果共有を多めに行いました。
判定結果を表示する画面も一見してわかるようにデザインを工夫しシンプルにしました。また検知装置自体が不具合を起こした場合も、電源を抜いて挿し直すだけで状態をリセットするようにしました。AIや画像認識、パソコン操作の特別な知識が無くても、とにかく「使える」ものを意識して作りました。

検知対象の筆の検知結果を標示する画面。緑は良品、赤は不良品を表示するようにし、 一目で結果がわかるように設計
検知対象の筆の検知結果を標示する画面。緑は良品、赤は不良品を表示するようにし、 一目で結果がわかるように設計

f:id:brainpad-inc:20210713172347g:plainf:id:brainpad-inc:20210713172323g:plainf:id:brainpad-inc:20210713172335g:plain
赤い箇所が不良品箇所を表しています。具体的にどこが不良品箇所なのか視覚的にわかりやすくなるよう工夫しました。
(左 : 良品筆、中央&右 : 不良品筆)

続いて表です。表は、具体的なモノをともなうプロジェクトならではの難しさを感じていたそうです。

表:今回は筆という現実世界に存在するモノを画像データにして取り扱うため、データの取得という点で苦労しました。

例えば、学習用の画像データを撮影した環境と、実際に筆を検品する場所の環境があまりに違いすぎると、画像認識AIがうまく働いてくれません。そこで完成した筐体では、自然光の入り込みを最小限に抑える、撮影用照明の光量を一定に保つ、などの工夫をしました。プロジェクトを通じて、リアルなモノがともなうプロジェクトならではの教訓を数多く得ることができました。

「組織のノウハウと、個人の経験。この2つが揃わなければプロジェクトは成功しなかった」

最後に、リードデータサイエンティストとして、また、プロジェクトマネジャーとして本プロジェクトを推進した吉田に、プロジェクト全体の感想を聞いてみました。

吉田:個人的には、今まで自分がやってきたことの全てがこのプロジェクトに集約された!という印象があります。仕事で取り組んできたこと、趣味でやってきたことの両方が活かされていますし、ブレインパッド入社時に「こういう仕事がやりたい」と思っていたことも実現できました。ブレインパッドでのデータサイエンティストとしての集大成をここで1つ残すことができたかなと思っています。

そもそも、ブレインパッド組織としてのノウハウ、個人としての経験、その両方が揃っていなければ、このプロジェクトを引き受けることはできなかったと思います。プロジェクトに出会うタイミングがあと数年早かったら、今回のような結果にはならなかったでしょうね。

「データサイエンティストとしての集大成をここで1つ残すことができたかなと思っています」(吉田)
「データサイエンティストとしての集大成をここで1つ残すことができたかなと思っています」(吉田)

ブレインパッド組織としてのノウハウと、データサイエンティストの個人的な経験が組み合わさることで、今回の「伝統工芸品×AI」プロジェクトは成功を収め、クライアントにも大変ご満足をいただけることとなりました。

前例のない、筆の不良品検知というプロジェクトを成功に導くことができたのは、さまざまなバックグラウンドを持つ150名超のデータサイエンティストが集まるブレインパッドだからこそ。

これからもブレインパッドは、前例のない取り組みにも果敢に挑戦し、データ活用の未来をつくり出していきます。

企業・組織のご担当者様はもちろんのこと、こんな私たちと一緒に刺激的なプロジェクトを経験したい技術者の方も、ぜひブレインパッドにお声をかけてくださいね。



最後に

晃祐堂様との「熊野筆×AI」のプロジェクトは、マイナビニュースLedge.ai、中国地方を中心に展開する中国新聞に記事が掲載された他、TBSの夕方の報道番組「Nスタ」でも取り上げられています。また、当社のオウンドメディア等でも、本インタビュー記事の他、さまざまな媒体でコンテンツ化しています。それぞれ違った角度からこのプロジェクトを取り上げていますので、多角的に楽しんでいただけると思います!!ぜひご視聴&ご覧ください。

■白金鉱業.FM:20. 伝統工芸と深層学習
https://shirokane-kougyou.fm/episode/20

■+AIサイト:晃祐堂様×ブレインパッド対談記事
https://ai.brainpad.co.jp/people/story5/


当社では、データサイエンティストを積極的に募集しています。
新卒採用・キャリア採用ともに、ご応募をお待ちしています!
www.brainpad.co.jp