技術エントリー

Spark(DataProc)からBigQuery MLに移行してコストを削減した話

私は新卒1年目だった昨年秋ごろ、ユーザー分析機能の「自動クラスタリング機能」をSpark(DataProc)からBigQueryMLに移行する仕事を担当しました。その時にやったこと・得られた知見について共有できればと思い、この記事を執筆しました。

ブレインパッド社員が投稿したQiita記事まとめ(2020年1月~5月、Python、Google Cloud Platform、音声認識ほか)

2018年1月より、ブレインパッドが始めているQiita Organization。社員が投稿した「Qiita記事まとめ」として、2020年1月~5月の記事をご紹介していきます!

「ファミマ 5days チャレンジ」の舞台裏

当社の取締役が、「食生活を最適化アルゴリズムに委ねてみる」ことにチャレンジしました。データサイエンティストもサポートし、アルゴリズム開発からスマホアプリの実装も含めてまずはやってみる!という、超短期間でのチャレンジの舞台裏をご紹介します!

OSS化プロジェクトに携わった2名のエンジニアに聞いて垣間見た、ブレインパッドのエンジニアとして働く魅力

ブレインパッドでは、「cliboa」というETLツールをOSSとして公開しました。 このOSSプロジェクトに携わった社内の2人に公開に至るまでの秘話を聞いてみましたので、対談方式でご紹介します!

アドベントカレンダー2019、無事完走しました!

昨年12月1日に開始した、ブレインパッドのアドベントカレンダー。25日間無事に完走しました!

ブレインパッド社員が投稿したQiita記事まとめ(2019年7月~12月、Python、airflow、GoogleCloudPlatform、音声認識ほか)

2018年1月より、ブレインパッドもQiita Organizationを始めています。社員が投稿した「Qiita記事まとめ」として、2019年7月~12月の記事をご紹介していきます!

【2019 MLEインターンシップ】機械学習で旅行をプランニングする

ブレインパッドでは毎年学生向けのインターンシップを開催しています。今年も、昨年に続いて「機械学習エンジニア(Machine Learning Engineer, MLE)コース」を実施し、今回は3名がインターンシップに参加しました。その取り組みと成果をご紹介します!

【告知】アドベントカレンダー2019はじめました

12月1日よりブレインパッドが恒例のアドベントカレンダーを始めました!当社のエンジニアやデータサイエンティストが、分析の話や開発の話など、さまざまなテーマで書いていきます!

TensorFlow World 2019(米・サンタクララ)参加レポート

10月28日から31日にかけて、アメリカ・サンタクララで開催された「TensorFlow World 2019」の様子を、現地から速報します。

AWSで構築したデータ基盤をBigQueryに変えました

ブレインパッドは、自社サービスのデータ基盤の一部にBigQueryを採用しています。 このブログでは、BigQuery移行前のデータ基盤技術に触れつつ、BigQueryを採用したことによるメリット、移行で苦労したことについて、移行作業当時は入社1年目の新卒エンジニ…

ブレインパッド社員が投稿したQiita記事まとめ(2019年3月~6月、画像認識、GCP、AWS、bigdata、DataScienceほか)

2018年1月より、ブレインパッドもQiita Organizationを始めています。社員が投稿した「Qiita記事まとめ」として、2019年3月~6月の記事をご紹介していきます!

Google Cloud Next '19 San Francisco に行ってきました!⑤ ~ AI/ML関連のGCPサービスの事例紹介 ~

2019年4月9日~11日に開催された「Google Cloud Next '19 San Francisco」の現地レポートを全5回の連載でお届けしてきました。今回が最終回です。

Google Cloud Next '19 San Francisco に行ってきました!④ ~ 参考になったセッションの紹介 : GKE上でのJava/Kotlinアプリケーション開発 編 ~

2019年4月9日~11日に開催された「Google Cloud Next '19 San Francisco」の現地レポートを全5回の連載でお届けします!今回はその第4回です。

Google Cloud Next '19 San Francisco に行ってきました!③ ~ 参考になったセッションの紹介 : サーバレスのデザインパターン・GAEでのPython 2→3 編 ~

2019年4月9日~11日に開催された「Google Cloud Next '19 San Francisco」の現地レポートを全5回の連載でお届けします!今回はその第3回です。

Google Cloud Next '19 San Francisco に行ってきました!② ~ 機械学習系プロダクトの新機能 ~

2019年4月9日~11日に開催された「Google Cloud Next '19 San Francisco」の現地レポートを全5回の連載でお届けします!今回はその第2回です。

Google Cloud Next '19 San Francisco に行ってきました!①

2019年4月9日~11日に開催された「Google Cloud Next '19 San Francisco」の現地レポートを全5回の連載でお届けします!今回はその第1回です。

インターン体験記 -エンジニアをめざして要件定義からリリースまでを経験してみて ー

今年4月にブレインパッドに入社した新卒社員が、入社前の4ヶ月間にわたり、マーケティングプラットフォーム本部 開発部にてアルバイトインターンをした体験記を書いてくれましたので、ブログで紹介します!

Developers Summit 2019ランチセッションで当社エンジニアが「機械学習システムのアーキテクチャ」をテーマに登壇いたしました!

2019年2月15日、株式会社翔泳社主催の「Developers Summit 2019」のランチセッションに当社のエンジニアが登壇しました。「機械学習システムのアーキテクチャ」をテーマに講演した当日の様子を本ブログでご紹介します。

アドベントカレンダー、無事完走しました!

12月1日に開始した、ブレインパッドのアドベントカレンダー。25日間無事に完走しました!

エウレカ社と合同でエンジニア向け勉強会を開催しました!

2018年11月15日に株式会社エウレカと合同で実施した、エンジニア向け勉強会の模様を本ブログでご紹介します。

ブレインパッド社員が投稿したQiita記事まとめ(2018年7月~12月、Python、機械学習、強化学習、深層学習ほか)

2018年1月より、ブレインパッドもQiita Organizationを始めました。社員が投稿した「Qiita記事まとめ」として、2018年7月~12月の記事をご紹介していきます!

【告知】アドベントカレンダー2018はじめました

12月1日よりブレインパッドがアドベントカレンダーを始めました!当社のエンジニアやデータサイエンティストが、分析の話や開発の話など、さまざまなテーマで書いていきます!

画像認識AIと人間の目、どちらが勝つ?ブースで展示した「MSゴシック絶対許さんマン」をご紹介! ‐アドテック出展レポート その5-

アドテック東京2018レポート最終回となる今回はおまけとして、弊社のブースにあったAIロボット「MS絶対ゴシック許さんマン」についてご紹介します!過去の連載はこちら 第1回:http://blog.brainpad.co.jp/entry/2018/11/02/125515 第2回:http://blog.brain…

Google Cloud™ の Professional Data Engineer に合格しました

GCP™ やAWSに代表されるクラウドサービスは、近年急速に利用が進んでおり、弊社では利用する側だけでなく、提供する側としても活用しています。今回は、クラウドサービスを使ったデータ分析の理解を深めるために Google Cloud™ のProfessional Data Engineer…

インターンシップ体験記 ~機械学習エンジニアを目指して~

ブレインパッドは毎年学生向けのインターンシップ開催しており、今年は初めて「機械学習エンジニアコース」を実施しました。 今回はインターンシップに参加したお二人にお話を伺いました! 若槻 祐貴さん(左)と西 和弥さん(右)

Google Cloud Next ’18 in Tokyo で開催されたトーナメント「Cloud Hero」で当社エンジニアが準優勝!

先日開催された Google™ のイベント「 Google Cloud Next ’18 in Tokyo 」。その中で開催された GCP™ 製品を使った技術を競う DevOps ゲームトーナメンント「Cloud Hero」に当社エンジニアが出場し、準優勝に輝きました! その様子をお届けします。(左)上…

PyCon JP 2018に当社エンジニアが登壇&チュートリアルを担当 、スポンサーとして協賛しました!

プログラミング言語「Python」のユーザーが集まるイベント「PyCon JP 2018」に登壇してきました! 当日の様子について 、登壇した当社エンジニアが振り返ります!当日はたくさんの方に足を運んで頂きました!

「builderscon tokyo 2018」に当社エンジニアが登壇&当社がスポンサーとして協賛しました!

「技術を愛する全てのギーク達のお祭り」と称された「builderscon tokyo 2018」が先日開催され、ブレインパッドも登壇&協賛しました! 登壇した当社エンジニアが、当日の様子を振り返ります。会場となった慶應義塾大学の日吉キャンパス

機械学習工学研究会(MLSE)主催の勉強会に当社エンジニアが登壇しました!

8月21日(火)に開催された、機械学習工学研究会(MLSE)主催の「現場を交えた勉強会#1」にて、当社エンジニアが機械学習を取り入れたシステム開発で体験してきた事柄を中心に発表したセッション内容をご紹介します。

弊社社員が講師を担当!! ーPyCon JP 2018チュートリアル「動かして学ぶ、はじめてのPython」のご紹介ー

プログラミング言語「Python」のユーザーが集まるイベント「PyCon JP 2018」のチュートリアルとして、当社社員が開講するセッションをご紹介します。

ブレインパッド社員が投稿したQiita記事まとめ(2018年4月~7月、機械学習、強化学習、深層学習)

2018年1月より、ブレインパッドもQiita Organizationを始めました。社員が投稿した「Qiita記事まとめ」の2018年4月~7月の記事をご紹介していきます!

国内最大級の Java ユーザーイベント「JJUG CCC 2018 Spring」に登壇してきました!

5月26日(土)に開催された国内最大級の Java ユーザーイベント「JJUG CCC 2018 Spring」に登壇した当社エンジニアのセッションをご紹介します!

JavaScript初心者でもVue.jsをはじめられます!はじめてみましょう!

JavaScript初心者の方向けに、「Vue.js」のインストールから使い方までをわかりやすくまとめました!ご一読いただき、ぜひ一度「Vue.js」挑戦してみてください。

TECH PLAY エンジニア向け勉強会を開催しました & 第2回を3/27に開催します!

2018年3月13日に、ブレインパッド初のエンジニア向け勉強会を開催しました!イベント当日の模様を本ブログでご紹介します。

ブレインパッド社員が投稿したQiita記事まとめ(2018年1月~3月、機械学習・深層学習・RaspberryPi・R・Pythonなど)

2018年1月より、ブレインパッドもQiita Organizationをはじめました。社員が投稿した「Qiita記事まとめ」を、本ブログでも定期的にご紹介していきます!

ブレインパッド入社一年目のエンジニア生活をご紹介!

2017年4月に入社した新卒エンジニアが、入社からこれまでの約1年間を振り返り、研修や業務内容などをご紹介します!

TECH PLAY エンジニア向け勉強会を開催! - 自社サービスの開発プロセスや大規模データ処理などに対処するアーキテクチャをご紹介! -

2018年3月13日(火)19:25から、ブレインパッド初「エンジニア向け勉強会」を開催! 当日お話しする内容の一部を先にブログでご紹介します。エンジニアの皆さま、ぜひ奮ってご参加ください!!

ペアプログラミングを試験的に実施してみたことを振り返る!

ブレインパッドでは、より良い製品開発のために新たな開発手法を取り入れるなど、日々さまざまな取り組みを行っています。今回、ペアプログラミングを試験的に導入しましたので、その模様をご紹介します!

アドベントカレンダー、無事完走しました!

12月1日に開始した、ブレインパッドのアドベントカレンダー。25日間無事に完走しました!

インターン奮闘記 ~画像とテキストとAIで何ができるか?新サービスを考える~

今年の夏に実施した当社のインターンシップの取り組みをご紹介します。「画像とテキストを活用したレコメンド」をテーマに、さまざまなことに取り組んでいただきました!

【告知】アドベントカレンダーはじめました

12月1日よりブレインパッドがアドベントカレンダーを始めました!当社のエンジニアやデータサイエンティストが、分析の話、開発の話などさまざまなテーマでざっくばらんに書いていきます。

Google App Engine( GAE )や Google BigQuery を活用したWebサービスの開発

当社が開発・提供する運用型広告最適化ツール「L2Mixer(エルツーミキサー)」の開発者が、 Google App Engine ( GAE )や Google BigQuery といった Google Cloud Platform のマネージド・サービスを活用したWebサービス開発について紹介します。

深層学習は画像のどこを見ている!? CNNで「お好み焼き」と「ピザ」の違いを検証

こんにちは、AI開発部の伊藤です。今回のブログは、「深層学習はいったい画像のどこを見て判断しているのか」という素朴な疑問に答えてくれる技術として、昨年提唱された「Grad-CAM」という技術を紹介します。 目次 目次 1. はじめに 2. Grad-CAMの紹介 Grad…

物理のいらない量子アニーリング入門

当社の社員が物理を専門としない人向けに量子アニーリングについて解説します! こんにちは、A.I.開発部の太田です。 今回は量子アニーリングの簡単なシミュレータを作ってみたり、実際のD-Waveを使ってみた経験から、物理を専門としない人向けに量子アニー…

日米のビッグデータ・AIの先駆者の前で基調講演 -「Big Data Analytics Tokyo」に当社草野が登壇 -

こんにちは、広報の辻田です。2月7日(火)・8日(水)の両日、ビッグデータや人工知能(AI)の最新事情を紹介する「Big Data Analytics Tokyo~ビッグデータに人工知能を~」が六本木アカデミーヒルズ(東京都港区)で開催されました。日米のビッグデータや…

先進技術が拓く新時代 ~日本を代表する研究者に学ぶ量子アニーリング~

こんにちは、広報の中林です。ブレインパッドでは、社内外の最新の技術知見を共有し、意見交換を行うため、勉強会を定期的に開催しています。 2016年12月末に、近年量子コンピューティングの方式の一つとして注目を集めている「量子アニーリング」について、…

Pythonユーザーが一堂に集結する国内最大級のイベント「PyCon JP 2016」参加レポート

こんにちは、広報の辻田です。9月20日(火)~24日(土)に、早稲田大学西早稲田キャンパス(東京都新宿区)にて国内最大級のPythonユーザーイベント「PyCon JP 2016(主催:一般社団法人PyCon JP)」が開催されました。PyCon(Python Conference)は、プロ…

PrestoとHyperLogLogで、大量ログからユニークユーザー数を高速に推定する(実践編)

皆さん、こんにちは。マーケティングプラットフォーム本部で広告系製品の開発を担当している田頭です。前回の理論編ブログでは、大量のログから高速にユニークユーザー(以下、UU)数を推定するための背景やアルゴリズム、およびその実装部分について、「理…

PrestoとHyperLogLogで、大量ログからユニークユーザー数を高速に推定する(理論編)

皆さん、こんにちは。マーケティングプラットフォーム本部で広告系製品の開発を担当している田頭です。現在、ブレインパッドでは、DMP(※1)に蓄積されたさまざまなデータをもとに、ユーザー数を確認しながら直感的にセグメントを作成できる「DeltaCube(デ…

当社社員が執筆した「詳解 Apache Spark」出版記念イベント 参加レポート

こんにちは、広報の辻田です。5月11日(水)に、当社の社員が執筆に関わった書籍「詳解 Apache Spark~大規模データ分析を基礎から、徹底的に~(技術評論社)」の出版記念イベント(ハッシュタグ #shokaispark)が開催されました。詳解 Apache Spark作者:下…