皆さん、こんにちは。マーケティングプラットフォーム本部で広告系製品の開発を担当している渥美です。
前回の ブログでは、新たな分散基盤である「Apache Spark(アパッチ スパーク)」の概要について、「基礎編」として解説させていただきました。今回は、実際に弊社内で行ったパフォーマンス検証について、皆さんにスライドでご紹介したいと思います。
スライドの内容
1.Spark検証環境
2.Spark検証
3.Spark検証結果
4.Spark Streaming検証
5.Spark Streaming検証結果
6.Spark Streamingデモアプリ検証
7.Spark Streamingデモアプリ検証結果
8.まとめ
Sparkは、進化のスピードが速く、この検証中にもDataFrameを目玉とする「バージョン1.3」が公開されました。今後も、継続的にSparkエコシステムのウォッチを続けていくとともに、弊社でも導入を計画していきたいと考えています。
次回は、実際にSparkはどのような活用ができるのか、という検証の一環で、デモアプリケーションを作成しましたので、そちらの記事をアップします!