Apache Sparkの導入検証を行いました -パフォーマンス検証編-

本記事は、当社オウンドメディア「Doors」に移転しました。

約5秒後に自動的にリダイレクトします。

皆さん、こんにちは。マーケティングプラットフォーム本部で広告系製品の開発を担当している渥美です。

前回の ブログでは、新たな分散基盤である「Apache Spark(アパッチ スパーク)」の概要について、「基礎編」として解説させていただきました。今回は、実際に弊社内で行ったパフォーマンス検証について、皆さんにスライドでご紹介したいと思います。

スライドの内容

1.Spark検証環境
2.Spark検証
3.Spark検証結果
4.Spark Streaming検証
5.Spark Streaming検証結果
6.Spark Streamingデモアプリ検証
7.Spark Streamingデモアプリ検証結果
8.まとめ



Sparkは、進化のスピードが速く、この検証中にもDataFrameを目玉とする「バージョン1.3」が公開されました。今後も、継続的にSparkエコシステムのウォッチを続けていくとともに、弊社でも導入を計画していきたいと考えています。

次回は、実際にSparkはどのような活用ができるのか、という検証の一環で、デモアプリケーションを作成しましたので、そちらの記事をアップします!