2016-09-01 (木) 17時15分
Hadoop & Spark性能検証 〜 HiveとSpark SQLによる集計処理の比較 〜
講師:木下 翔伍(株式会社日立製作所)
担当:株式会社日立製作所
レベル:入門編
対象者:Hadoop/Sparkを活用したビッグデータ処理の情報収集を目的としている人。
前提知識:前提知識は不要。ビッグデータ処理、Hadoop/Sparkに興味のある方。
実際にある電力系データの集計バッチ処理をHadoop(MapReduce)とSparkを用いて性能比較を実施。
入力ファイル形式や入力データ量、処理内容等を変更しながら性能検証を実施した結果を報告します。
【カテゴリ】Hadoop/Spark/ビッグデータ