【和訳】Hadoopは失敗した、という分析　#BigData

本稿は、2017年3月17日「Hadoop Has Failed Us, Tech Experts Say」の和訳し、要約したものです。

• Datanami社によるデータベース専門家とのインタビューの結果によると、Hadoopを採用したい企業の多くは、失敗プロジェクトに終わっている、と指摘している。

• Snowflake Computing社CEO, Bob Muglia氏によると、今までHadoopを採用してい幸せになった企業は見た事が無いし、
  今後も出てくるような気配が無い、と言い切っている。

  • すでに、Hadoopは多くの企業で使われ、大量のデータがストアされている、とされながらも、AWS S3やSparkのようなサービスや技術の普及により、Hadoopの利用形態が限定された方向に向かっているとのこと。
  • Muglia氏によると、Hadoopを本当に使いこなしているユーザはおそらく10〜20社程度しかいないだろう、と語っている。
  • パブリッククラウドの登場で、多くのオンプレミスで構築されたHadoopプロジェクトはS3のようなデータストア技術に置き換えられる運命になる。
  • Hadoopがメインストリームになっていない理由は、リアルタイムでユーザがインタラクティブに利用できるアプリには全然向かない。

• 元Facebookで現在、Interana社を創業したBobby Johnson氏によると、FacebookでのHadoopは苦労の連続だった、と語っている。

  • 開発者のこだわりから生まれて、そこから脱却する事ができなかった技術の代表
  • データウェアハウスの生まれ変わり、と思いきや、余計ひどい結果を生んだプロジェクトが多い（特に性能面で）。
  • MapReduce, Pigの世界はOK、その上のHiveレイヤーもまだなんとかなる。さらに上の層に行くと、かなり専門的な知識とノウハウが要求される。そういうノウハウを持っている人はFacebookでも少ない。
  • Apache Kafkaに流れていったデータサイエンティストは多い。

• Kafkaの開発者、Jay Kreps氏はKafkaについて次のように語っている。

  • KafkaはHadoopの上に作られていて、Hadoopと一緒に使うもの、と思われているがそれは全くの間違いで、スタンドアローンでちゃんと動く。
  • Kafkaを導入する際にも、Hadoopがらみのプロジェクトも一緒に引き込むべきではない。

• DataTorrent社のように、Hadoopのベンダーであるが、使いやすさ（UX）を大きく改善しているベンダーもある。DataTorrent社の創業者、Phu Hoang氏は次のように語る。

  • 大量のデータを分散処理プラットホームで処理運用したい、というニーズを考えた時に、Hadoopが唯一の選択である事が多い。辛いけどそれしかチョイスが無いユーザは多い。
  • DataTorrent社はそういったユーザに対して、使いやすいインターフェースを上のレイヤーに構築、提供する事が仕事。