SoftLayerでCloudera Solutionの構築を検証する(1/2)：オーダ編 #softlayer

今回は SoftLayer のビッグデータソリューションの1つである Cloudera Solution の構築を検証し、2回に分けて記事にしています。

• 第1回：オーダ編

SoftLayer の ソリューションデザイナーで、Hadoop クラスタを構築するためのサーバのオーダ、プロビジョニング（サーバおよびネットワーク構成、Cloudera Manager のインストール、Cloudera デストリビューションのダウンロード）の過程を解説します。

• 第2回：Cloudera Manager 編

SSL-VPN 経由で Cloudera Manager にログインし、Cloudera ディストリビューションの構成およびインストール、環境設定に至るまでの過程を解説します。

Cloudera　Solution on SoftLayerの概要

Cloudera　Solution on SoftLayerの特長

SoftLayer のビッグデータソリューションの1つである Cloudera Solution は、次のような特長があります。

• ソリューションデザイナー

サーバ構成および Cloudera のラインセンス構成を GUI でサポートします。

• ベアメタルサーバ

ベアメタルサーバ上に Hadoop クラスタを構築するので、仮想サーバでよく見られるパフォーマンス問題を懸念する必要がありません。

• プロビジョニング

ソリューションデザイナーでオーダを行うと、サーバおよびネットワークの構成、Cloudera Manager のインストール、Cloudera ディストリビューションのダウンロードが行われます。
最終的にユーザは Cloudera Manager にログインできます。

• VPN 接続

Cloudera Manager および Cloudera Agent への接続は、SSH 経由でプライベート IP アドレスに対して行います。

※Cloudera Agent(Name Node+Data Node)

• Cloudera Manager

Cloudera manager（Standard/60days Enterprise/Enterprise）から選ぶことができます。

• ワンストップ

サーバおよびネットワーク構成、Hadoop クラスタの構成、Cloudera Enterprise ライセンス購入、サポート（サーバ&Hadoop イシュー）などを一括で SoftLayer のマネジメントコンソール上で完結できます。

サーバおよび Cloudera の料金について

月間料金と年間料金から選ぶことができます。サーバ料金と Cloudera のライセンス料金（Enterprise Edition の場合）は別々ですが、SoftLayer の料金として一括で課金されます。

• サーバ料金（月/年）

料金の詳細は事項のソリューションデザイナーを参照してください。

Cloudera のラインセンスについて

Cloudera は次のような料金体系になっています。

• Cloudera Manager Standard Edition

一部の機能制限あり、サポートなし、無料

• Cloudera Manager 60days Trial Edition

機能制限なし、サポートなし

• Cloudera Manager Enterprise Edition

機能制限なし、サポート付き、月/年、有料
※サポート
8/5 Monthly
8/5 Annual
24/7 Monthly
24/7 Annual

Cloudera の料金体系の詳細は、www.softlayer.com/cloudera-hosting を参照してください。

Cloudera のライセンス別の機能概要

Cloudera のライセンス別の機能概要は次の通りです。

2013年9月から Standard 版もノード数の制約が解除されました。さらに監視機能が追加され、クラスタ構築や環境設定、運用に至るまで Cloudera Manager Standard 版でまかなうことができるようになりました。

Cloudera Manager の Standard 版と Enterprise 版のすべての機能比較は www.cloudera.com/content/cloudera/en/products-and-services/product-comparison.html を参照してください。

事前準備

検証シナリオ

初めに1台の Cloudera Manager Server と2台の Cloudera Agent Server の Hadoop クラスタを構築した後、もう1台の Agent Server を追加してみる、というシナリオです。

Cloudera Manager Server

Cloudera Manager は、Hadoop クラスタの構成管理および運用管理を行うことができるウェブポータルです。SoftLayer のソリューションデザイナーでは、Cloudera Manager を個別 Server にする仕様になっています。

Cloudera Agent1

今回の検証では、このサーバがネームノードおよびデータノードを兼ねている構成にしています。さらに、検証の目的で Hbase、Hive、Impala、Hue、Oozie、Sqoopなどまでインストールしています。実際の構成は Cloudera Manager で行いますので、第2回の記事で解説します。

Cloudera Agent2

HBase の Region Server、Hive の Gateway、Impala デーモンなどをインストールしています。

Cloudera Agent3

このサーバは、Hadoop クラスタの運用中のサーバ拡張を想定しています。Cloudera Manager から、一通り Hadoop クラスタの構築および環境設定を行ってから、サーバの追加オーダを行って、Cloudera Manager で Hadoop クラスタに追加し、必要なロールの指定を行います。

SSH キーペア作成

ソリューションデザイナーからのオーダ中に SSH キーペアが必要になります。PuTTYgen などでキーペアを作ってください。

ここでは PuTTYgen を利用して SSH-2　RSA キーを生成します。
PuTTYgen を起動し、[Generate]をクリックしてから、マウスをランダムに動かしてください。

キー生成が終了したら、[Save Private key]をクリックし、キーを保存してください(rsa_cdh.ppk)。

そしてパブリックキーをメモ張などにコピーして保存してください(rsa_cdh.pub)。

Cloudera Solution 構築手順の概要

SolftLayer 上で Cloudera Solution の構築手順は、次の3段階で実行されます。

Cloudera Solution Order（Solution Designer）

ユーザは、ソリュ―デザイナからドメインや Cloudera Software Edition、Version、Add-no　Description、サーバの仕様と台数などを決めてオーダを提出します。

Provisioning

SoftLayerは、ユーザからのオーダを受けてサーバやネットワークを構成し、Cloudera Manager をインストールします。この過程は4時間程度かかります。

Cloudera Configuration

ユーザは、Cloudera Manager を使って Hadoop クラスタ上の各サーバに Hadoop アプリケーションのコンポーネント配置を指定（ロール指定）し、構成を行います。

Cloudera　Solution Order

オーダの開始

SoftLayer のマネジメントコンソールから[Devices→Big Data→Cloudera]を選択し、Cloudera Solutions 画面の右上の[Order Cloudera Solution]をクリックしてください。

Redirect Warning 画面が表示されますが、そのまま[Continue]をクリックしてください。

ソリューションデザイン

Welcome to Solution Designer 画面が表示されます。[BEGIN]をクリックしてください。

Solution Designer 画面から、次にように入力してください。

設定

Domain Name	cdh.example.jp	任意のドメイン定義。こちらのドメインは、主にプライベート VLAN 上で Hadoop クラスタのノード間で名前解決のために使われます。こちらの設定は、SoftLayer によってサーバの /etc/hosts の中に反映されます。
Software Edition	Cloudera Standard	Standard/Enterprise のどちらかを選択できます。
Software Version	CDH4.4 with Cloudera Manager4.7	検証時点の Default（1バージョンしかありません）
Add-on Description	－	こちらはEnterprise Edition であることが前提です。 Cloudera SMBD (BDR) Cloudera SMCN (Navigator) Cloudera RTD (HBase) Cloudera RTQ (Impala) これらはさらに追加料金が掛ります。料金の詳細は www.softlayer.com/cloudera-hosting を参照してください。
Data Center	SNG01-Singapore	(2014年6月24日現在) AMS01-Amsterdam DAL05-Dallas DAL06-Dallas HKG02-Hong Kong SJC01-San Jose SNG01-Singapore WDC01-Washington, DC

CDH 4.4 のパッケージ構成のすべては www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH-Version-and-Packaging-Information/cdhvd_topic_7.html から確認できます。

Cloudera Management Server 構成

次は、[MANANGER→Edit]をクリックして Manager サーバの仕様を決めてください。このサーバに Cloudera Manager がインストールされます。
Edit Server 画面には、デフォルトで基本仕様になっていますが、システムおよびネットワークの構成の変更を行うことができます。

次のような構成が可能です。

General system

Networking

今回の検証では、Hardware 仕様は基本構成のままにしています。[OK]をクリックしてCloudera Management Serverの仕様を確定してください。

Cloudera Management Server の仕様が確定されると、SNG01-M のように、ホスト名が決まります。

Cloudera Agent Server 構成

Cloudera Agent Server の仕様を決めてください。次のようなサーバの追加ボターンをクリックしてください。

Add Server 画面から、サーバの基本仕様と台数、さらにシステムとネットワークオプションの指定が可能です。

今回は、デフォルトの仕様で、サーバは2台とします。

設定

Process node	default	Description
Select number of servers	2	40 台まで。

参考までに紹介しますが、Node パターンによってリソースのベースが変わります。次は Node 2U のベースです。

次は Node 4U のベースです。

どの Node タイプを選ぶかによって、拡張構成の RAM のサイズや HDD の数が若干変わります。

Cloudera Agent Server の指定が終わったら、[OK]をクリックして設定を確定してください。

次のようにソリューションデザイナに戻り、ホスト名と数量の表示が確認できるはずです。これで基本的なサーバ仕様と Cloudera の構成は指定できました。
次は、[COUPUTE ORDER]をクリックしてください。

Software Editionは、次の5種類から選択できます。Cloudera Enterprise の場合は有料です。今回は、Cloudera Standard を選択します。

Cloudera の料金の詳細は www.softlayer.com/cloudera-hosting から確認できます。

SSH キー登録

Configure SSH Access 画面に事前準備で作ったパブリックキーを貼り付けてから、[OK]をクリックしてください。

設定内容の検証が行われ、設定に問題がなければ、Order Summary and Billing 画面に遷移します。

オーダサマリと請求金額

Order Summary and Billing 画面では、サーバのオーダ内容および Cloudera の有料サービスの構成内容、そして請求額が確認できます。
次は、Cloudera Agent Server の構成内容です。

Host and Domain Names では、Cloudera Agent Server のホスト名とドメインを編集できます。今回は、Solution Designer によって付けられたホスト名で進めます。

次は、Cloudera Management Server の構成内容です。今回は、有料オプションを指定していませんが、有料オプションを指定した場合、この画面にサマリと請求金額が表示されます。

Cloudera Manager Server のホスト名とドメインを編集できますが、問題ないのでそのまま進めます。

最後に、I have read…Master Service Agreement と I agree to allow VALN spanning をチェックし、[Finalize Your Order]をクリックしてください。

次のように Your Receipt が表示されたら、オーダは確定され、Cloudera Solution のプロビジョニングは既に始まっています。

オーダ受付

さらに、SoftLayer がオーダを受理すると、次のようにオーダを出したユーザ宛に、次のようなメールが届きます。

なお、マネジメントコンソールの[Devices→Big Data→Cloudera]で、次のように Cloudera Solution のプロビジョニング開始が確認できます。

Clouddera Solution の情報は、プロビジョニングが終了してからではないと何も表示されません。

Cloudera Solution 名称変更

Cloudera Solution の名称は適切な名称に変更可能です。[Action→Rename Solution]をクリックしてください。

Rename Solution のダイヤログボックスに新しい名称を入力し、 [OK]をクリックしてください。

次のように Cloudera Solution の名称が変更されました。

Cloudder Solution のベアメタルサーバが起動するまでは、おおよそ4時間程度かかります。

Cloudder Solution のサーバ起動が終了すると、次のようにサーバ覧が確認できます。[my-cloudera-cluster]をクリックしてみてください。

オーダ内容確認

オーダしたサーバが起動すると、オーダを提出してユーザ宛にメールが届くはずです。念のためにサーバ名をクリックし、オーダ内容を確認してください。特に Hard Driveの構成は重要な確認ポイントです。

まとめ

このように SoftLayer のビッグデータソリューションの1つである Cloudera　Solution は、ソリューションデザイナーで Cloudera Solution 構成のためのハードウェアおよびソフトウェア情報、ネットワーク構成を指定し、構成済みのベアメタルサーバを受け取ることができます。さらに次回では、Cloudera Manager に接続し、Clouderaデストリビューションのインストールおよび環境設定などを紹介します。

[関連記事]

---

SoftLayerでCloudera Solutionの構築を検証してみる (2/2)：Cloudera Manager編