木内です。本年もよろしくお願いいたします。

わかるひとにしかわからないタイトルですいません！今回は GraphFrames で遊んでみます。

GraphFramesとは？

DMM.com Labo の 加嵜さんがこれ以上無いプレゼンテーションを公開しています。

もう以上です！個人的にはPythonでグラフデータがいじれることが魅力的ですね。

MovieGraphって何？

Neo4jをさわったことがある人であれば一度は使ってみたことがある有名なデモデータです。グラフデータの勉強に非常に役に立つので、私も結構使っています。

一方 GraphFrames のデモデータはちょっとしょぼい・・・。これだとあまりやる気が出ないです！ということで MovieGraph を GraphFrames で使えるようにします！

実際のデータ

以下のリポジトリで利用可能です。何かすごいテクニックを使ったわけではなく単にベタ打ちで入れ直しました！全ての業務を放棄して6時間くらいかかりました！なんかもう社長に怒られそうです・・・。

https://github.com/m-kiuchi/cllab190111-graphFrames

リポジトリをクローンして、以下のように実行して頂ければ MovieGraph を GraphFrames でクエリした結果が表示されます。

$ ~/spark/bin/spark-submit --packages graphframes:graphframes:0.6.0-spark2.3-s_2.11 movieGraph.py
(略)
+------------------------------------------------+-----------------------------------------------+------------------------------------------------------------------+
|source |rel |target |
+------------------------------------------------+-----------------------------------------------+------------------------------------------------------------------+
|[Laurence, [Person], Laurence Fishburne,,, 1961]|[TheMatrix, [Morpheus], Laurence, [ACTED_IN],,]|[TheMatrix, [MOVIE], The Matrix, 1999, Welcome to the Real World,]|
|[Emil, [Person], Emil Eifrem,,, 1978] |[TheMatrix, [Emil], Emil, [ACTED_IN],,] |[TheMatrix, [MOVIE], The Matrix, 1999, Welcome to the Real World,]|
|[Carrie, [Person], Carrie-Anne Moss,,, 1967] |[TheMatrix, [Trinity], Carrie, [ACTED_IN],,] |[TheMatrix, [MOVIE], The Matrix, 1999, Welcome to the Real World,]|
|[LanaW, [Person], Lana Wachowski,,, 1965] |[TheMatrix,, LanaW, [DIRECTED],,] |[TheMatrix, [MOVIE], The Matrix, 1999, Welcome to the Real World,]|
|[Keanu, [Person], Keanu Reeves,,, 1964] |[TheMatrix, [Neo], Keanu, [ACTED_IN],,] |[TheMatrix, [MOVIE], The Matrix, 1999, Welcome to the Real World,]|
|[Hugo, [Person], Hugo Weaving,,, 1960] |[TheMatrix, [Agent Smith], Hugo, [ACTED_IN],,] |[TheMatrix, [MOVIE], The Matrix, 1999, Welcome to the Real World,]|
|[JoelS, [Person], Joel Silver,,, 1952] |[TheMatrix,, JoelS, [PRODUCED],,] |[TheMatrix, [MOVIE], The Matrix, 1999, Welcome to the Real World,]|
|[LillyW, [Person], Lilly Wachowski,,, 1967] |[TheMatrix,, LillyW, [DIRECTED],,] |[TheMatrix, [MOVIE], The Matrix, 1999, Welcome to the Real World,]|
+------------------------------------------------+-----------------------------------------------+------------------------------------------------------------------+

6時間費やした甲斐がありました・・・！もう私は満足です。

さいごに

また時間があったら GraphFrames をいじってみたいと思います。

では！