Neo4j Stream, [RDB/NoSQL]Kafka Connector CDC(Change Data Captuer)の紹介 #neo4j

Neo4j社は2019年10月1日、Neo4j Streamを発表しました。Neo4j Streamは、Neo4j Pluginとして簡単にインストールできるもので、Apache Kafkaと連携し、Neo4j Streams Kafka Producer(Publish)とConsumer(Subscribe)が実装できます。それで、Cypherに変換できるよう規定のルールに従って書いたJSON形式のメッセージをKafka Brokerに投入すると、そのイベントをトリガにし、Neo4jの内部的にはJSON形式のメッセージをCypherに変換して実行することで、自動的にNeo4jのグラフが更新できるようになります。

さらに、Apache Kakfaが提供する[RDB or NoSQL] Kafka Connector CDC(Change Data Capture )と疎結合し、RDB又はNoSQLの差分データをKafka経由でNeo4jに反映することもできます。従来のNEO4J-ETLは、全件をマイグレーションするには有効でしたが、RDB又はNoSQLから継続的に差分データを抽出しNeo4jに反映することはできませんでした。

データ統合において、RDB又はNoSQLからの差分データの捕獲は「肝になる重要な機能」ですが、専用のETLツールはとても高いことが導入の妨げになっていました。なお、この機能をスクラッチで実装することは技術的に容易ではありません。今回の発表で、Neo4jのデータ統合において新たな可能性が広がりました。

今回のスライドでは、Neo4j Streamと[RDB or NoSQL] Apache Kafka Connetor CDCについて、簡略に解説しています。

目次

• はじめに

• Neo4j Stream（October 1, 2019）

• Stream Processとは

• Neo4j Streamのインストール

• Neo4j Streams Cypher Procedure #Neo4jがサポート

• Neo4j Streams Producer(Publish, CDC) #Neo4jがサポート

• Neo4j Streams Consumer(Subscribe) #Neo4jがサポート

• [RDB/NoSQL]Kafka CDC Connector #Confluentがサポート 　

• [RDB/NoSQL]Kafka CDC ConnectorとNeo4j Streamの疎結合

• まとめ