kafka含むデータ処理フローを nifiで構築するさまを実演する5分間

Kafka含むデータ処理フローをNiFiで構築するさまを実演する5分間

河村康爾HortonworksJapanCo.,Ltd.ソフトウェアエンジニア

2016.05.31

©HortonworksInc,2011– 2016.AllRightsReserved

ApacheNiFiとは” NiFi islikedigging irrigationditchesasthewaterflows,ratherthanbuildingoutasprinklersysteminadvance."

“NiFiは事前にスプリンクラーを配備するというより、⽔が流れるのに合わせて⽤⽔路を整備するようなもんさ”

https://mail-archives.apache.org/mod_mbox/nifi-users/201604.mbox/%3C2FCCBD60-0A79-42F1-9F9B-A121591C826E@apache.org%3E

©HortonworksInc,2011– 2016.AllRightsReserved

各種プロセッサ取り揃えてありますambari,amqp,avro,aws,azure,cassandra,couchbase,elasticsearch,flume,geo,hadoop,hbase,hive,hl7,jms,kafka,kerberos,kite,ldap,mongodb,riemann,twitter,solr,splunk,sql,spark,storm…etc

その数100以上!

©HortonworksInc,2011– 2016.AllRightsReserved

サンプルデータフロー:HelloWorld

おぎゃー

命名

男の⼦ topic

⼥の⼦ topic

ようこそ topic

祝福>.<0

©HortonworksInc,2011– 2016.AllRightsReserved

第⼀部:誕⽣〜命名編

©HortonworksInc,2011– 2016.AllRightsReserved

お名前はこちらから引⽤させていただきました

$cattop-names-2014.txt#http://www.tonsuke.com/nebe28.htmlm,蓮f,陽菜f,凛m,大翔m,陽向f,結菜m,陽太f,葵…

©HortonworksInc,2011– 2016.AllRightsReserved

⾜りぬなら、書いてしまおう、スクリプト

注:⾏ごとに分割したり、マッピングしたりするProcessorはありますが、今回は⼀度にやるのを書いちゃいました

©HortonworksInc,2011– 2016.AllRightsReserved

はじめてのKafka

©HortonworksInc,2011– 2016.AllRightsReserved

第⼆部:祝福編

©HortonworksInc,2011– 2016.AllRightsReserved

男の⼦かな、⼥の⼦かな?

©HortonworksInc,2011– 2016.AllRightsReserved

お祝いの⾔葉

©HortonworksInc,2011– 2016.AllRightsReserved

これが、君たちの歩んできた道だ

第⼀部 第⼆部

NiFiではこのデータ遍歴をProvenanceプルーブナンスとよんでいます。

©HortonworksInc,2011– 2016.AllRightsReserved

そして世界へ、Helloworld

©HortonworksInc,2011– 2016.AllRightsReserved

⼦供の好きな動物といえば・・・

©HortonworksInc,2011– 2016.AllRightsReserved

実演タイムLiveDemo

©HortonworksInc,2011– 2016.AllRightsReserved

Fin.ご清聴ありがとうございました。

©HortonworksInc,2011– 2016.AllRightsReserved