3分で作るストリーム処理基盤

～Kafka + Flink on Docker編～ウェブニウム株式会社取締役 CTO 田中康一

自己紹介

名前 田中康一

所属 ウェブニウム株式会社

役職 取締役CTO

職能 ソウトウェアエンジニア(TypeScript, JavaScript, PHP, Java, etc...)

インフラエンジニア(ミドルウェア)

Twitter @mugeso

今回作るもの

ストリーム処理基盤

INPUT

OUTPUT

groupId: group1

groupId: group2

Apache Kafka

Producer

Producer

Producer

topicA topicB

Consumer

Consumer

Consumer

Broker

Apache Flink

Low latencyHigh Performance

Stateful and Fault-

tolerant

Large scale

VS Apache Storm

出典： https://flink.apache.org/introduction.html

Dockerでの構築

それぞれのイメージ

● Kafka

○ https://hub.docker.com/r/wurstmeister/kafka/

○ 非公式

● Flink

○ https://hub.docker.com/_/flink/

○ 公式

Kafka構築時の注意点

ローカルでシングルブローカー用のサンプル内の、environment:

KAFKA_ADVERTISED_HOST_NAME: 192.168.99.100

のIPアドレスはdocker engineが動作しているホストマシンのIPアドレスである必

要があります。