yahoo! japanのコンテンツプラットフォームを支えるspring cloud...

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .

2017年11月24日

ヤフー株式会社鴨志田智弥

Yahoo! JAPANのコンテンツプラットフォームを支える

Spring Cloud Streamによるマイクロサービスアーキテクチャ


自己紹介

• 鴨志田智弥

• ヤフー株式会社メディアグループ

メディアカンパニープラットフォーム開発本部

• 経歴

• 2009年新卒入社

• 2009年〜 Yahoo!ニュース

• 2016年9月〜コンテンツプラットフォーム


アジェンダ

• Yahoo! JAPANとコンテンツ

• コンテンツプラットフォームでのSpringの採用事例

• 既存システムの課題と新システムの設計

• システム概要と詳細

• 良かったこと、悪かったこと

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .

Yahoo! JAPANとコンテンツ


Yahoo! JAPANとコンテンツ

天気

試合情報

路線の遅延情報

ニュース


提供コンテンツ

Yahoo! JAPAN

個人

提供社


提供コンテンツ

• ニュース記事、コラム

• 天気、地震情報

• 株価

• 試合情報、試合のスコア

• 動画


コンテンツプラットフォームでの

Springの採用事例の紹介


アジェンダ







コンテンツプラットフォーム

• 提供コンテンツの入稿・配信のプラットフォーム

• 1stリリースは記事コンテンツがターゲット

• 開発に至った背景

• 旧記事入稿プラットフォームがレガシーなためリニューアル

• 2009年から稼働

• PHP、Perl、C


旧システムの辛い所

• 巨大なモノリシックなアプリケーション

• 大きすぎてリファクタリングできない

• さらにテストコードが無い&書きづらい

• その結果レガシーなコードのまま

• 環境や依存のバージョンアップの時はひたすらエラーを潰す


旧システムの辛い所2

• 実機&VMで動いている

• マスタ/スタンバイ構成で冗長性有り

• 簡単にスケールアウトできないので常にリソースは確保している

常に確保


旧システムの辛い所3

• アーキテクチャが古いのでPaaSなどへの移行は難しい

• IPアドレスに依存していたり

• 処理自体はテキスト処理などで非常にシンプル


新システムの設計

• マイクロサービスアーキテクチャ

• システムを細分化して柔軟に対応できるようにしたい

• 同期的に処理しなくて良い部分は非同期で処理したい


新システムの設計2

• Java

• プラットフォームなのでなるべく不具合無くリリースしたい

• 静的型付け、コンパイラで検知

PHP Java

インタープリタ型言語動的型付け

コンパイラ型言語静的型付け



• PaaS

• 運用コストを下げたい

• リソースを有効活用したい

• 重大ニュースなどで負荷が大きく上昇するため素早くスケールアウトした

い

PaaS



• Spring Boot

• Javaでマイクロサービスするなら鉄板

• フルスタックで機能も豊富

• 社内PaaS環境のPivotal Cloud Foundryとの相性も良い


アジェンダ







システム構成

レガシーアダプタ旧PF

入稿API

入稿データ（MySQL）

解析処理入稿サービス

ストレージHadoop

処理済みデータ（Cassandra）

バッチ処理用データ保存

データ保存参照サービス


システム構成

入稿API


入稿サービス

データ受付確認

データ保存

非同期


システム構成


解析処理

解析


システム構成



データ保存更新通知


システム構成



ストレージに保存


システム構成


入稿API

フォーマット変換


システム構成補足

• 現在約20サービスほど

• オンプレ環境に構築したPivotal Cloud Foundry上で稼働

• Spring Bootと一部Node.js

• 非同期部分はPulsarとSpring Cloud Stream

• MySQL、Cassandra、内製のS3互換ストレージ


Pivotal Cloud Foundry

• Pivotal社製のCloud Foundry

• PaaS

• コマンド1つでアプリケーションが立ち上がる

$ cf push -p build/libs/hoge-1.0.0.jar

https://hoge.XXXX.yahoo.co.jp/

数分後


Pivotal Cloud Foundry

Spring Boot Actuator連携


Apache Pulsar

• Pub-Subメッセージングシステム

• Yahoo! Inc.製で今はApache Incubator

• 特徴

• 高パフォーマンス、高スケーラビリティ

• マルチテナント

• 複数DC間でのレプリケーション


Spring Cloud Stream

• Springでメッセージングシステムを使うフレームワーク

• 公式ではRabbitMQとKafkaをサポート

• Pulsarは公式ではサポートされていないので内製対応

Producer ConsumerMessage Broker


Source / Processor / Sink

Source Sink

binder

Processor


Source / Processor / Sink


入稿API







SourceProcessor

Sink


依存の追加

ext {

springCloudVersion = 'Dalston.SR4'

}

dependencies {

compile('org.springframework.cloud:spring-cloud-starter-stream-rabbit')

compile('org.springframework.boot:spring-boot-starter-web')

compile('org.springframework.boot:spring-boot-starter-actuator')

testCompile('org.springframework.boot:spring-boot-starter-test')

}

dependencyManagement {

imports {

mavenBom "org.springframework.cloud:spring-cloud-dependencies:${springCloudVersion}"

}

}

使うbrokerのものを指定

その他はお好みで


依存の追加

RabbitMQの場合org.springframework.cloud:spring-cloud-starter-stream-rabbit

Kafkaの場合org.springframework.cloud:spring-cloud-starter-stream-kafka

Pulsarの場合（自作）com.example:spring-cloud-starter-stream-pulsar


Sourceの実装

@SpringBootApplication@RestControllerpublic class SourceDemoApplication {

@PostMappingpublic void send(@RequestBody Map<String, String> message) {

// ここに送信する処理を書く}

public static void main(String[] args) { 〜略〜 }}


Sourceの実装

@SpringBootApplication@RestController@EnableBinding(Source.class)public class SourceDemoApplication {




アノテーションを追加


Sourceの実装


@Autowiredprivate Source source;




インジェクション


Sourceの実装


@Autowiredprivate Source source;


source.output().send(MessageBuilder.withPayload(message).build());}


送信処理


Sourceの設定

spring.rabbitmq.addresses=localhost:5672

spring.rabbitmq.username=guest

spring.rabbitmq.password=guest

spring.cloud.stream.bindings.output.destination=foo_topic

spring.cloud.stream.bindings.output.contentType=application/json

broker固有の設定

binderの設定






spring.cloud.stream.kafka.binder.brokers=localhost

spring.cloud.stream.kafka.binder.defaultBrokerPort=9092

spring.cloud.stream.kafka.binder.zkNodes=localhost

spring.cloud.stream.kafka.binder.defaultZkPort=2181

spring.cloud.stream.pulsar.binder.clusterUrl=pulsar://localhost:6650

RabbitMQの例

Kafkaの例

Pulsarの例(イメージ)


Source側のbinderの設定

送信先トピックspring.cloud.stream.bindings.output.destination=foo_topic

メッセージのシリアライズ方法spring.cloud.stream.bindings.output.contentType=application/json

JSONがオススメ


Sinkの実装

@SpringBootApplicationpublic class SinkDemoApplication {

public void receive(Map<String, String> data) {// ここに受信したメッセージの処理を書く

}



Sinkの実装

@SpringBootApplication@EnableBinding(Sink.class)public class SinkDemoApplication {

public void receive(Map<String, String> data) {// ここに受信したメッセージの処理を書く

}




Sinkの実装


@StreamListener(Sink.INPUT)public void receive(Map<String, String> data) {

// ここに受信したメッセージの処理を書く}




Sinkの実装


@StreamListener(Sink.INPUT)public void receive(Map<String, String> data) {

System.out.println("Received : " + data.toString());}


処理を書く


Sinkの設定




spring.cloud.stream.bindings.input.destination=foo_topic

spring.cloud.stream.bindings.input.group=bar_group


binderの設定


Sink側のbinderの設定

受信トピックspring.cloud.stream.bindings.input.destination=foo_topic

ConsumerGroup名spring.cloud.stream.bindings.input.group=bar_group


ConsumerGroup

設定しない場合はそれぞれに同じメッセージが届く

AAABBBCCC

AAABBBCCC

AAABBBCCC

AAABBBCCC


ConsumerGroup

設定した場合はグループ内のどれか1つにだけメッセージが届く

AAABBBCCC

AAA

BBB

CCC


メリット

• 抽象化されているのでロジックに集中できる

• 違うbrokerに乗り換える場合は設定の差し替え程度で済む

• Springの他の機能との連携


Spring Boot Actuator連携

接続先のbrokerのヘルスチェック{

"status": "UP",

〜中略〜"rabbit": {

"status": "UP",

"version": "3.6.12"

},

"binders": {

"status": "UP",

"rabbit": {

"status": "UP",

"binderHealthIndicator": {

"status": "UP",

"version": "3.6.12"

}

}

}

}


Spring Cloud Streamのテスト

• テストツールが提供されている

• spring-cloud-stream-test-support

Sourceテストコード Sinkテストコード

assert assertモックモック


実装後に出てきた課題

• 処理の流れがわかりにくい

• 想定よりスループットが出ない

• エラー時の処理


処理の流れがわかりにくい

• マイクロサービスの処理の流れはわかりにくい

• どこでエラーが起きたのか？

• どこがボトルネックになっているのか？

エラー！？


Spring Cloud Sleuth

リクエストにトレース用のユニークなIDを付与する

ID発行 abc abc abc

X-B3-TraceId: abc


Spring Cloud Sleuth

• 自動で追跡用のIDが発行・付与

• 自動でログにも出力

• トラブル時はTraceIDで検索すればOK


Zipkin

TraceIDを可視化するツール


Zipkin


入稿API







Zipkin


Zipkin


Zipkin


入稿API







①


Zipkin

①


Zipkin


入稿API







①

②


Zipkin

①②


Zipkin


入稿API







①

②③


Zipkin

①②

③

続きがある

同期処理終了


Zipkin


入稿API







①

②③

④


Zipkin

①②

③④


Zipkin


入稿API







①

②③

④ ⑤

⑥


Zipkin

①②

③④

⑤

⑥


想定よりスループットが出ない

• 負荷テストしてみたら非同期部分が遅い

• Sinkの同時処理数が1だった・・・

spring.cloud.stream.bindings.input.consumer.concurrency=10

デフォルトは1 適度に増やす

必ず設定する


エラー時の処理

• 処理の途中でエラーになったメッセージが行方不明に

• Pulsarは再送までの時間を設定しないと再送してくれな

かった・・・

• brokerの仕様は把握しておくことが大事


BCP（事業継続計画）

• 非常災害時でもサービスを継続する必要がある

• 西日本と東日本のDCに分散構築

東日本クラスタ西日本クラスタ

GSLB



仮に片方のDCが停止しても問題ないように設計

MySQL

西日本

東日本




GSLB




MySQL

GSLB




MySQL


利用サービス例

• Yahoo! JAPANアプリ

• ニュースフィード部分などで利用

• Vespaでコンテンツのレコメンデーション

コンテンツ

更新処理Index

アプリBE

更新通知

更新検知&データ取得

インデックス更新


アジェンダ







Java/Springで良かったこと

• フルスタックで機能も豊富なのでロジックに集中できる

• マイクロサービスに必要なものが揃っている

• テストコードが書きやすい

• Mockito

• MockRestServiceServer

• REST Assured


非同期部分は機能拡張が簡単

購読を増やすだけなので既存システムへの影響は少ない

既存アプリケーション

追加アプリケーションこの線を増やせばOK

・・・

・・・

・・・


非同期部分は機能拡張が簡単


入稿API







実は後から追加


1つの機能がシンプル

• 機能が小分けになっているので実装がシンプルに

• APIやメッセージを挟んでいるので疎結合

• 修正やレビューは見る範囲が狭い方が良い

数万行🔥 数百〜数千行☀️


1つの機能がシンプル

• 複数人での並行開発も容易

• コンフリクトも起こりにくい

コンフリクト地獄

☀️


新たな課題

• メモリの使用量が他の言語に比べ多め

• マイクロサービスの管理が大変

• 便利なソリューションも提供されているが・・・

• 依存ライブラリのバージョンを上げるのも一苦労

• 開発メンバーが少ないのも要因の1つ


今後の展望

• Kotlinの検討

• マイクロサービス系のツールのさらなる導入

• 検証が追いつかず導入を見送ったものがいくつかある

• 新しく増えたものも随時検討

• Spring Cloud Skipperなど


まとめ


まとめ

• 既存システムの課題がSpringとマイクロサービスで大きく

改善できた

• マイクロサービスをやるならSpring Cloud Streamが便利


Javaエンジニア積極採用中！！

ヤフー採用

yahoo! japanのコンテンツプラットフォームを支えるspring cloud...

Technology