とある社内ビックデータ基盤にバッチ用コンテナ基盤を構築してみた
TRANSCRIPT
自己紹介
戸田 浩史
独立して5年目のフリーランスです
現在のユーザは社内クラウドの利用を推進しているチームで
ビジネスのスピードを殺さずにセキュリティを担保する環境を展開
してます。
好きなAWS:ECS
プロジェクトで発生していた問題
日々バッチがうまく動作しない!あれ修正するためにアップデートしてみたら、
さらに他のバッチも動かなくなった
\(^o^)/オワタ
事業側の担当者に怒られる orz
むしろ怒られてから障害に気づく。。。
どんな状況か・・・
動いているバッチの数が半端ない。
管理しているサーバ数も半端ない
ジョブ管理ソフトで管理しているが追いつかない。
アラートも見ようとしているしモニタリングもしようとしているが
数が半端ない
まず手始めにどうにかしたい問題
バッチが普通に動いてほしい。
バージョンアップとか安全にしたい。
今動いているバッチの邪魔をしない。
手軽にバッチを増やしたい。
素早くバッチを展開したい。
できればローカルでもサーバ上でも同じように動いて欲しい。
少しだけコンテナのおさらい
コンテナって?
Source:https://www.docker.com/what‑container
現場からは
現場からは以下のような要望も一緒にあがってました。
オンプレミスに在るとあるジョブ管理システム(JP1)からバッチを管理したい。
バッチの実行も結果の取得もオンプレ側でできる様になって欲しい。
現在は・・・
今はこの使ってバッチをオンプレからAWSに移行している最中
導入されたチームに対して、コンテナや今回の仕組みに参考となるソースを共有
自分が所属しているチームは他プロジェクトの進化を手助けするため日々活動中