初心者エンジニアのシステム構築失敗談

初心者エンジニアの

システム構築失敗談

@Spring_MT

13年1月14日月曜日

Profile


@Spring_MTEngineer


福岡RRuubbyy会議0011


初心者エンジニアの

システム構築失敗談

@Spring_MT


初心者??


・前職でエンジニアに転向� その前までは一切コード書いてないんです。。。

営業とかもやってたんですよ

・エンジニア歴 22年半くらい

・ruby歴はちょうど一年


なので

・gitしか使ったことない......

・utf8しかしらない........


エンジニアの

ゆとり世代


前の環境


言語フレームワーク

perl独自フレームワーク

テストはあんまりない >>__<<


DDBB関連

databaseは複数

joinは基本しない

masterとslave

autoincrement使わない


新しい環境


なんもない。。。。


00からスタート


フレームワーク


・テスト周�りの環境が揃ってる

・新しくjoinする人((学生含めて))の学習コストが低い


Rails


実際はやってみたかっただけ


Railsで

アプリ作る


はじめの一歩


課題


・複数DB対応

・master slave振り分け

・採番(sequence)

・belongs_toの扱い


えっ。。。


いきなり大きいこと考えすぎ

でもこの時は必要だと思ったんです。。。。


大規模病 >>__<<


複数DBの対応master・slave振り分け


方針・DB + master、slave毎にModelのクラスを作る

・Controllerで明示的にDBアクセス先を指定する


class TestMasterShard < ActiveRecord::Base self.abstract_class = true establish_connection "#{ENV['RAILS_ENV']}_test_master"end

class FooMaster < TestMasterShard self.table_name = 'foo' attr_accessible :name validates :content_id, {presence: true}end

production_test_master: username: test password: testdevelopment_test_master: username: test password: testtest_test_master: username: test password: test


・テストではまる

・明示的に書いたほうがトラブルが少なそう

octopus


# config.include RSpec::Octopus config.before do shards = ActiveRecord::Base.connection_proxy.instance_variable_get(:@shards) @connections = shards.values.map(&:connection) @connections.each do |connection| connection.increment_open_transactions connection.transaction_joinable = false connection.begin_db_transaction end end

config.after do @connections.each do |connection| if connection.open_transactions != 0 connection.rollback_db_transaction connection.decrement_open_transactions end end end



View

Controller Model

UserController UserMaster

UserSlave

master

slave

FeedMaster

FeedSlave

master

slave

GroupMaster

GroupSlaveslave

FeedController

GroupController

master


採番sequence


アプリ内で一意のIDを発行する

方針


・IDがわかれば、それに紐付くデータが一意に決まる

・重複が起きない

ex)) user_id ++ コンテンツ((feed or image or ...))のID


class Sequence < SequenceShard self.table_name = 'seq'

def self.generate(model) result = self.connection.execute( "UPDATE seq SET id=LAST_INSERT_ID(id+1)" ) id = self.connection.last_inserted_id(result)

or raise RuntimeError return id end

end



belongs_to


今回は複数DBを想定したので使わないことにしました>>__<<

方針


課題

・Controllerからはmaster slaveを意識せずに使いたい


いきなりこの時点でスケールを考えている。。。

そもそも考慮する必要があったのか？


自分で見えない敵を作ってた。。。


大規模病 >>__<<


第二期


課題

・Controllerからはmaster slaveを意識せずに使いたい


・モデルを２つに分ける

** データベースとテーブルの抽象化((masterとslave毎にクラスがある))

** master/slaveの抽象化

方針


UserLogic

Logic Data

UserMaster

UserSlave

FeedMaster

FeedSlave

GroupMaster

GroupSlave

FeedLogic

View

Controller Model

UserController

FeedController

GroupController

master

slave

master

slave

slave

masterGroupLogic


Model Data・DBへのアクセスを管理する層

・connectionの設定、SQLを管理のみ


1

class TestMasterShard < ActiveRecord::Base self.abstract_class = true establish_connection "#{ENV['RAILS_ENV']}_test_master"end

class FooMaster < TestMasterShard self.table_name = 'foo' attr_accessible :name validates :content_id, {presence: true}

default_scope where(is_deleted: 0) scope :hoge, lambda { |foo| where('bar = ?', bar) }end



Model Logic

・Model Dataを用いて、master/slaveの処理をまとめる層


class BaseLogic include ActiveModel::MassAssignmentSecurity include ActiveRecord::AttributeAssignment include ActiveModel::Conversion include ActiveModel::Validations extend ActiveModel::Naming extend ActiveModel::Translation

def persisted?; false; endend

class TestLogic < BaseLogic attr_accessor :foo attr_accessible :foo

def get_test_one TestSlave.get_one endend


UserLogic

Logic Data

UserMaster

UserSlave

FeedMaster

FeedSlave

GroupMaster

GroupSlave

FeedLogic

View

Controller Model

UserController

FeedController

GroupController

master

slave

master

slave

slave

masterGroupLogic


課題

・複数のテーブルをまたいでデータを処理する場合、どこにその処理を書くのかが不定

(Model Logic or Controller)


現在


課題

・複数のテーブルをまたいでデータを処理する場合、どこにその処理を書くのかが不定

(Model Logic or Controller)


ControllerとModelの間に一層((Context))を追加

サービス層に近い

方針


View

Controller Model

UserControllerUserMaster

UserSlave

UserLogic

Logic Data

Context

UserContext

FeedMaster

FeedSlave

FeedLogic

GroupMaster

GroupSlave

GroupLogic

FeedController

GroupController

FeedContext

GroupContext

master

slave

master

slave

slave

master

DBのデータを適切な形で受け渡すのみ

ユーザーのしたいことを実現する処理の流れ


Model Data

・DBへのアクセスを管理する層

・connectionの設定、SQLを管理するだけに留める


Model Logic

・Data層をコントロールする層

・一つのテーブルに一つ

・受け持つテーブルのデータの処理に関してのみ責任を負う


Context・ユーザーのしたいことを実現するための処理の流れを実装する

-->>ユーザが操作する内容ごとに実装

・Controllerと11::11対応させる


Controller

・Contextで作成されたデータをViewに受け渡す

cellsを使って、uriで表現されている処理のみを実装するようにしている


View

・データを描画する

・ここにロジックは書かない


View

Controller Model


UserSlave

UserLogic

Logic Data

Context

UserContext

FeedMaster

FeedSlave

FeedLogic

GroupMaster

GroupSlave

GroupLogic

FeedController

GroupController

FeedContext

GroupContext

master

slave

master

slave

slave

master




課題

・validationをどうする？


Validation


・Railsは22つのvalidation

が一緒になってる


・ユーザーが入�力した値のチェック

・DBに格納する前のデータのチェック


今の構成


View

Controller Model


UserSlave

UserLogic

Logic Data

Context

UserContext

FeedMaster

FeedSlave

FeedLogic

GroupMaster

GroupSlave

GroupLogic

FeedController

GroupController

FeedContext

GroupContext

master

slave

master

slave

slave

master




Contextが入�ったことでvalidationでエラーが起きた時のARオブジェクトの受け渡しをどうするか？


Contextでは複数のARオブジェクトが格納されて、その中からvalidationエラーをまとめる。。。。


正直面倒


Validation・ユーザーが入�力した値のチェック



分ける！


DBに格納する前のデータのチェック

今まで通りARのvalidateを使う


ユーザーが入�力した値のチェック

??


ユーザーが入�力した値のチェック

リクエストを受けとった直後が望ましい


controllerのbefore_filterでやる


・ユーザーが入�力した値のチェック

==>> Controllerのbefore_filter


==>> Model


before_filterで

Validation


DataValidatorを書きました


DataValidator

ARのvalidatorとほぼ同じバリデーションロジックを実装しています


params = {foo: 'foo', bar: 'bar'}

validator = DataValidator::Validator.new( params, {foo: {length: {is: 4}}}, {bar: {presence: true, format: {with: /\A[a-‐zA-‐Z]+\z/}}})

unless validator.valid? @errors = validator.errorsend

@errors=> { foo: ["is the wrong length (should be 4 characters)"], bar: ["can't be blank", "is invalid"]}


・ユーザーの入�力値

==>> Controllerのアクション毎にDataValidatorを使う

・DBに格納する値

==>> ModelでActiveRecordを使う


Controllerでvalidationした後は、ユーザーの入�力値は正しい値としてみなし、DBに入�れる値をチェックする時にエラーになった場合はシステムのエラーとみなし例外で落とす


VVaalliiddaattoorr

VVaalliiddaattoorr

VVaalliiddaattoorr

View

Controller Model

UUsseerrCCoonnttrroolllleerr

UUsseerrMMaasstteerr

UUsseerrSSllaavvee

UUsseerrLLooggiicc

Logic Data

Context

UUsseerrCCoonntteexxtt

FFeeeeddMMaasstteerr

FFeeeeddSSllaavvee

FFeeeeddLLooggiicc

GGrroouuppMMaasstteerr

GGrroouuppSSllaavvee

GGrroouuppLLooggiicc

FFeeeeddCCoonnttrroolllleerr

GGrroouuppCCoonnttrroolllleerr

FFeeeeddCCoonntteexxtt

GGrroouuppCCoonntteexxtt

mmaasstteerr

ssllaavvee

mmaasstteerr

ssllaavvee

ssllaavvee

mmaasstteerr

DDBBのデータを適切な形で受け渡すのみ



・この構成で落ち着いてます

・これ以上は手を入�れない予定


Railsやめちゃいなよってつっこみはなしです>>__<<


gem・data_validator

・rack_session_redis_store

・redis_json_serializer


ご清聴ありがとうございました！


時間があれば。。。。


画像・ファイルストレージ


・分散ファイルシステムを自前で作る？

・色々なアプリでAPIちっくに使いたい


画像・ファイルストレージ

・sinatraでappは作成

・閲覧権限等は本体で管理

・自前で分散ファイルシステム構築は難しいのでS3を使用

・Storage Proxyパターン

Nginx

varnish

sinatra app

varnish

sinatra app

App(RoR)

AWS VPC

HTTP

S313年1月14日月曜日

サーバー構成


オールAWS！


public

subnetservice

subnetutility

APP

DB

redis

worker

subnetstorage

subnetfluentd

deliver

worker

proxy

varnish+

sinatra

f f f

f f

f f

Watch

subnetnetwork

Gateway NATSSLの変換


その他・session storeにredis

・queue処理はfluentd + resque => http://spring-‐mt.tumblr.com/post/35097726578/fluent-‐plugin-‐resque

・fluentd + GrowthForecastを使った集計と可視化


http://spring-mt.tumblr.com/post/35097726578/fluent-plugin-resque

http://spring-mt.tumblr.com/post/35097726578/fluent-plugin-resque

初心者エンジニアのシステム構築失敗談

Documents