itlc hanoi 17 - infrastructure as code 07-01-2016

Infrastructure as Codeat VCCorp

Phạm Tuấn AnhTeam Platform Services, VCCloud

ITLC HANOI MONTHLY PUBLIC MEETUP

Agenda

1. Giới thiệu

2. Hiện trạng hệ thống trước năm 2014

3. Infrastructure as Code

4. Triển khai thực tế từ 2014 đến nay

5. Demo

Agenda

1. Giới thiệu

2. Hiện trạng hệ thống trước năm 2014

3. Infrastructure as Code

4. Triển khai thực tế từ 2014 đến nay

5. Demo

$ whoami• Phạm Tuấn Anh,

1988• 2 failed (funded)

startups• VCCorp từ 2010

• Co-founder của Appdex

• Stack: python, nginx, lua, git, ansible, redis, memcached, mysql, mongodb

VCCorp5 khối:

1. Nội dung

2. Thương mại điện tử (Zamba)

3. Game (Soha Game)

4. Quảng cáo (Admicro)

5. Hạ tầng (VCCloud)

VCCloud• > 60 người

• 3 bộ phận lớn:• Data

Center• Cloud Solutions

• Platform Services

• Các bộ phận nhỏ khác: Security, Helpdesk

Team Platform Services• Thành lập từ khoảng năm

2010• Hiện tại có 8

người• Các project chính:

• Storage (static files, ảnh, video…)

• CDN

• DDoS Request Filter

• PaaS

Một vài thống kê• ~ 3 tỷ files, 750TB (12 data nodes, hơn 200

HDDs)

• MySQL 450GB, MongoDB 560GB

• 30k requests/s, > 400k active connections

• 40Gbps, ~ 30% CPU, 7 servers

• HTTP access log ~ 1.4GB/phút

• > 20 projects lớn nhỏ, khoảng > 100 servers

Agenda

1. Giới thiệu

2. Hiện trạng hệ thống trước năm 2014

3. Infrastructure as Code

4. Triển khai thực tế từ 2014 đến nay

5. Demo

Hiện trạng hệ thống trước 2014

Một vài sự cố lớn:

• 2012: Database conflict

• 2013: DDoS

• 2014: Sập DC

Hiện trạng hệ thống trước 2014

Một vài vấn đề:

• các server cài giống nhau nhưng chạy khác nhau (facepalm)

• các rule về security áp dụng không đồng nhất (do làm thủ công và nhiều server)

• theo dõi hệ thống sơ sài, dùng con người là chính

• triển khai, thay thế server khó khăn, hay lỗi khi mới đưa vào

• server reboot: ~ 20-30 phút

Agenda

1. Giới thiệu

2. Hiện trạng hệ thống trước năm 2014

3. Infrastructure as Code

4. Triển khai thực tế từ 2014 đến nay

5. Demo

Configuration drift

A few key people to do "sensitive" deployments?

Human error factor

Infrastructure as Code

Infrastructure as Code

Reusable

Infrastructure as Code

Version Control

Infrastructure as Code

Coding Standards

Infrastructure as Code

Contribution

Infrastructure as Code

Code Review

Infrastructure as Code

Refactoring

Infrastructure as Code

Testing

Infrastructure as Code

Continuous Integration

Infrastructure as Code

Small Deployments

Infrastructure as Code

≠DevOps

Infrastructure as Code

≠Automation

Infrastructure as Code

=Automation at Scale

Infrastructure as Code:

1. Tự động hóa quá trình deploy

2. Quản lý (mọi thứ) thông qua source control

3. Áp dụng tests

4. Hạn chế viết tài liệu

5. Dev & Ops cộng tác trên cùng 1 repo

Agenda

1. Giới thiệu

2. Hiện trạng hệ thống trước năm 2014

3. Infrastructure as Code

4. Triển khai thực tế từ 2014 đến nay

5. Demo

Triển khai thực tế:

• Wikimedia:

http://git.wikimedia.org/project/operations

• Bắt đầu từ tháng 7/2014 đến hiện tại (~18 tháng)

• Công cụ: Ansible, Git, GitLab, GitLab CI

Tại sao lại chọn Ansible?

• "agentless"

• Cú pháp rõ ràng

• Tài liệu chi tiết, nhiều module có sẵn

• Phổ biến

• Tốc độ?

Ansible vs Salt

Ansible vs Chef

Ansible vs Puppet

GitLab CI?

• jenkins

• GitLab CI UI đẹp hơn :)

Một vài vấn đề khi triển khai:• Con người

• Setup môi trường

• Password, secret keys trên production

• Git workflow

• Tests

Con người:

• Ops: Học thêm git, ansible

• Dev: Học thêm ansible

• Thay đổi thói quen:• Giảm login vào server để

sửa• Fix lỗi xong viết

tests/checks

Con người:• Khó

khăn:• naming things

– Phil Karlton

“There are only two hard things in Computer Science: cache

invalidation and naming things.”

Con người:• Khó

khăn:• naming things

• good commit messages

• atomic commits

• check-in early, check-in often

Setup môi trường:

• development (mỗi dev được cấp 1 server ảo)

• test (dành riêng cho server CI chạy)

• staging (dùng gor để capture & replay traffic từ production)

• production

Setup môi trường:

$ gor --http-original-host \--input-raw :80

\--output-http "http://10.3.3.4|5%"

Password, secret keys trên production:

• ansible-vault

• ejson (Shopify)

• vault (HashiCorp), keywhiz (Square)

Git workflow:

Git workflow:

• master là nhánh ổn định, khi cần có thể deploy ngay

• các thay đổi được làm ở topic branches

• rebase sớm để tránh conflicts

• push trực tiếp vào repo chính, không dùng Fork

• roll forward

Tests• các gói, thư viện cài đúng

chưa?• service chạy thật

chưa?• firewall chặn SSH từ WAN

chưa?• disable password login chưa?

• cảnh báo mail khi SSH hoạt động không?

• mạng server có bình thường không?

• …

Tests• coding, writing style

• deploy (ansible)

• unit tests

• smoke tests (các service running hết chưa?)

• integration tests (theo logic cụ thể của từng project)

• nagios

Continuous Integration• git commit

• git push lên GitLab

• GitLab gọi GitLab CI

• GitLab CI đẩy task sang GitLab CI Runner

• GitLab CI Runner chạy tests và report lại kết quả

• deploy lên production (thủ công)

Một số lưu ý khi triển khai:• Admin UI → Config

files• SSH 2-factor → OpenVPN +

DuoSecurity• Packages/dependencies

• Account deploy dùng chung?

Kết quả đem lại:• Giảm áp lực vận hành hệ

thống• Giảm lỗi, các server chạy thống

nhất• Có log chi tiết các thay

đổi• Việc chia sẻ, phối hợp trong team dễ dàng

hơn• Các thay đổi được review, test trước khi

deploy• Người đi - kiến thức ở

lại

Q&A

FAQs• Sao không dùng dynamic

inventory?• Merge/Pull Requests dùng thế

nào?• Merge vào master luôn như thế có nguy

hiểm không?

• Ansible deploy chậm

• CI server deploy lên đâu? Làm sao có môi trường như production để test?

FAQs• "Cloud" ở đâu?

• Zero-downtime reloads?

• Có server cần tham số riêng thì làm thế nào?

• Quản lý đồng thời server CentOS và Ubuntu thế nào?

• Các module ansible hay dùng?

FAQs

• Auto scale?

• Ansible vs Docker?

• Khi provision infra tự động mà bị lỗi thì các bạn xử lý thế nào? Có bài học nào hay ho không?

• Những khó khăn và thách thức nào khi xây dựng và quản lý hạ tầng private và public?

Agenda

1. Giới thiệu

2. Hiện trạng hệ thống trước năm 2014

3. Infrastructure as Code

4. Triển khai thực tế từ 2014 đến nay

5. Demo

Inventory file

Templates

Templates

Tasks

Tasks

Deploy

Quản lý users

Quản lý users

Quản lý users

Iptables

Iptables

Update DNS

Update DNS

Deploy server mới

Security fix

Thêm cảnh báo

Q&A

Một số link tham khảo• Ansible Best Practices:

http://docs.ansible.com/ansible/ playbooks_best_practices.html

• Ansible Vault: https://therealmarv.com/ansible-vault-file-handling/

• Ansible Modules: http://docs.ansible.com/ansible/ modules_by_category.html

• RedHat mua Ansible: https://www.redhat.com/en/about/blog/ why-red-hat-acquired-ansible

• Continuous Delivery: https://puppetlabs.com/sites/default/files/ CDebook.pdf