spb jenkins meetup #5. jenkins in da cloud. Внутренности

Jenkins in da cloud. Управление Jenkins в облаках(внутренности)

St. Petersburg Jenkins Meetup15 февраля 2017

© 2017 CloudBees, Inc. All Rights Reserved. 2

Обо мне

@oleg_nenashev

oleg-nenashev


А что у Вас? Приватные или публичные

облака?


Jenkins – это Cloud-Native?


НЕТ (ИМХО докладчика)

Disclaimer:Ø Презентация отражает личное мнение докладчикаØ Мнение докладчика может не совпадать с позицией

компании CloudBees и/или сообщества JenkinsØ Мнение докладчика может не совпадать с Вашим

мнением


üЧТО ЕСТЬ В JENKINS?üЧЕГО НЕ ХВАТАЕТ?

О чём доклад?


ИМХО автора. Jenkins – пока не Cloud-Native

• Появился до того, как клауды стали мейнстримом

• Архитектура ядра не была рассчитана на клауды

• Фичи – в плагинах

http://stats.jenkins-ci.org/jenkins-stats/

Hudson Jenkins


ИМХО докладчика. Не Cloud-Native

9

IV

III

III CRON

wannabe

….

III+


Хотелки

ØConfiguration as Code для системы

ØConfiguration as Code для задач

ØЗапуск в контейнерах

ØHigh Availability

ØВнешнее хранилище данных


Хотелки




ØHigh Availability



Configuration as Code в Jenkins

ЗадачиСистемные конфигурации


Системные конфигурации… as Code

Внешние тулы

Jenkins CLI and REST

API

python-jenkins

jenkins-client (java)

Configuration Management

Ansible, Chef, …

Docker, Docker

Compose

...

Решения внутри проекта

Jenkins

Groovy Boot Hooks

Scriptler Plugin

SCM Sync Configuration

UnsafeJust examples…


Jenkins 2 и External Configuration Management


• Примеры…• chef-cookbooks/jenkins (Issue #466)• puppet-jenkins (Issue #575 )• python-jenkins• ansible-jenkins (not all implementations)• jenkinsci/docker (for a standard image)• …

• Сейчас…• System Property в ядре

Jenkins 2 и External Configuration Management


Groovy Hooks

• Универсальное решение• Расширяемых механизм хуков

• init, boot-failure – в ядре

• Скрипты• WEB-INF/HOOK.groovy в jenkins.war• WEB-INF/HOOK.groovy.d/*.groovy в jenkins.war• $JENKINS_HOME/HOOK.groovy• $JENKINS_HOME/HOOK.groovy.d/*.groovy в lexical order

https://wiki.jenkins-ci.org/display/JENKINS/Groovy+Hook+Script


• Репозиторий для системных Groovy-скриптов

• Решаемые задачи:• Управление конфигурациями Jenkins• Управление ими… в рантайме• Кастомные шаги сборки

Scriptler Plugin

https://plugins.jenkins.io/scriptler


Scriptler Plugin

• Внешние репозиториискриптов

• Приватные репозитории• Документация J


Scriptler Plugin


Итак, что нового?


Итак, что нового?• Нет единого решения• Configuration Management –

вне проекта Jenkins• Нет активных проектов


System Config DSL Plugin

• Groovy DSL• Source:

• https://github.com/jenkinsci/system-config-dsl-plugin

• Начат Kohsuke Kawaguchi в 2015• Статус:

• Работает для базовых задач• Заброшен(?)


Хотелки




ØHigh Availability



Описание задач в Jenkins … as Code

Job DSL

Pipeline (бывш. Workflow)

Jenkins Job Builder

Groovy

Groovy

YAML

Ещё несколько плагинов…

Предлагается по-умолчанию в Jenkins 2


•Groovy DSL для описания задач•Тип задачи в Jenkins (Pipeline Job)•Open-source экосистема для X-as-code

25

Что такое Jenkins Pipeline?


Специфика Pipeline

Описание всего процесса одной

задачей


• Pipeline не привязан к конкретной ноде или рабочей директории

• Параллелизация• Команда parallel() – не нужны связки задач

• Множественные node() в одной задаче• => + parallel() – запуск тестов на разных машинах тестов на машинах

Специфика Pipeline


Пример – Императивный Pipeline

28

• Синтаксис на базе Groovy• Шаги для типовых операций• Описания задач можно хранить в SCM

• Jenkinsfile – описание задачи в корне репозитория• Шаг git() заменяется на “checkout scm”

• http://bit.ly/pipeline-tutorial


Пример – Декларативный Pipeline


• Global CPS Library• Git внутри Jenkins

• Внешние библиотеки• Хранятся в SCM• Versioning

Библиотеки


Больше о Pipeline

• Записи/слайды с предыдущих митапов• Документация:

• https://jenkins.io/doc/book/pipeline/

• Блог Jenkins: • https://jenkins.io/node/

• Онлайн-митапы:• https://www.meetup.com/Jenkins-online-meetup/events/237317346/ (сегодня)

HOT!• Declarative Pipeline• BlueOcean• Visual Editor• …


•Оба плагина полезны•Разная архитектура•Разные области применения•Да, некоторая конкуренция есть

FAQ. Pipeline vs. JobDSL


Хотелки




ØHigh Availability



Jenkins в Контейнерах

Мастер в Контейнере• Один Мастер• Много мастеров

Агенты в Контейнерах• Перманентные агенты• Агенты по требованию


•Предоставление нод по требованию•Все Cloud-плагины•Экзотические плагины (напр. Swarm плагин)

Cloud API

http://javadoc.jenkins.io/hudson/slaves/Cloud.html


• Docker Plugin• Yet Another Docker Plugin• Docker Custom Build

Environment Plugin

• Docker Pipeline Plugin• Docker Build Step• Docker Traceability• DockerHub Notifications• …

Jenkins и Docker

Агенты

Другое


Docker Pipeline Plugin

• Можно шарить воркспейсы• Docker Volume• External Workspace Manager

• Много нод в одном Pipeline• Overhead, но воспроизводимость

See also: Kubernetes Pipeline Plugin


Пример. “CD” для IRC-бота Jenkinsdef imageName = 'jenkinsciinfra/ircbot’node('docker') {

checkout scmsh 'git rev-parse HEAD > GIT_COMMIT'commit = readFile('GIT_COMMIT').take(6)def imageTag = "build${commit}"

stage('Build ircbot’) {withMavenEnv

(["BUILD_NUMBER=${env.BUILD_NUMBER}:${commit}"]) {sh 'make bot' // Make invokes Maven

}}

stage ('Build container’) {def whale = docker.build("${imageName}:${imageTag}”)

}

stage 'Deploy container') {whale.push()

} } https://github.com/jenkins-infra/ircbot

Docker Registry

Server

Jenkins

SCM

Puppet


7 кругов виртуализации

Какое-то железо

vSphere / AWS

ОС *nix

Docker

ОС *nix

JVM


Какое-то железо

vSphere / AWS

ОС *nix

Docker

ОС *nix

JVM

ИЛИ ТАК

?


НЕ используйте Master в контейнерах, если…

• У вас большой инстанс• Вы запускаете один

контейнер на хост• Ваш Jenkins будет

сильно расти

• Виртуализация, VM




Используйте Master в контейнерах…

üДля прототипированияüДля тестированияüДля мелких инстансовüДля автомасштабирования сетапов с

большим числом мастеров


Хотелки




ØHigh Availability



High Availability

https://go.cloudbees.com/docs/cloudbees-documentation/cookbook/book.html#ch13


• “Нормальное” хранилище данных (Pluggable Storage)• Внешнее логгирование• Горячий резерв (multi-master)• Бонус: Горизонтальное масштабирование

Что надо?

High Availability• Начали обсуждения на FOSDEM 2016• Jenkins 2… 3… 4…


Хотелки




ØHigh Availability



• Анонсирован на Jenkins World 2016• Основные entity:

•Артефакты, Логи•Сборки: результаты тестов и т.п.•Fingerprints•…

Pluggable Storage для Jenkins


•Есть Extension Point (ArtifactManager)•А реализаций… нет

Артефакты


Логи в Jenkins

Логи сборок

Системные логи

Другое• Логи агентов• Поллинг SCM• Индексирование в Multibranch• …

java.util.logging


External Build Logging

Мастер Ноды

Логи с операций на мастере

Build Console• Все логи идут на диск мастера• Агенты репортят логи на мастер• Логи для консоли… читаются с

диска (и progressive, да)


External Build Logging. Подход

Master

NodeLogstash

Elasticsearch

Kibana

Логи с мастера

Логи с нод

Build Console

• Убрать все логи в общее хранилище

• Не нагружать мастер

Storage

Visualizer


External Build Logging. Прототип

• Текущий статус: прототип• Jenkins World 2016 Hackathon:

• Поддержка AbstractProject и, частично, Pipeline• https://speakerdeck.com/onenashev/jw2016-hackathon-external-build-logging-prototype-demo

• Декабрь 2016 (Jesse Glick):• Полная поддержка Pipeline• Мини-дизайн для реализации

• Код: https://github.com/jenkinsci/logstash-plugin/pull/18


Pluggable Storage. Планы…

Пока нет…


А что есть сейчас?


Пример. CloudBees Jenkins Enterprise• Решает часть задач

• High Availability – тёплый резерв• Shared Cloud и Shared Slave• Single Sign On (SSO)• Мониторинг и Аналитика• ClusterOps

• Private SaaS Edition (уст.)• Провижионинг мастеров иагентов

https://www.cloudbees.com/products/cloudbees-jenkins-enterprise


Пример. CloudBees Jenkins Enterprise


CloudBees Jenkins Enterprise

• Платформы:• Docker, Mesos and OpenStack or Amazon EC2

• Метрики• Единый кластер с SSO и интеграцией мастеров• В демо – 2000 активных инстансов• В бою – несколько сотен

https://www.cloudbees.com/products/cloudbees-jenkins-platform/private-saas-edition/features


Пример. DotCI

http://groupon.github.io/DotCi/

• Основан на Jenkins• High Availability• Docker• Pluggable Storage (MongoDB)• ….

• НО:• Ограниченная совместимость (не Jenkins)• Кастомные плагины и шаги сборки


Итого

• Jenkins постепенно развивается в нужном направлении

• Стоит попробовать:•Jenkins Pipeline•Jenkins & Docker для агентов

• Агенты в контейнерах – это удобно• Jenkins-мастер в контейнерах - это риск


Спасибо!

Контакты:

E-mail: [email protected]

GitHub: oleg-nenashev

Twitter: @oleg_nenashev

Software at the speed of ideas

THANK YOU!www.cloudbees.com