linuxone 技術編 · workload: apache solr linuxone ではmixed workloadで、10k個のdocker...

1 © IBM Corporation, 2016

LinuxONE 技術編

1 © 2016 IBM Corporation

IBM Internal Use Only

Enterprise

Big Data and Analytics

Hybrid

Cloud

Enterprise Open

Source

Industry

Solutions

Systems of Record Systems of Insight

Pattern-Enabled

Infrastructure

as a Service

Flexibility & Choice with

Enterprise-Grade Security &

Uptime

Industry-Specific Apps with

Unmatched Scale &

Reliability

All Sharing Best-in-class Enterprise Capabilities:

圧倒的な可用性標準的なクラウドやdevopsの自動

化、高速スケール機能の組み合わせは、開発者や管理者に最高クラスの俊敏性をもたらします。

圧倒的な拡張性シングルMongoDBノードは、シャーディングすることなく、1秒当たり46万のread/writeを実現し、2TBのスケールアップを可能にします。

脅威の連続稼働時間最高クラスの連続稼働設計：

フォールトトレラントメモリー、予備プロセッサー、システムの広範囲でのエラー検知や収集、耐震設計されています。

圧倒的なセキュリティー

完璧にチェックされたハードウェア、データ整合性のためのメモリー、最高クラスのセキュリティー、ハードウェアレベルでの暗号鍵の保護、高い安全性を持った集中型のキー保管と管理を兼ね備えた、最高レベルのセキュリティー

LinuxONE Focus for 2016

Cloud Manager

vRealize

IBM Cloud Manager

Patterns for LinuxONE

© 2016 IBM Corporation

Virtualization / Containers

Linux Operating Systems

Cloud Infrastructure

Supported by Canonical

Linux = LinuxKVM = KVM

Containers = ContainersOpenstack = Openstack

IBM Linux Engineering Assertions

3

© 2011 IBM Corporation4

P6 P7 P8P1 P2 P3 P4 P5

LPAR1

Linux

LPAR2

Linux

LPAR3

KVM

LPAR4

z/VM

z/VM

Linux

IBM LinuxONE System

Real

cores*

Logical

cores

Real

cores*

Logical

cores

Virtual

cores

Virtual

cores

IBM LinuxONE Systems Virtualization

Note: There are typically dozens or hundreds

of Linux servers in a KVM or z/VM LPAR.

P1 – P8 are Physical Processors (cores) or Integrated Facility for Linux (IFL) – LinuxONE cores

* - One shared Pool of cores per System only

Note: - LPARs can be managed by DPM – Dynamic Provisioning Manager or PR/SM – Processor Resource System Manager

Lin

ux

Lin

ux

Lin

ux

Lin

ux

Lin

ux

Lin

ux

Linux

LinuxLinux

LinuxONE – SOR+SOI+SOE in a Box

5

HW

Part. 1

…

HiperSocket LAN

https://www.youtube.com/watch?v=VWBNoIwGEjo

Linux

guestLinux guest

Docker Docker Docker Docker

• 公開されたAPIを利用してデータ取得• 公開されたNode.jsモジュールの活用により、高効率開発

• Dockerの利用によりアジャイルに開発し、即座に実装

• 開発コードはGithubで管理

LinuxONEにおけるSOR/SOE連携

WebSphereApp Server

Business LogicPersistent Layer DB2

Twitter

SOE

SOR

Node.jsに

対応したLinuxONEとx86の比較

60%早い

レスポンスタイム

2.5倍のスループット

6

7

Total Per Core

Total Per Core

L1キャッシュ 224 KB 64 KB

L2キャッシュ 4 MB 256 KB

L3キャッシュ 64 MB 8 MB 45 MB 2.5 MB

Haswell E5 2600 V3 chipLinuxONE chip

CPUからL3へは複数のL3リングをまたいでのアクセスとなるため、レイテンシが一定ではない

全てのコアからL3へのアクセスが一定のためレイテンシが最小

x86サーバーとの相違点キャッシュデザイン比較

Large scale-up servers run multiple variable workloads more efficiently

8

144 variable workloads: Machine capacity (red) = 1.42x average demand (green)

1 variable workload: Machine capacity (red) = 6x average demand (green)

Consolidating large numbers of variable workloads reduces the overall variance (statistical multiplexing)

Larger servers with capacity to run many workloads can be driven to higher average utilization levels without violating service level agreements

6x Peak to Average

1.42x Peak to Average

さまざまなワークロードを取り込むことで集約効果を高める

x86 Linux on z Systems


【参考】Docker on z のパフォーマンス

9

0

500

1000

1500

2000

2500

LinuxONE Haswell

thro

ugh

pu

t (#

tra

nsa

ctio

ns/

sec)

LinuxONE では、Haswellに比べて2倍の 4096 docker コンテナを稼動させることができるWorkload: Apache Solr

LinuxONE では Mixed workloadで、 10k個の dockerコンテナを稼動させることができるHaswellでは5k個を超えると比較できる結果が得られなくなった

Workload: Apache Solr + : busybox httpd server (no NAT)

ひとつのLinuxONE Emperor で100万個以上のdocker コンテナを稼動させたWorkload: busybox httpd server (no NAT)

4096個のコンテナを動かした場合のスループットとレスポンスタイム

0

500

1000

1500

2000

LinuxONE Haswell

late

ncy

(m

sec)


Dockerの対応状況

10

SLES12 SP1から正式サポートを開始

• SLES12 SP1の「モジュール」として提供

• STSSの正式サポートあり（追加料金なし）

※モジュールとは

• 本体とはライフサイクルが異なるコンポーネントを集めたもの

• DockerはContainersモジュールに含まれる

• 本体のDVDには含まれておらず、Webから配布する形式

• 追加料金はなく、通常のSubscriptionで入手可能

出典:Docker Quick Sarthttps://www.suse.com/documentation/sles-12/singlehtml/dockerquick/dockerquick.html

LinuxONE上のシングルMongoDBノードは、スループットとレスポンスタイムを5ミリ秒以下に維持したまま2TBまでスケールアップ可能です。また、シャーディングを行うことなく、40億以上のドキュメントを、1秒当たり46万のread/writeが可能です。

Node.jsとMongoDBを搭載したLinuxONEは、1日当たり300億万ものwebイベントを処理可能です。

MongoDB for the Enterprise

11

MongoDBを用いた拡張性、パフォーマンス、セキュリティー、可用性

“ “We are committed to make MongoDB available on all major platforms and are excited to add support for IBM LinuxONE Enterprise Grade Linux and LinuxOne Platform. This announcement is a leap forward for customers who want to deploy modern, mission-critical applications built with MongoDB and take advantage of the performance, scalability and security of IBM’s LinuxONE platform hardware products.”

--- Eliot Horowitz CTO & Founder, MongoDB

2x Better Data-Serving with LinuxONE

MariaDB 10.1.5

1.8x to 2.1x

throughput

improvemen

t on

Sysbench

Benchmark

PostgreSQL 9.4

1.6x to 2.2x

throughput

improvemen

t on

pgBench

Benchmark

1.9x to 2.1x

throughput

improveme

nt on YCSB

Benchmark

12

Cloudant DBaaS

12

MongoDB 3.0.4 (WiredTiger, no sharding)

1.9x to 2.1x

throughput

improveme

nt on YCSB

Benchmark

13

• LinuxONEおよびIBM zをハイパフォーマンス化するJavaScript

– node.jsのAcmeAirを用いることで、 Apache Jmeterによるベンチマークでは、 2.1倍のRESTful webインタラクションを実現します

Node.jsによるハイパフォーマンス化

14

Spe

ed

up

*Composite Mean Across 8 ‘Spark’ Core Benchmarks

14

Spark

• Sparkのコア機能を用い、リアルタイムアナリティクスで得られるインサイトを1.5倍速く獲得できます。

• バッチ処理可能な時間内で、 1.5倍多くのデータを処理し、より精度の高いリアルタイムインサイトを導き出すモデルビルディングを実現します。

• LinuxONE上でSparkとオープンソースデータベースを一緒に配置させることにで、他のプラットフォーム上で稼動させた場合に比べ、3倍のパフォーマンスを実現します。

• 例：OLTPによる取引データを加工してレポートを作成している仲介取引のオペレーション分析

15

• データベースの圧縮時間を最大で7.5倍削減（大容量のドキュメントを含んだMongoDBの場合）

• zEDCを使用したz13でSpark RDD実行により、4.9倍のスループットを実現

• zEDCを使用したz13で、Dockerコンテナの圧縮時間を最大4倍削減

15

HW Compression

© 2016 IBM Corporation* Content and priority are subject to change16

Languages and Dev Environment Databases Messaging & Streaming

Node.js MySQL RabbitMQ

Ruby PostgreSQL Apache Kafka

Rails MariaDB Logstash (ELK)

Python MongoDB Fluentd

LLVM Apache Cassandra Apache Flume (1Q)

OpenJDK, OpenJDK JIT(2Q) Redis Apache ActiveMQ*

GCCGO, Golang compiler(1Q) Apache CouchDB Apache Apex(Data Torrent)*

oCaml, oCaml native compilerCloudant^ (CouchDB

based)Apache NiFi*

Erlang Apache Geode IronMQ*

PHP/Zend CouchBase (2Q)

R ScyllaDB* Graph DBs

Clojure MemSQL* Spark GraphX

Scala Aerospike* Neo4j (1Q)

Swift (Apple) (2Q) Druid* Pegasus*

BIRT (Eclipse plug-in) (1Q) Apache Ignite* Titan*

Mono(C#...) [open source for .NET] Hazelcast*

Ported - verified

Work in progress (target quarter)

Work under Evaluation/not started

Tier 1: Foundation Packages*• Porting work: compilers, bug fixes, build script changes etc…

• “Dockerize” all ports

• Working to get more engaged within these communities

• Additional Tier 2 packages in Backup charts

* Requested by Client. Pending input on priority^ IBM offering

Open Source & ISV Linux Capability (LinuxONE, z Systems)

17 * Content and priority are subject to change17

Open Source & ISV Linux SW Capability

Various sources of input: e.g. BlueMix, Github stats, feedback from: direct client input, IBM client reps, on going research

Tier 2: Popular Tools and Applications*• Most packages just work on LinuxONE and IBM Systems without porting effort, especially

if written in Java or supported languages, and RHEL/SLES are among supported distros.



Orchestration/ Deployment Config / Monitoring / ManagementMachine & Deep

LearningOperating Systems <Enterprise

and Open Source>

Docker Chef Spark MLLib* SLES <enterprise>

Docker Swarm Puppet SystemML* RHEL <enterprise>

Docker Compose Ansible H2O* Ubuntu <enterprise> (2Q)

Kubernetes (1Q) SaltStack TensorFlow* Debian

Apache Mesos (1Q) virt-install (1Q) Neon* Fedoroa

Docker Machine ElasticBox (3Q) Apache SINGA* CentOS (ClefOS)

Docker Kitematic cAdvisor OpenSUSE

IaaS & PaaS Zenoss (2Q) CoreOS*

OpenStack Apache ZooKeeper RancherOS*

Cloud Foundry (3Q) Etcd (2Q)

OpenShift (1Q)Consul (2Q)

DataDog (3Q)


Ported – verified Work in progress (target quarter) Work under Evaluation/not started

18* Content and priority are subject to change

18


Big Data & Analytics App development & DevOps Web Application Dev/Perf & CMS Front EndHadoop (via Veristorm,

^BigInsights) Xerces-c Apache jMeter Kibana (ELK)

Elasticsearch (ELK) XMLSec Wordpress D3

Apache Spark protobuf Ceilometer Ionic*

Apache Solr Doxygen Apache Tomcat Graphene*

Cloudera (1Q) ANTLR HAProxy Angular (MEAN)

Apache Storm Apache Maven NGNIX Express (MEAN)

Jenkins Apache HTTP Meteor*

Notebooks Apigility (1Q) JBoss

Apache Zeppelin* Drupal

Jupyter* Joomla

Ipython* SugarCRM

Graphite* Magento

Various sources of input: e.g. BlueMix, Github stats, feedback from: direct client input, IBM client reps, on going research

Tier 2: Popular Tools and Applications*• Most packages just work on LinuxONE and IBM Systems without porting effort, especially

if written in Java or supported languages, and RHEL/SLES are among supported distros.




Ported - verifiedWork in progress (target quarter) Work under Evaluation/not started

19

Tier 2: Popular Tools and Applications* that have been verified by Sine Nomine Associates

App development

& DevOps

System

productivity tools

tools

System

configuration tools

tools

System libraries

libraries

pigzautossheXtplorer-modMonophp-mcryptGeoIPphp-pear-DBphp-php-gettextmockPerl Tools(e.g. perl-libapreq2, perl-Net-Ping…)

Bacula

ipsec-tools

netcat

openVPN

ossec-hids

h3270

s3270

phpMyAdmin

webmin

dhcp_probe

lightttpd

mod-rpaf

thttpd

scsi-target-utils

HAO

heartbeat

db4

freetds

libibverbs

libapreq2

libmcrypt

libnet

libsodium

openpgm

pkcs11-helper

zeromq

* Content and priority are subject to change

Ported - verifiedWork in progress

19


linuxone 技術編 · workload: apache solr linuxone ではmixed workloadで、10k個のdocker...

Documents