15分でお届けする elastic stack on azure 設計・構築ノウハウ
TRANSCRIPT
1
Yoichi Kawasaki
Azure Technical Solution Professional
Microsoft Corporation
15分でお届けするElastic Stack on Azure設計・構築ノウハウ
2
3
プラットフォームサービス
インフラストラクチャーサービス
Compute Storage
Datacenter Infrastructure
Application Platform
WebApps
MobileApps
API Apps
Notification Hubs
HybridCloud
Backup
StorSimple
Azure SiteRecovery
Import/Export
Networking
Data
SQL Database DocumentDB
Redis Cache
AzureSearch
StorageTables
SQL DataWarehouse
Azure AD Health Monitoring
Virtual Network
ExpressRoute
Blob Files DisksVirtual Machines
AD PrivilegedIdentity Management
Traffic Manager
AppGateway
OperationalAnalytics
Compute Services
Cloud Services
BatchRemoteApp
ServiceFabric
Developer Services
Visual Studio
ApplicationInsights
VS Team Services
Containers DNSVPN Gateway
Load Balancer
Domain Services
Analytics & IoT
HDInsight MachineLearning Stream Analytics
Data Factory
EventHubs
Data LakeAnalytics Service
IoT Hub
Data Catalog
Security & Management
Azure ActiveDirectory
Multi-FactorAuthentication
Automation
Portal
Key Vault
Store/Marketplace
VM Image Gallery& VM Depot
Azure ADB2C
Scheduler
Xamarin
HockeyApp
Power BI Embedded
SQL Server Stretch Database
MobileEngagement
Functions
Intelligence
Cognitive Services Bot Framework Cortana
Security Center
Container Service
Queues
VM Scale Sets
Data Lake Store
Dev/Test Lab
Integration
BizTalkServices
Service Bus
Logic Apps
API Management
Media & CDN
Content DeliveryNetwork
Media Services
Media Analytics
4
Azure IaaSのコアサービス
5
Azureへのデプロイメント２種類の便利なデプロイメントオプションのご紹介
Azure Marketplaceからのデプロイ
• Azure Marketplace• 最も手っ取り早いやり方• 30日のX-Packトライアルライセンス付き。トライアル期間が過ぎたらBYOLでライセンス更新可能
Github上のARMテンプレートをカスタマイズしてデプロイ
• Elastic社が用意したGithub上のARMテンプレートをカスタマイズ
• Azure CLIやPowerShellコマンドを使ってデプロイメント
66
Video:Azure Marketplace からのクイックデプロイメント
7
Azure上に構築されたElasticsearch & Kibana
8
Azure 仮想マシンインスタンスの種類
[x]S プレミアムストレージ型(例)• DS = 汎用 + プレミアムストレージ
• FS = コンピューティング最適化 + プレミアムストレージ
9
推奨仮想ハードウェアとDISK
TYPE 推奨インスタンス 推奨DISK 特徴
マスターノード スモールDシリーズ Managed Disk• 大量コア, メモリは不要• 大規模クラスタでは専用マスターノード x 3を推奨
データノードDSシリーズ
（DS3 or DS4）Premium Managed Disk
• メモリ量は多いほどよい• Premium Storage推奨
Kibana スモールDシリーズ Managed Disk • マスターノードと同様
Logstash FSシリーズ Premium Managed Disk• コンピューティング最適化型インスタンス推奨
• Premium Storage推奨
Source:
https://www.elastic.co/blog/deploying-elasticsearch-on-microsoft-azure
https://www.elastic.co/jp/blog/deploying-elasticsearch-on-microsoft-azure
https://docs.microsoft.com/en-us/azure/architecture/elasticsearch/
10
可用性設定
可用性セットDC内のハード障害/定期ソフトアップデート等に有効。VM SLA 99.95%
可用性ゾーンの注意点マスターノード各ゾーンに最低1ノードを配置
データノードパフォーマンスの観点からShard Allocation Awarenessを使用して検索要求の際にゾーン間の大量通信を避ける必要がある
可用性ゾーンDCレベルの障害に有効VM SLA 99.99%(予定)
Preview
OR
Source:
https://azure.microsoft.com/en-us/updates/azure-availability-zones/
https://www.elastic.co/blog/deploying-elasticsearch-on-microsoft-azure
11
ネットワークセキュリティグループ
ネットワーク セキュリティグループ（NSG）• L4フィルタリング• 受信、送信のトラフィック制御• 設定単位はサブネット、または
VM（ARMではNIC単位）• 各NSGルールの適用によるトラフィックの拒否/許可をログ記録することが可能
例) Kibana VM用受信ルール
12
データコレクション
Beats
Log Files Metrics
Wire Data your(beat)
Kafka
Redis
Nodes (X)
Hadoop Ecosystem
Logstash
Elasticsearch
Kibana
X-pack
Custom UI
Authentication Notification
X-pack
ES-HadoopLDAP AD SSO
Instances (X)
Master Nodes (3)
Ingest Nodes (X)
Data Nodes - Hot (X)
Data Nodes - Warm (X)
Messaging
Queue
Azure Services
Blob Storage Service Bus Topic Event Hub
PaaS MySQL PaaS PostgreSQL SQL DB
HDInsight
Azureサービスと連携方法一覧
• Azure Blob Storage• logstash-input-azureblob
• Azure Service Bus (Topic)• logstash-input-azuretopic
• Azure Event Hub• logstash-input-azureeventhub
• Azure SQL Database• logstash-input-jdbc
• Azure Database for MySQL• logstash-input-jdbc
• Azure Database for PostgreSQL• logstash-input-jdbc
• Azure HDInsight• ES-Hadoopによる連携
VM on Azure
13
Azureリソースのメトリック・ログのコレクションAzure診断ログ、活動ログ、メトリックのElastic Stackへの取り込み例
Nodes (X)
Logstash
Elasticsearch
Kibana
X-pack
Custom UI
Authentication Notification
X-pack
LDAP AD SSO
Instances (X)
Master Nodes (3)
Ingest Nodes (X)
Data Nodes - Hot (X)
Data Nodes - Warm (X)
Azure Services
Blob Storage
Event Hub
1. Azureリソースが出力する下記の情報は標準でBlob StorageまたはEvent Hubに出力設定可能
• 診断ログ（Diagnostics log）• 活動ログ（Activity log）• メトリック
2. BlobまたはEvent hubに出力されたデータをLogstashを通じてElastic Stackに取り込み可能
Azureリソース関連情報を含め全てのログをElastic Stackで一元管理することができる
14
Elastic on Azure Presented by Creationline
Elastic公認パートナーであるクリエーションラインが、Azure上でElasticを導入する際のアーキテクチャ支援、マイグレーションサービスなどフルサポートいたします。
Cloud Everywhereトライアルメニュー
(30万円相当が無償)
データアナリスト、ElasticエキスパートがAzure上で
Elasticを導入する際のアーキテクチャコンサル、マイグ
レーションなどのコンサルティングを提供します。
コンサルティングサービスアーキテクチャ（ハードウェア/ソフトウェア/ネットワーク）クラスタ管理インデックス / シャードの設計クエリの最適化他の製品との連携バックアップおよび高可用性戦略他製品からのマイグレーションExpressRoute対応
クリエーションライン株式会社（Creationline, Inc.）Elastic公認パートナー。高度なアーキテクチャ設計などを得意とするテクノロジスト集団。大手通信事業者、サービス提供事業者などに対して多くの実績を持っている。最新のイノベーティブなテクノロジーをスピード感を持って提供することができる数少ない企業。https://www.creationline.com/elastic
1515
Appendix – 参考文献
Deploying Elasticsearch on Microsoft Azurehttps://www.elastic.co/blog/deploying-elasticsearch-on-microsoft-azure
Microsoft AzureにElasticsearchをデプロイするhttps://www.elastic.co/jp/blog/deploying-elasticsearch-on-microsoft-azure
Elasticsearch and Kibana Deployments on Azurehttps://www.elastic.co/blog/elasticsearch-and-kibana-deployments-on-azure
Spinning up a cluster with Elastic's Azure Marketplace templatehttps://www.elastic.co/blog/spinning-up-a-cluster-with-elastics-azure-marketplace-template
Run Elasticsearch on Azurehttps://docs.microsoft.com/en-us/azure/architecture/elasticsearch/
Public preview: Azure Availability Zoneshttps://azure.microsoft.com/en-us/updates/azure-availability-zones/
Filter network traffic with network security groupshttps://docs.microsoft.com/en-us/azure/virtual-network/virtual-networks-nsg
Shared Allocation Awarenesshttps://www.elastic.co/guide/en/elasticsearch/reference/6.0/allocation-awareness.html#allocation-awareness
Azure Diagnostics Toolshttps://github.com/Azure/azure-diagnostics-tools
16
Thank you!
Enjoy Elastic Stack on Azure!