amazon elastcsearch service 소개 및 활용 방법 (윤석찬)
TRANSCRIPT
Amazon Elasticsearch Service 소개 및 활용 방법
윤석찬
@channyunAWS Korea 테크에반젤리스트
목차
• Elasticsearch 및 Amazon Elasticsearch 서비스 소개• Amazon ES 활용하기
1. Amazon ES 도메인 설정 (데모: ES 도메인 생성)2. Amazon ES 확장성3. 안전한 도메인 접근 제어4. 분석 데이터 로딩하기 (데모: VPC Flow Log 분석)5. Amazon ES 관리 기능
• Amazon ES 시작하기
US-WEST (Oregon)
EU (Ireland)
ASIA PACIFIC (Tokyo)
US-WEST (N. California)
SOUTH AMERICA (Sao
Paulo)
US-EAST (N. Virginia)
AWS GOVCLOUD (US)
ASIA PACIFIC (Sydney)
ASIA PACIFIC (Singapore)
CHINA (Beijing)
32 AZAvailability Zones
EU (Frankfurt)
ASIA PACIFIC (Seoul)
12 Regions오하이오,중국,인도,영국, 캐나다 (2016-17)
54 Edges
2016년 1월 7일 - 서울 리전 개시!
2016년 1월 7일 - 서울 리전 개시!
* 서울 리전 이용가능 서비스 (2016. 1. 7 현재)
ComputeElastic
BeanstalkEC2Elastic Load
Balancing
Networking
VPC Direct Connect Route 53
Analytics
EMR Kinesis
Management Tools
CloudWatch CloudFormation CloudTrail
Security & IdentityIdentity &
Access Management
Trusted Advisor
Key Management
Service
Storage & CDN
S3 CloudFront Glacier
Database
RDS DynamoDB ElastiCache RedShift
App Services
SQS SWF SNS
The Next Wave
2016년 1월 29일 - 서울 리전 첫 신규 서비스
Amazon Elasticsearch• 실시간 분석 + 모니터링ü ELK 스택 관리형 서비스ü 대용량 데이터 볼륨 지원ü 저렴한 실시간 분석 및시각화
두 가지 클라우드 검색 서비스?
Amazon CloudSearch• 자동화된 검색 서비스ü 키워드 텍스트 검색에 효과적ü 간단한 API로 동작ü 간편한 스키마 변경
Elasticsearch 소개
강력한 실시간분산 기반 검색및 분석 엔진:• 2010년에 처음출시되어인기오픈소스검색및분석엔진으로성장• Apache Lucene 기반으로수백대까지분산클러스터를구성가능• 유연한스키마를가진 JSON 데이터스토어• 개발자친화적RESTful API 제공
Elasticsearch의 강점
로그 수집기인 Logstash와 시각화도구인 Kibana를 연결하여,ELK Stack을 통해 강력한실시간 데이터분석이 가능!
Elasticsearch를 사용하는 AWS 고객
• 실시간 고객행동 분석 및 이해• 모바일 유저및 애플리케이션로그 분석• 웹 로그 분석• 소셜 미디어/스트리밍분석• 일반적인웹 사이트 검색
Elasticsearch에 대한 고객의 소리
“Elasticsearch는 매우 편리하고빠르게빅데이터 분석용애플리케이션을만들수 있는 ELK 스택을제공합니다. 다만, 서버클러스터운영및 확장성에대한 관리 부담때문에 ElasticsearchAPI에 직접 접속 만으로유연하게서비스를 빠르게만들 수 있는Amazon Elasticsearch Services를 선택했습니다."
Sean Curtis, SVP Engineering at Major League Baseball Advanced Engineering
Amazon Elasticsearch Service란?
Amazon Elasticsearch Service는 ES 클러스터를 클라우드에 설치, 운영및 확장을용이하고 하는 관리형 서비스로 AWS 기타서비스와 연계하기에 편리합니다!
Amazon ES의 주요 이점
손쉽게 클러스터설정 및관리 가능ELK 스택 지원
AWS IAM을통한사용자 인증 및CloudWatch를통한 모니터링
다른 AWS 자원과 손쉽게통합 가능
1. Amazon ES 도메인 설정
Amazon ES 도메인 생성 – 콘솔
API 엔드포인트및 내장 Kibana 사용법
API 엔드포인트
내장 Kibana
Amazon ES 도메인 생성 - CLI 명령어
add-tagscreate-elasticsearch-domaindelete-elasticsearch-domaindescribe-elasticsearch-domaindescribe-elasticsearch-domain-config
describe-elasticsearch-domainslist-domain-nameslist-tagsremove-tagsupdate-elasticsearch-domain-config
$ aws es create-elasticsearch-domain --domain-name my-domain--elasticsearch-cluster-configInstanceType=m3.xlarge.elasticsearch,InstanceCount=3
--ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=512
Amazon ES 도메인 구성도
Amazon Route 53
Elastic Load
Balancing
IAM
CloudWatch
Elasticsearch API
CloudTrail
ES Clusters
Amazon Route 53
Elastic LoadBalancingIAM
CloudWatch
Elasticsearch API
CloudTrail
Amazon ES 도메인 구성도
노드관리 – 마스터/데이터노드
IAM
CloudWatchCloudTrail
Elasticsearch API
Amazon Route 53
Elastic LoadBalancing
Amazon ES 도메인 구성도
싱글엔드포인트REST API
CloudWatchCloudTrail
Elasticsearch API
Amazon Route 53
Elastic LoadBalancingIAM
Amazon ES 도메인 구성도
통합인증및접근제어
Elasticsearch API
Amazon Route 53
Elastic LoadBalancingIAM
CloudWatchCloudTrail
Amazon ES 도메인 구성도
CloudWatch/CloudTrail 모니터링
2. Amazon ES 확장성
Amazon ES 도메인 내부 용어
Shard 1 Shard 2
{ {Id Id Id . . .
Documents
{Index
• Document: 검색 단위 문서• ID: 각 문서에 대한 인식자• Shard: 인덱스의 부분을가지는 Lucene 인스턴스
• Index: 검색데이터 집합
Amazon ES 도메인 내 클러스터 구성
• Index 1• Shard 1• Shard 2• Shard 3
• Index 2• Shard 1• Shard 2• Shard 3
Amazon ES cluster
123
123
123
123
Primary Replica
1
3
3
1
Instance 1
2
1
1
2
Instance 2
3
2
2
3
Instance 3
Amazon ES 인스턴스 타입Instance 타입 업무 영역 예제 타입 가격 구조
T2 개발및테스트에용이 Busting 모델t2.micro.elasticsearch는 프리티어제공 (매월 750시간)
M4 쓰기및읽기볼륨이비슷할때(블록스토리지가5TB까지)
m4.large.elasticsearch(2vcpu/8GB/EBS 전용)=0.243/시간당
R3 쿼리요청이많은읽기중심서비스 r3.large.elasticsearch(2vcpu/15GB/32GBSSD)= 0.294/시간당 * 동경리전 기준
I2 16TB까지 SSD 스토리지제공 i2.xlarge.elasticsearch(4vcpu/30.5GB/800GBSSD)= 1.401/시간당
https://aws.amazon.com/ko/elasticsearch-service/pricing/ 서울리전기준
3. 안전한 도메인 접근 제어
안전한 도메인 접근 제어 방법{
"Version": "2012-10-17","Statement": [{
"Sid": "","Effect": "Allow","Principal": {"AWS": "arn:aws:iam:123456789012:user/susan"
},"Action": [ "es:ESHttpGet", "es:ESHttpPut", "es:ESHttpPost",
"es:CreateElasticsearchDomain","es:ListDomainNames" ],
"Resource": "arn:aws:es:ap-northeast-2:###:domain/logs/<index>/*"
} ] }
안전한 도메인 접근 제어 방법{
"Version": "2012-10-17","Statement": [{
"Sid": "","Effect": "Allow","Principal": {"AWS": "arn:aws:iam:123456789012:user/susan"
},"Action": [ "es:ESHttpGet", "es:ESHttpPut", "es:ESHttpPost",
"es:CreateElasticsearchDomain","es:ListDomainNames" ],
"Resource": "arn:aws:es:ap-northeast-2:###:domain/logs/<index>/*"
} ] }
사용자 기반권한 관리
안전한 도메인 접근 제어 방법{
"Version": "2012-10-17","Statement": [{
"Sid": "","Effect": "Allow","Principal": {"AWS": "arn:aws:iam:123456789012:user/susan"
},"Action": [ "es:ESHttpGet", "es:ESHttpPut", "es:ESHttpPost",
"es:CreateElasticsearchDomain","es:ListDomainNames" ],
"Resource": "arn:aws:es:ap-northeast-2:###:domain/logs/<index>/*"
} ] }
HTTP 메소드에따른 허용/거부및 정책 설정
안전한 도메인 접근 제어 방법{
"Version": "2012-10-17","Statement": [{
"Sid": "","Effect": "Allow","Principal": {"AWS": "arn:aws:iam:123456789012:user/susan"
},"Action": [ "es:ESHttpGet", "es:ESHttpPut", "es:ESHttpPost",
"es:CreateElasticsearchDomain","es:ListDomainNames" ],
"Resource": "arn:aws:es:ap-northeast-2:###:domain/logs/<index>/*"
} ] }인덱스에대한 세부적인권한 관리
안전한 도메인 접근 제어 방법{
"Version": "2012-10-17","Statement": [
{"Sid": "","Effect": "Allow","Principal": {
"AWS": "*"},"Action": [ "es:ESHttpGet", "es:ESHttpPut", "es:ESHttpPost",
"es:CreateElasticsearchDomain","es:ListDomainNames" ],
"Resource": "arn:aws:es:ap-northeast-2:###:domain/logs/<index>/*"
"Condition":"IpAddress": {
"aws:SourceIp": [ "xx.xx.xx.xx/yy" ]} } ] }
IP 주소 기반한접근 제어 가능
4. 분석 데이터 로딩하기
1. Elasticsearch API 직접 접속
$ curl -XPUT https://<endpoint>/blog -d '{"settings" : { "number_of_shards" : 3, "number_of_replicas" : 1 } }’
$ curl -XPOST http://<endpoint>/blog/post/1 -d '{"author":"jon handler",
"title":"Amazon ES Launch" }’
$ curl -XPOST https://<endpoint>/blog/post/_bulk -d '{ "index" : { "_index" : "blog", "_type" : "post", "_id" : "2"}}
{"title":"Amazon ES for search", "author": "pravin pillai"},
{ "index" : { "_index":"blog", "_type":"post", "_id":"3" } }
{ "title":"Analytics too", "author": "vivek sriram"}’
$ curl -XGET http://<endpoint>/_search?q=ES{"took":16,"timed_out":false,"_shards":{"total":3,"successful":3,"failed":0},"hits":{"total":
2,"max_score":0.13424811,"hits":[{"_index":"blog","_type":"post","_id":"1","_score":0.13424811,"_source":{"author":"jon handler", "title":"Amazon ES Launch" }},{"_index":"blog","_type":"post","_id":"2","_score":0.11506981,"_source":{"title":"Amazon ES for search", "author": "pravin pillai"},}]}}
2. Logstash를 통한 데이터 로딩
Application nodes/Logstash forwarders
Logstash indexerAmazon
Elasticsearch Service
Amazon ES를 위한 Logstash 플러그인
https://github.com/awslabs/logstash-output-amazon_es
output { amazones {
*hosts => ["foo.ap-northeast-2.es.amazonaws.com"] *region => ”ap-northeast-2"
access_key => 'ACCESS_KEY' (optional)secret_key => 'SECRET_KEY' (optional)codec => "plain" workers => 1 index => "logstash-%{+YYYY.MM.dd}"
}
}
3. AWS Lambda를 통한 데이터 전달
Amazon Lambda
Amazon Elasticsearch
Service
Amazon S3
DynamoDB
Amazon Kinesis
예제. 간단한 Lambda 함수
var AWS = require('aws-sdk');
var creds = new AWS.EnvironmentCredentials('AWS');
function postDocumentToES(doc, context) {
var req = new AWS.HttpRequest(endpoint);
var signer = new AWS.Signers.V4(req, 'es');
signer.addAuthorization(creds, new Date());
var send = new AWS.NodeHttpClient();
send.handleRequest(req, null, function(httpResp)...
https://github.com/awslabs/amazon-elasticsearch-lambda-samples
Arrow direction indicates general direction of data flow
EC2 instances
Logstashcluster on EC2
DynamoDBTables
RDS Databases(via JDBC)
SQSQueues
KinesisStreams
AmazonElasticsearchdomain
CWL Logs agent
VPCFlow Logs
CloudTrailAudit Logs
S3AccessLogs
ELBAccessLogs
CloudFrontAccessLogs
SNSNotifications
DynamoDBStreams
SESInbound
CognitoEvents
KinesisStreams
CloudWatchEvents &Alarms
ConfigRules
Lambda
Filebeat agent
REST API client
S3
CloudWatchLogs
데모.Amazon ES기반CloudWatch 로그 분석
CloudWatch Amazon Elasticsearch
Service
VPC Flow Logs 분석하기
• 특정 VPC 그룹에대한네트워크로그수집및스트리밍가능• 소스 / 목적지 IP 주소, 포트, 프로토콜번호패킷바이트모니터링간격시간, 그리고이에따른액션(ACCEPT 또는 REJECT) 정보 포함
Kibana UI
5. Amazon ES 관리 기능
Amazon ES 모니터링 및 스냅샷 백업
• CloudWatch 및 CloudTrail을 통한모니터링
모니터링 필수 지표
• FreeStorageSpace – 클러스터의남은 용량알람 설정• CPUUtilization – 확장을고려하여 80% CPU 시 알람 설정• ClusterStatus.yellow – 추가노드의 리플리케이션이필요할 때• JVMMemoryPressure – 인스턴스타입 선정 및 자원 확인• MasterCPUUtilization – 마스터노드에 대한 모니터링
Amazon ES 자동 스냅샷 및 백업
• 추가 비용 없음• 무료로 14일까지저장 가능
스냅삿 백업 및 꺼내 오기
1. S3 bucket에 저장하기curl -XPUT http://<endpoint>/_snapshot/<repo-name>-d '{"type":"s3",
"settings": {"bucket":"<bucket>","region":"<region>","role-arn":"<arn>"}}’
2. 스냅샷 꺼내 오기curl -XPUT http://<endpoint>/_snapshot/<repo-name>/snapshot1
맺으면서
1. Elasticsearch는 검색, 로그 분석 및 시각화를위한 일체형오픈소스 분석 엔진으로실시간데이터 폭증에도유리한 도구입니다.
2. Amazon Elasticsearch Service는 ES 클러스터를손쉽게 만들고관리하는데용이합니다.
3. 여러분이 Amazon EC2에서 ES를 사용하고 계시다면, 자원비용외 추가 비용 없이 관리 서비스를 사용해 보실 수 있습니다.
4. 만약 기존 데이터센터에 계시다면,확장성 고려및 ES 관리비용을 줄여보세요!
지금 시작하기
1. 아마존 웹 서비스(AWS) 가입• http://aws.amazon.com/ko
2. Amazon ES 서비스 시작하기• 서비스 소개: https://aws.amazon.com/ko/elasticsearch-service/• FAQ: https://aws.amazon.com/ko/elasticsearch-service/faqs/
3. Amazon ES 프리티어• 750시간의 t2.micro.elasticsearch 인스턴스와 10GB의 Amazon EBS 스토리지 옵션※ t2.micro 인스턴스 10대 x 월 75시간 무료 사용 가능
AWS 코리아 소통 채널• 공식 블로그: http://aws.amazon.com/ko/blogs/korea
• 공식 소셜 미디어
• 한국 사용자 모임: http://awskr.org
@AWSKorea
AmazonWebServices.ko
AWSKorea
AWSKorea
질문을 남겨주세요
강연에 대한 설문조사
발표자료 / 녹화영상http://bit.ly/awskr-webinar