a method for measuring the user- perceived...
TRANSCRIPT
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(1 / 23)
A Method for Measuring the User-Perceived Performance of Web Service
2000년 12월 22일함재현
[email protected]분산처리 및 네트워크관리 연구실
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(2 / 23)
목차• 웹서비스• 웹서비스 성능 측정
• 성능 정보 정의
• 성능 측정 시스템 설계
• 구현 및 사용 예제
• 결론
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(3 / 23)
웹서비스 구조
FTP ServerE-mail ServerApplication ServersDatabases
ExternalThird PartyContent
WebServers
LoadBalancer
WebClient
WebClient
Router
Internet(ISPs)
Web Site
WebClient
WebClient
WebClient
WebClient
LAN
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(4 / 23)
웹서비스 성능 측정 필요성
웹서비스의문제 원인파악 필요
인터넷의 대중화
웹서비스사용자의 증가
웹서비스제공자의 증가
웹서비스확대
웹서비스의 성능확인 필요
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(5 / 23)
웹서비스 성능 측정 분류 (1)• 측정 위치에 따른 분류
FTP ServerE-mail ServerApplication ServersDatabasesWeb
Servers
LoadBalancer
Web Site
LAN
Web Service through Internet
performance metricsof componentsperformance metrics
perceived by users
사용자 위치에서의성능 측정
사용자 위치에서의성능 측정
제공자 위치에서의성능 측정
제공자 위치에서의성능 측정
Web Client
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(6 / 23)
웹서비스 성능 측정 분류 (2)• 측정 방법에 따른 분류
client server
access to server like a client
client serverobserve accessto server
agent
수동적인성능 측정
수동적인성능 측정
능동적인성능 측정
능동적인성능 측정
report performance metrics
report performance metrics
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(7 / 23)
웹서비스 성능 측정 분류 (3)
웹사이트 내의 웹서비스 성능만확인 가능
웹서비스의 대략적인 문제 원인만 분석 가능단점
웹사이트 내의 구체적인 문제 원인 분석 가능
웹서비스의 사용자가 받는 성능확인 가능장점
제공자 위치에서의 성능 측정사용자 위치에서의 성능 측정
사용자의 위치를 모르면 사용자가 받는 성능 측정이 불가능
추가적인 트래픽이 필요단점
추가적인 트패픽이 필요 없음웹서비스를 제공하는 시스템의성능 정보 파악 가능
사용자의 위치를 몰라도 사용자가 받는 성능 문제를 반영장점
수동적인 성능 측정능동적인 성능 측정
• 장단점
웹서비스의 사용자가 받는 성능을 반영하기 위해서사용자 위치에서 능동적인 성능 측정
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(8 / 23)
기존의 웹서비스 성능 측정의 예제
a) Remote Monitor of Holistix
c)SecretShopper of WebPartnerb) ActiveWatch of Mercury Interactive
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(9 / 23)
기존의 웹서비스 성능 측정의 문제점
웹서비스의 성능확인 웹서비스의문제 원인파악
웹페이지를 받는동안의응답시간, 효율, 에러율 확인
웹페이지를 받는동안의응답시간분해
개선된성능 정보정의 필요
일련의웹페이지를단위로이루어지는 서비스의성능을반영하지않음
사용자 시스템과네트워크 레벨의 문제 원인
파악이 어려움
웹서비스성능측정의목적
문제점
기존의사용자위치에서성능 측정
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(10 / 23)
End-To-End 네트워크 서비스
WebClient
System
WebClient
System
WebServerSystem
WebServerSystem
CPU Usage
Memory Usage
Network must be connected.
Client must be able to send packets
Server must be able to receive packets
Network Connectivity
Packet Loss Rate Per Network Segment
Round-Trip Time, Packet Loss Rate
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(11 / 23)
HTTP 트랜젝션
DNS QueryDNS Answer
Connection Request
Connection Response
HTTP Request for a HTML
HTTP Response for a HTML
HTTP Request for an Embedded Object
DNS ServerWeb Client Web Server
HTTP Response for an Embedded Object
HTTP Request for an Embedded Object
HTTP Response for an Embedded Object
HTTP Request for an Embedded Object
HTTP Response for an Embedded Object
DNS Resolution
TCP Connection
Server Response + Data Transfer
DecodeHTTP
트랜젝션For an
EmbeddedObject
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(12 / 23)
웹서비스 트랜젝션Web Client Web Server
HTTP Transaction Start for H1
HTTP Transaction Finish for H1
HTTP Transaction Start for H2
HTTP Transaction Finish for H2
HTTP Transaction Start for Hi
HTTP Transaction Finish for Hi
HTTP Transaction Start for Hn
HTTP Transaction Finish for Hn
HTTP 트랜젝션(H1)
HTTP 트랜젝션(H2)
HTTP 트랜젝션(Hi)
HTTP 트랜젝션(Hn)
웹서비스트랜젝션
{ H1, H2, … , Hi, Hn | Hi 는 HTTP 트랜젝션}
Application(None)
Application(Database)
Application(Database)
Application(E-mail)
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(13 / 23)
성능 정보 정의
a) 기존의 사용자 관점의웹서비스 성능 정보
Response Time
Throughput
Error Rate
웹서비스 트랜젝션의 성능 정보
HTTP 트랜젝션의 성능 정보
네트워크의 성능 정보
클라이언트 시스템의 성능 정보
b) 제안하는 사용자 관점의웹서비스 성능 정보
Response Time Error RateThroughput
CPU UsageMemory Usage
Network Connectivity
Round-Trip Time
Packet Loss Rate Per Network Segment
Packet Loss RateResponse Time
Throughput
Error Rate
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(14 / 23)
성능 정보 의미
웹서비스의 성능확인 웹서비스의문제 원인파악
웹서비스성능측정의목적
웹서비스트랜젝션의응답시간, 효율, 에러율 확인
웹서비스트랜젝션에서네트워크서비스의시스템까지
성능 정보분석
제안된사용자위치에서의성능 측정
개선된성능 측정 가능
실제 웹서비스 사용자가경험하는성능을반영
네트워크와 시스템 레벨까지문제 원인 파악
개선점
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(15 / 23)
성능 측정 시스템 구조
Measurement Agent
Measurement Manager
Web Service Performance Measurement System
Internet(ISPs)
WebSite
access to server like a client
User Interfacethrough Web
TCP Communication :Separate Measurement and Management
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(16 / 23)
Measurement Manager 설계
PolicyDB
ReportDB
Web ServiceTransaction Info.
WebServer
Web Service Performance Report
UserInterface
Web ServiceTransaction Info.
Web Service Performance Report
Web ServiceTransaction Info.
AnalyzerResponse Time Threshold
Error Rate Threshold
Measured Web Service Performance Info.
Analyzed Web Service Performance Info. For Report
URL Addresses, ParametersFor Web Service Transaction
Measured Web Service Performance Info. isWeb Service Transaction Performance Info.HTTP Transaction Performance Info.Network Performance Info.Client System Performance Info.
MeasurementController
Communicator
URL Addresses, ParametersFor Web Service Transaction
Measured Web Service Performance Info.
MeasurementRequest
MeasurementReply
User
MeasurementAgent
Web Service Transaction Info isService Name, Service Description,Sampling Interval,Response Time Threshold,Error Rate Threshold,URL Addresses, Parameters,Used Application
Measured Web Service Performance Info.
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(17 / 23)
데이터베이스 설계
PolicyDB
ReportDB
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(18 / 23)
Measurement Agent 설계
Communicator
MeasurementRequest
MeasurementReply
PerformanceInformation
Collector
URL Addresses, ParametersFor Web Service Transaction
Web Service Transaction Performance Info.HTTP Transaction Performance Info.Network Performance Info.Client System Performance Info.
HTTP ClientSimulator
NetworkMeasurer
ClientSystem
Measurer
URL Address,Parameter for
HTTP Transaction
Response Time, Error, UtilizationResponse Time By Processing SequenceResponse Time By Contents TypeResponse Time By Contents Location
Site Address
Round Trip TimePacket Loss RatePacket Loss Rate Per Network Segment
Client System Performance Request
Network ConnectivityCPU UsageMemory Usage
MeasurementManager
WebSite
ICMP Echo
HTTPRequest
ICMP Echo Reply
HTTPResponse
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(19 / 23)
HTTP Client Simulator 설계
HTTPCommunicator
HTTP Address, Parameter for HTTP Transaction
Response Time, Error, UtilizationResponse Time By Processing SequenceResponse Time By Contents TypeResponse Time By Contents Location
TimerGenerated time
Time Request
HTTP RequestCreator
URL Address andParameter for
HTTP Transaction
HTTP RequestMessage
HTTP Response
Parser
HTTP ResponseMessage
URL Addresses andParameters for
A Embedded Object,Encoding Time
HTTP ResponseDecoder
Body of HTTPResponse Message
EncodingTime
TimeRequest
Generatedtime
HTTPRequest
HTTPResponse
PerformanceInformation
Collector
WebSite
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(20 / 23)
사용자 인터페이스
a) The Registration Form for Web Service Transactionb) The Registration Form for HTTP Transaction
c) The Input Form for Application
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(21 / 23)
응답시간의 문제 원인 파악
24 > 17 sec
Web Service Transaction Report
Service Name Status Response Time Error Rate Utilization
Membership bad 8 % 1000 byte/sec
a) Overall Web Service Performance
Current : 24 sec
( Max : 27 Min : 8 Avg : 12 )
url aurl burl c
app. 2
app. 1app. 3
time
time
b) Web Service Transaction Performance
d) Network Performance
e) Client System Performance
CPU : 40% Memory : 80%
Network Connectivity : Good
Packet Loss Rate: 30 %
Round-Trip Time : 325 msec
Packet Loss Rate Per Network Segment :
local non -local
D
c) HTTP Transaction Performance
text image embeddedapplet
C S DT DD
Response Time : 16 sec
D : DNS resolutionC : TCP connectionS : Server responseDT : Data transferDD : Data Decode
30283200000%
r8r7r6r5r4r3r2r1
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(22 / 23)
에러율의 문제 원인 파악
Web Service Transaction Report
Service Name Status Response Time Error Rate Utilization
Membership bad 10 sec 28 > 10% 1000 byte/sec
Error Rate : 28%
url a
url burl c
errorrate
timeUsed application : Database
a) Overall Web Service Performance
b) Web Service Transaction Performance
c) HTTP Transaction Performance( Max : 24 Min : 3 Avg : 8 )
D C S DT DD
D : DNS resolution error, C : TCP connection error, S : Server response error,
DT : Data transfer error, DD : Data Decode error
d) Network Performance
e) Client System Performance
CPU : 40% Memory : 80%
Network Connectivity : Good
Packet Loss Rate : 0 %Round-Trip Time : 35 msec
Packet Loss Rate Per Network Segment :
00000000%
r8r7r6r5r4r3r2r1
사용자 관점의웹서비스 성능 측정 기법
POSTECHDP&NM Lab.
(23 / 23)
결론 및 향후 과제• 논문의 의미
– 사용자 관점의 웹서비스 성능 정보 정의• 웹서비스의 사용자가 경험하는 것에 근접하게 성능을 반영
• HTTP 통신 레벨에서 네트워크 시스템 레벨까지 성능 정보 제공
– 사용자 위치에서 웹서비스의 성능 측정 시스템 구현• 웹서비스 사용자의 성능을 웹서비스 트랜젝션 단위로 확인
• 웹서비스의 문제 원인을 웹서비스 트랜젝션 레벨에서 네트워크 시스템 레벨까지 파악
• 향후 과제– 제공자 위치에서의 성능 측정과 결합하여 웹사이트 내부에서의 문
제 원인 파악이 필요하다.