metamétricas por gabriel Álvarezsolis
DESCRIPTION
TRANSCRIPT
Metamétricas
Un enfoque PRAGMÁTICO
de métricas de administración de seguridad informática
Nov 2013
Krag Brotby / Gary Hinson(Traducción E.Fdez.T.)
Presentado por: Ing. Gabriel Álvarez Solis
Lámina 3
¿Por qué métricas?
Lámina 4
“El juicio de un hombre no puedeser mejor que la información sobre
la que se ha basado..”
Arthur Hays Sulzberger, 1947
¿Por qué métricas?
• Tenga en cuenta que
• medimos para administrar
• y ---
• ---- Necesitamos :
• Métricas estratégicas – para navegar
• Métricas administrativas – para administrar
• Métricas operacionales – para operar
Lámina5
¿ Para quién son las métricas?
Lámina6
CEO
CISO
Information Security
¿Para quién son las métricas?
Lámina 7
CEO
CISOCIO
ITInformation
Security
Las métricas …
• Estratégicas son para los gerentes para saber si el programa va o no en sucurso
•
• Administrativas, para la administración del programa día a día•
• Operacionales, para asegurarse de que la maquinaria está funcionandoadecuadamente
Lámina8
Métricas de seguridad de TI
Lámina 9
¿Para quién son las métricas?
Lámina 10
CEO
CISOVP
MarketingCIOVP
ProductionCFO
Finance ITInformation
SecuritySales
Toronto factory
C-s
uite
Bu
sin
ess
un
its
Perth factory
¿Para quién son las métricas?
Lámina 11
CEO
CISOVP
MarketingCIOVP
ProductionCFO
Finance ITInformation
SecuritySales
Toronto factory
Owners, stockholders
Authorities, industry regulators
Local communities & society at large
Customers, suppliers, business
partners
Sta
ke
ho
lde
rs
C-s
uite
Bu
sin
ess
un
its
Perth factory
Lámina 12
Audiencias de Métricas
Security
metrics
audiences
External
stakeholders
Senior management,
C-suite, Board
Operations
Peers
Middle/junior
management
For operational reasons e.g. to
configure & manage security controls
For information security
management & process
improvement
Regulators & authorities – for
reassurance & compliance
For benchmarking comparison
& sharing good practices
Customers, local communities &
Society at large – for reassurance
Owners – for reassurance
For strategic purposes,
governance & assurance
ISO27k
Lámina 13
ISO/IEC
27002
4. R
isk
man
agem
ent
5. Polic
y
6. Organization
7. Asset
management
8. HR security
9. Physical &
environmental10
. Com
ms
&
Ops
man
agem
ent
11. Access
control
12. Software
development
13. Incident
management
14. Business
continuity
15. Compliance
Inventory
Classification
Ownership
Joiners
Leavers
Physic
alNet
work
Syste
ms
Applic
atio
nsFun
ctio
nsDat
a
Awareness,
training &
education
Movers
Principles & axioms
Policies
Standards
Guidelines &
procedures
Specify security
Design
Develop
or acquire
Test
Implement
Maintain
& support
Risk
asse
ssm
ent
Risk a
nalys
isRisk
mitig
atio
n
Structure
Reporting
Liaison
Physical access
Power
Air conditioning
Fire & flood
Resilience
Disaster recovery
Backu
ps
Archi
ves
Config
s
Mon
itorin
g
Logg
ing
& ale
rting
Patch
ing
Prepare
Identify
React
Manage
& contain
Resolve
Learn
AuditPolicies
Laws &
regulations
3 rd parties
Contingency
Lámina 14
Objetivos y resultados
Metrics
Actions and
Decisions
Business outcomes (market share,
profit etc.)
time and uncertainty
Information security goals
(reduce incidents,
increase assurance)
Figura adaptada de Hauser and Katz Metrics: You Are What You Measure www.mit.edu/~hauser/Papers/Hauser-Katz Measure 04-98.pdf
GQMGoal-Question-MetricObjetivo-Pregunta-Métrica
Lámina15
Maintain Acme’s
price premium
Push into new markets
Protect
Acme’s IP
Maximize valueof the distribution, service & support
outlets
Goals Objetivos
GQM
Lámina16
Maintain Acme’s
price premium
Push into new markets
Protect
Acme’s IP
Maximize valueof the distribution, service & support
outlets
What does ‘Protect Acme’s
IP’ actually mean?
What IP is Acme’s, in fact?
Protect Acme’s IP from what?
Protect which IP?
How should Acme’s IP be protected?
Why protect Acme’s IP?
Goals Questions
Objetivos Preguntas
GQM
Lámina 17
Maintain Acme’s
price premium
Push into new markets
Protect
Acme’s IP
Maximize valueof the distribution, service & support
outlets
What does ‘Protect Acme’s
IP’ actually mean?
What IP is Acme’s, in fact?
Protect Acme’s IP from what?
Protect which IP?
How should Acme’s IP be protected?
Why protect Acme’s IP?
Relative value of
different forms of IP
Most-Least important factors
determining the value of IP
IP investments
Comparative IP valuations
Goals Questions MetricsPreguntas MétricasObjetivos
Lámina18
Media docena de señales …
“Cada Oficial de Seguridad (CSO) debetener media docena de señales qué vigilar
en forma regular. Estos indicadores puedenser “métricas de supervivencia,” los
botones rojos en un tablero del que se espera usted se haga cargo, el cual
monitorea el bienestar de su organización, o un problema que preocupa a la gerencia.”
George K. Campbell
Metamétricas
Lámina19
Malware detectado
Reseteo de passwords
Logons fallidos
Sistemas sin parches
Paquetescaidos
Vulnerabilidadesidentificadas
Métricas Inteligentes(SMART)
Lámina20
Tabla de WikipediaSMART atribuida a Paul J. Meyer
Específicas, Medibles, Alcanzables, Relevantes, Oportunas, Evaluar, Reevaluar
PRAGMATIC
Lámina 21
M e
t a
m e
t r
i c
s
Predictive – forward-looking
Relevant – to the business and infosec
Actionable – controllable, do-able
Genuine – can’t be faked or falsified
Meaningful – to the audience
Accurate – enough to be useful
Timely – here and now
Independent – hence verifiable
Cheap – always a bonus!
Predictive – forward-looking
Relevant – to the business and infosec
Actionable – controllable, do-able
Genuine – can’t be faked or falsified
Meaningful – to the audience
Accurate – enough to be useful
Timely – here and now
Independent – hence verifiable
Cheap – always a bonus!
PRAGMATIC
Lámina 22
M e
t a
m e
t r
i c
s
Predictiva – Ayuda a manejarsituaciones, tomar decisiones y mejorar las cosas para el futuro
Relevante – Para el especialista en materia, ya sea de seguridad de información, gobierno, riesgo, cumplimento o control entre otros
Accionable – Proporciona informaciónpara poder tomar acciones
Genuina – Los números resultantesestán basados en los hechos y no pueden ser fácilmente manipuladosdeliberadamente
PRAGMATIC
Lámina 23
M e
t a
m e
t r
i c
s
Meaningful/Significativa – Para la audiencia a la que va dirigida, sin crear incertidumbre o excepticismo
Accurate/Precisa – Real y precisa para permitircontrol mesurado? proporcional (nosdetenemos? O seguimos avanzando? Más rápido, o lento?
Timely/Oportuna – Obtenga la información en el momento en que se requiere para la toma de decisiones
Independiente – Medida objetiva, basándose en evidencia que pueda ser verificable; y
Costo-efectiva/Económica – Genera más valorque lo que cuesta el recopilar, analizar, presentary utilizar la métrica
Ejemplo de mapa de calor
Lámina 24
Manufacturing operations
Manufacturing operations
Packaging and dispatchGoods in
Packaging
and dispatch
Sales and marketing ▲
C-suite Finance HR R&D
IT
Procurement
Toronto factory Perth factory
QC
Legal & compliance
Risk
Infosec
HQ
Glo
ba
l dis
tribu
tion
, se
rvic
e a
nd
su
pp
ort
Supplier
relations
Goods in
QC
Un análisis de profundidad
Lámina25
Ventas y Mercadotecnia estatus de infosec, May 2012:
69% Risk management
79% Policy ▲
61% Organization
44% Asset management
20% HR security
31% Physical & environmental
58% Comms & ops management
58% Access control ▲
69% Software development
73% Incident management
10% Business continuity ▼
39% Compliance
51% OVERALL
El clásico CMM
Lámina26
Calificando escalas
Lámina 27
Calificación Pragmática
Lámina 28
Calificando un mapa de calor
Lámina 29
Un catálogo de métricas
Lámina 30
Lámina31
Metamétricas avanzadas
• So-pesando el criterioPRAGMÁTICO
• Compilando, graduando, compartiendo y comparandocatálogos de métricas
• Medidas creativas: más por menos• Sistema de métricas de seguridad
de Información• Medir cualquier cosa
Lámina 32
Lámina 33
Lámina 34
Lámina 35
Únase a la discusión
Gracias por su atención
Lámina 36
Contacto en México: Innovative-SoftIng. Gabriel Álvarez [email protected]
Tel. 044-55-3018-5456
Contacto con el autor:Krag Brotby
