ESCUELA SUPERIOR DE INFORMTICAUNIVERSIDAD DE CASTILLA LA MANCHA

Calidad de los Sistemas de Informacin

ESTUDIOS DE USO E IMPLANTACIN SOBRE MODELOS DE CALIDAD DE SOFTWARE. NORMA ISO/IEC 9126Juan Andrada Romero

Jose Domingo Lpez Lpez

Antonio Martn Menor de Santos

Francisco Jos Oteo Fernndez

17 de Mayo de 2010NDICE

31.Introduccin

32.Objetivo del proceso de revisin sistemtica

43.Bsqueda de fuentes bibliogrficas

74.Seleccin de fuentes bibliogrficas

95.Informe de la revisin sistemtica

95.1.Introduccin a la norma ISO/IEC 9126

105.2.Caractersticas de la norma ISO/IEC 9126

125.3.Aplicacin de la norma para la evaluacin de un sistema software

216.2QCV3Q: Un modelo especfico para la evaluacin y diseo de la calidad de sitios Web.

267.Conclusiones

27Referencias

1. IntroduccinEn este documento se realizar una revisin sistemtica utilizando como gua un enfoque resumido de la metodologa de Kitchenham ([5]). En primer lugar se identificar la motivacin u objetivo de realizar esta revisin acerca de la norma ISO/IEC 9126; se buscar literatura existente que pueda responder al objetivo planteado; se seleccionarn aquellos artculos que se consideren de inters y, para terminar, se elaborar un informe donde se sintetice, de una manera objetiva, la informacin contenida en la literatura encontrada.De este modo, en la seccin 2 se plantea el objetivo de la revisin; en la seccin 3 se muestran las bsquedas que se han realizado en diferentes bibliotecas digitales para poder encontrar artculos relacionados con el objetivo previamente planteado; en la seccin 4 se detallan los artculos seleccionados, comentando cul ha sido el criterio para elegir dichos artculos de entre todos los encontrados; en la seccin 5 se presenta el informe de la revisin, donde se recopila y sintetiza la informacin de los artculos elegidos y que responden al objetivo marcado en primer lugar. Para terminar, se expondr un ejemplo de aplicacin de la norma en sistemas de comercio electrnico (ecommerce) y un modelo basado en la ISO 9126 llamado 2QCV3Q especfico para evaluar la calidad de sitios Web.

2. Objetivo del proceso de revisin sistemticaEl objetivo que se persigue en este documento es realizar una revisin sistemtica de algunos de los artculos que se pueden encontrar en Internet acerca de la norma ISO/IEC 9126. En particular, esta revisin se centrar en analizar la implantacin de dicha norma en las empresas y cmo es utilizada en el proceso de desarrollo de aplicaciones y sistemas software para evaluar la calidad de los productos software.

Adems, se ha optado por profundizar un poco ms y mostrar la propuesta de un modelo especfico para la evaluacin y diseo de la calidad en sistemas Web. Este modelo, como se ver, toma como base algunas de las dimensiones y atributos de la norma ISO/IEC 9126 pero aade ciertas caractersticas que son necesarias a la hora de evaluar un sistema con las caractersticas de un sitio Web.

3. Bsqueda de fuentes bibliogrficas

Una vez identificado cul es el objetivo para realizar la revisin, el siguiente paso es realizar la bsqueda de artculos cuyo contenido est relacionado con dicho objetivo.

En este caso, se debe buscar documentacin acerca de la implantacin y el uso de la norma ISO/IEC 9126 en el desarrollo de aplicaciones y sistemas software. Para realizar dicha bsqueda, se utilizan bibliotecas digitales especializadas en documentos cientficos, como son Google Acadmico ([3]), The IEEE Computer Society ([4]) o Association for Computing Machinery ([1]).

Para la revisin que en este documento se presenta, se han realizado las bsquedas en Google Acadmico y en el IEEE. Las cadenas de bsqueda y los artculos encontrados a partir de esas bsquedas se resumen en la Tabla 1. Como se puede apreciar en dicha tabla, todas las bsquedas que se realizan estn orientadas a intentar recuperar artculos que traten sobre la aplicacin de la norma o como dicha norma se utiliza en empresas y en sistemas software. Adems, algunos artculos se repiten con diferentes cadenas de bsqueda.

Google Acadmico

Cadena de bsquedaTtulo del artculoEnlace

Iso 9126Applying the ISO 9126 model to the evaluation of an elearningArtculo

Applying the ISO 9126 Quality Model to Test SpecificationsArtculo

How to use 9126Calidad en la Industria del Software. La Norma ISO-9126Artculo

Evaluacin de la calidad del software educativo bajo el estndar ISO 9126Artculo

Anlisis comparativo del estndarArtculo

ISO 9126-3: Mtricas Internas de la Calidad del Producto de SoftwareArtculo

Iso 9196 usesHacia la Medicin de Calidad en Uso WebArtculo

Iso 9126 applicationApplying the ISO 9126 model to the evaluation of an elearningArtculo

Iso 9126 companies useApplying the ISO 9126 model to the evaluation of an e-learning systemArtculo

Modelo de evaluacin para software que emplean indicadores mtricos en la vigilancia cientfico-tecnolgicaArtculo

Iso 9126 real applicationISO/IEC 9126 in practice: what do we need to know?Artculo

Applying iso 9126Applying the ISO 9126 Quality Model to Test SpecificationsArtculo

Iso 9126 companies applicationsMejora de la calidad del software en el entorno de microempresas de TIArtculo

Iso 9126 product qualityA model for software product qualityArtculo

Iso 9126 web site qualityA model for assessing the quality of e-commerce systemsArtculo

Classifying web metrics using the web quality modelArtculo

Evaluating and Designing Web Site QualityArtculo

Iso 9126 consulting servicesStandardized Code Quality Benchmarking for Improving Software MaintainabilityArtculo

Quality in use: Meeting user needs for qualityArtculo

ISO and Industry Standards for User CentredArtculo

Iso 9126 implant qualityMtricas de Calidad de los Sistemas de Informacin aplicacin en la Certificacin de Calidad de un Sistema de una empresa del sector hidrocarburferoArtculo

SquaRE The next generation of the ISO/IEC 9126 and 14598Artculo

Iso 9126 webCreacin de una pgina Web de electrnica digital bajo criterios de calidad: definicin de requisitosArtculo

Medicin y Evaluacin de Calidad en Uso de Aplicaciones WebArtculo

IEEE Computer Society

Cadena de bsquedaTtulo del artculoEnlace

Iso 9126A methodology for Assessment database According to ISO 9126Artculo

An investigation of the Weakness of the ISO 9126 International StandardArtculo

Implantation of ISO 9126 in BusinessISO/IEC 9126: an experiment of application of Brazilian software productsArtculo

A Quality Model for Open Source Software SelectionArtculo

A survey-based study of the mapping of system properties to ISO/IEC 9126 maintainability characteristicsArtculo

The use and usefulness of the ISO/IEC 9126 quality standardArtculo

Measuring Software Product Quality: A survey of ISO/IEC 9126Artculo

A Practical Model for Measuring MaintainabilityArtculo

Uso del modelo ISO 9126 en mantenibilidad softwareHacia un Modelo Genrico para la Calidad de los Servicios WebArtculo

Hacia la Medicin de Calidad en Uso WebArtculo

Tabla 1. Cadenas de bsqueda

4. Seleccin de fuentes bibliogrficas

Una vez obtenidos los artculos mostrados en la Tabla 1, stos se revisan para seleccionar aquellos que sean potencialmente relevantes.

En este caso, el proceso de seleccin se ha realizado basndose en el objetivo principal de la revisin, que recordemos que es la implantacin y uso de la norma ISO/IEC 9126 en aplicaciones y sistemas software. Por tanto, el criterio de seleccin seguido ha sido el de elegir aquellos artculos que traten acerca de los siguientes puntos:

Evaluacin de la calidad de un software

Aplicacin de la norma en sistemas reales (sistemas de comercio electrnico, de e-learning, etc.)

Calidad en la Web

Con respecto a este ltimo criterio de seleccin, el de la calidad en la Web, se ha decidido seleccionar artculos que traten acerca de este tema, ya que uno de los principales usos de esta norma se da en las aplicaciones Web, para medir y garantizar su calidad.En cuanto a los criterios de exclusin, se ha decidido excluir aquellos artculos que son ms tericos, donde slo se trata cmo es la organizacin de la norma ISO/IEC 9126, sus distintas dimensiones, etc., ya que esto no aporta ninguna informacin de un uso real de dicha norma en sistemas software, que es el objetivo que se intenta responder.Con todo esto, los artculos seleccionados se muestran en la Tabla 2 y los excluidos en la Tabla 3.Artculos seleccionados

Applying the ISO 9126 model to the evaluation of an e-learning system

Applying the ISO 9126 Quality Model to Test Specifications

Standardized Code Quality Benchmarking for Improving Software Maintainability

Mtricas de Calidad de los Sistemas de Informacin aplicacin en la Certificacin de Calidad de un Sistema de un empresa del sector hidrocarburfero

A model for software product quality

A model for assessing the quality of e-commerce systems

Evaluacin de la calidad del software

Hacia la medicin de calidad en uso Web

Evaluating and Designing Web Site Quality

ISO/IEC 9126: an experiment of application of Brazilian software products

A Practical Model for Measuring Maintainability

Creacin de una pgina Web de electrnica digital bajo criterios de calidad: definicin de requisitos

Medicin y Evaluacin de Calidad en Uso de Aplicaciones Web

ISO 9126-3: Mtricas Internas de la Calidad del Producto de Software

Tabla 2. Artculos seleccionadosArtculos excluidos

Applying the ISO 9126 model to the evaluation of an elearning

Calidad en la Industria del Software. La Norma ISO-9126

Evaluacin de la calidad del software

Anlisis comparativo del estndar

Modelo de evaluacin para software que emplean indicadores mtricos en la vigilancia cientfico-tecnolgica

ISO/IEC 9126 in practice: what do we need to know?

Mejora de la calidad del software en el entorno de microempresas de TI

Classifying web metrics using the web quality model

Quality in use: Meeting user needs for quality

ISO and Industry Standards for User Centred

A methodology for Assessment database According to ISO 9126

An investigation of the Weakness of the ISO 9126 International Standard

A Quality Model for Open Source Software Selection

A survey-based study of the mapping of system properties to ISO/IEC 9126 maintainability characteristics

The use and usefulness of the ISO/IEC 9126 quality standard

Measuring Software Product Quality: A survey of ISO/IEC 9126

SquaRE The next generation of the ISO/IEC 9126 and 14598 international standards series on software product quality

Tabla 3. Artculos excluidos5. Informe de la revisin sistemticaUna vez analizados los artculos seleccionados (ver Tabla 2), se presenta una sntesis del uso de la norma ISO/IEC 9126 en sistemas software. De este modo, en la seccin 5.1 se presenta muy brevemente la norma ISO/IEC 9126; en la seccin 5.2 se describen cada una de las seis dimensiones o caractersticas de esta norma, y en la seccin 5.3 se detalla uno de los grandes campos de aplicacin, que es la evaluacin de la calidad de productos software. En esta seccin hay un apartado dedicado a la evaluacin de productos Web, ya que ste es otro de los grandes campos de aplicacin de la norma ISO/IEC 9126.Introduccin a la norma ISO/IEC 9126La norma ISO/IEC 9126 es un modelo de calidad estndar para productos software, donde se describen las diferentes caractersticas y subcaractersticas que debe cumplir un sistema software para que pueda ser considerado como un sistema de calidad. Adems, este modelo tambin define una serie de mtricas y se divide en dos partes: la primera de ellas se centra en la calidad externa e interna del producto software, y la segunda se centra en la calidad de uso de dicho producto.As, en la Figura 5.1 se muestran las seis caractersticas del modelo ISO/IEC 9126, y en la Figura 5.2 las subcaractersticas en la que stas se dividen su vez.

Figura 5.1. Caractersticas (dimensiones) de la norma ISO/IEC 9126

Figura 5.2. Subcaractersticas de la norma ISO/IEC 9126Caractersticas de la norma ISO/IEC 9126

FuncionalidadLa funcionalidad se refiere a un conjunto de funciones y propiedades que tratan de satisfacer las necesidades de los stakeholders. Sus atributos son adecuacin, exactitud, interoperatividad y seguridad.Por ejemplo, en una pgina Web, el nombre del sitio y el tiempo de carga provocan la primera impresin al usuario. Estas dos caractersticas junto con una buena navegabilidad, una interfaz agradable, compatibilidad con los distintos navegadores del mercado e informacin actualizada y veraz juegan un papel importante en cmo percibe el usuario el sitio Web.En el mbito del comercio electrnico, algunas funcionalidades muy interesantes son las siguientes: Un carrito de compra donde el usuario puede echar los distintos artculos que desea adquirir.

Una lista de la compra donde el usuario puede guardar los distintos productos que desea adquirir en un futuro y as hacerle ahorrar tiempo para que no tenga que buscarlos posteriormente. Un buscador que permita encontrar la informacin adecuada en el momento preciso.

Una buena jerarqua de categoras que permitan al usuario navegar entre los distintos tipos de productos de una forma agradable.

Distintos mtodos de pago (mediante divisas digitales, tarjetas de crdito, etc). En este caso es muy importante la seguridad.

Existen ms funcionalidades como permitir deshacer operaciones, confirmar por e-mail que la compra se ha realizado correctamente, proporcionar listas de preguntas frecuentes (FAQ), medios de comunicacin directa con el personal del servicio (nmeros de telfono, fax, e-mail), mecanismos de identificacin del usuario, etc.Fiabilidad

La fiabilidad se refiere a un conjunto de atributos que miden la capacidad que tiene el software para mantener un nivel de rendimiento ptimo, bajo determinadas condiciones y durante un periodo de tiempo determinado. Sus atributos son madurez, tolerancia a fallos y la capacidad de recuperacin ante un fallo.Para que un sistema sea fiable, se debe garantizar un nivel de seguridad. La seguridad se subdivide a su vez en confidencialidad, autenticacin, control de acceso, integridad de los datos y responsabilidades de los usuarios. Para garantizarla se ofrecen distintos mecanismos como certificados digitales y sockets seguros (SSL) y se hace un tratamiento adecuado de la informacin personal y privada de los usuarios.Usabilidad

La usabilidad se refiere a un conjunto de atributos que miden el esfuerzo cognitivo necesario que deben realizar los usuarios para utilizar el sistema software. Sus atributos son compresin, curva de aprendizaje y operatividad.Esta dimensin est ntimamente relacionada con la dimensin de funcionalidad, ya que un conjunto de funcionalidades mal seleccionado y desorganizado, puede minimizar la usabilidad del sistema, haciendo que la experiencia del usuario no sea agradable. De este modo, en esta dimensin se aplican las distintas disciplinas del HCI (Human-Computer Interaction) a fin de hacer una interfaz de usuario atractiva, sencilla y funcional, para que el esfuerzo cognitivo que debe realizar el usuario sea el menor posible, facilitando la comprensin del sistema y disminuyendo la curva de aprendizaje.En esta dimensin tambin entran en juego aspectos como la internacionalizacin (permitir seleccionar distintos idiomas), facilitar el acceso a personas discapacitadas o con necesidades especiales (ambientales, tecnolgicas, ticas, etc).Eficiencia

La eficiencia se refiere a un conjunto de atributos que miden la relacin entre el rendimiento del software y la cantidad de recursos utilizados, dada una situacin determinada. Sus atributos son tiempo de respuesta y recursos utilizados.Por ejemplo, un sitio Web es eficiente cuando el usuario puede acceder a la informacin que desea de forma fcil y rpida. Adems, el tiempo de carga de las pginas debe ser el mnimo posible.Mantenibilidad

La mantenibilidad se refiere a un conjunto de atributos relacionados con el esfuerzo necesario para realizar determinadas modificaciones en el producto. Sus atributos son la capacidad para ser analizado, capacidad para ser modificado, estabilidad y capacidad para ser probado.Por ejemplo, si aadimos nuevas funcionalidades al sistema o modificamos funcionalidades ya implantadas, el resto del sistema debera seguir funcionando sin problema alguno. Adems, en caso de producirse cualquier tipo de error, se deben mostrar los mensajes de error lo ms precisos posible para poder detectarlo y repararlo en el menor tiempo posible.

Portabilidad

La portabilidad se refiere a un conjunto de atributos relacionados con la capacidad del software de ser transferido de un entorno (o plataforma) a otro. Sus atributos son la adaptabilidad, capacidad de instalacin, coexistencia y capacidad de reemplazamiento.Esta dimensin tiene en cuenta aspectos como el nmero de libreras externas que es necesario instalar en el sistema para poder ejecutar la aplicacin, si se produce algn tipo de incompatibilidades con otras aplicaciones instaladas en el sistema, o si el sistema es compatible con distintos sistemas operativos.Aplicacin de la norma para la evaluacin de un sistema software

El modelo de calidad ISO/IEC 9126 es un modelo que se aplica para poder garantizar, medir y evaluar la calidad en productos software. Adems, este modelo puede extenderse y adaptarse segn las necesidades de cada proceso de desarrollo del producto software.

Recopilando y sintetizando la informacin de algunos de los artculos seleccionados, se pueden extraer los siguientes pasos a la hora de aplicar la norma ISO/IEC para evaluar un sistema software:

1. Descripcin del sistema software a evaluar: se debe proporcionar una descripcin del sistema completo, incluyendo las funcionalidades que cumple el sistema, informacin acerca de su desarrollo (diagramas, documentacin, etc.), requisitos tcnicos del sistema, ambiente en el que opera, etc. 2. Seleccionar las caractersticas que se desean evaluar en el sistema: de las seis caractersticas que ofrece la norma ISO/IEC 9126, seleccionar aquellas dimensiones que se deseen evaluar en el sistema software, como pueden ser su eficiencia, usabilidad o portabilidad.3. Seleccionar las subcaractersticas que se deseen analizar: una vez seleccionadas las dimensiones a evaluar, se deben seleccionar las subcaractersticas de dichas dimensiones que deben satisfacerse por el sistema software.4. Establecer unas mtricas de evaluacin y proceder a la evaluacin: para cada una de las subcaractersticas elegidas anteriormente, se establecen unas mtricas, para poder cuantificar un valor tras realizar la evaluacin. Estas mtricas puede ser, por ejemplo, lneas de cdigo, nmero de errores por bloque de cdigo, si el producto software cumple o no un cierto requisito de usabilidad, etc.5. Valorar resultados: tras realizar la evaluacin, se comparan los valores obtenidos en las mtricas con el resultado que debera esperarse en esa mtrica, para decidir si se cumple o no esa subcaracterstica de calidad. As, se puede obtener un tanto por ciento de las subcaractersticas de calidad que garantiza el sistema software y aquellas que no, para corregir y mejorar esos aspectos.

Como ejemplos de una evaluacin de productos software, se pueden destacar los casos que aparecen en los artculos [6] y [2]. En el primero de ellos, la mtrica considerada en cada una de las subcaractersticas elegidas es si se cumple, no se cumple o no se requiere dicha subcaracterstica; en el segundo artculo, se evalan ciertas herramientas de un sistema e-learning, indicando los defectos (si los hay) en cada una de las caractersticas y subcaractersticas elegidas para la evaluacin. En la Figura 5.3 y en la Figura 5.4 se muestran las evaluaciones realizadas en cada artculo, respectivamente (en el segundo caso, se muestra un fragmento de la evaluacin total realizada en el artculo).

Figura 5.3. Evaluacin de un SW usado en el sector hidrocarburfero

Figura 5.4. Evaluacin de un sistema e-learning

Para terminar, cabe destacar que la norma ISO/IEC 9126 tambin se aplica para medir la calidad de uso de un producto software, siendo muy importante en este aspecto la dimensin de mantenibilidad. De este modo, las medidas para estimar las caractersticas externas e internas de calidad de uso dentro de la mantenibilidad de productos software son las siguientes:

1. Mtricas externas: se basan en la medicin del correcto funcionamiento de la actividad de mantenimiento del personal dedicado a tal fin. Se suele medir el tiempo que pasa desde que se detecta un fallo hasta que se corrige. Tras esto se mide el tiempo empleado en saber que el fallo se ha corregido. De esta forma se estima la mantenibilidad de un producto software midiendo la duracin de las tareas de mantenimiento.

2. Mtricas internas: se basan en una comparacin entre las funcionalidades requeridas y las implementadas hasta ahora. La calidad de la mantenibilidad se basa generalmente en el nmero de modificaciones, llevadas a cabo tras el mantenimiento, y los problemas causados por estas modificaciones.

3. Crticas: se basa en la observacin de la interaccin del producto software con su entorno (personal de mantenimiento, personas que lo prueban y administradores) o en la comparacin del producto software con sus especificaciones (incompletas, desfasadas o incorrectas).

5.1.1. Evaluacin de la calidad de productos WebOtro de los campos donde se utiliza ampliamente la norma ISO/IEC 9126 es en la Web, tanto para disear sitios Web de calidad como para la evaluacin de estos sitios Web.

Sin embargo, la evaluacin de productos Web no es una tarea sencilla, ya que es difcil considerar todas las caractersticas y atributos deseables y obligatorios de una aplicacin o sitio Web si no se cuenta con un modelo de calidad que permita a los evaluadores especificar ordenadamente dichas caractersticas y atributos. Para poder evaluar la calidad de los productos web, se ha usado la metodologa Web QEM (Quality Evaluation Method), que parte de un modelo jerrquico de calidad de producto software basado en el estndar ISO/IEC 9126-1.

Figura 5.5. Marco Conceptual de Calidad (adaptado respecto del presentado en ISO/IEC 9126-1).

Basndose en este marco y usando el factor calidad de producto y el factor calidad de uso se tratar de medir la calidad interna, externa y las percepciones y reacciones de los usuarios.La calidad de uso est compuesta por las caractersticas productividad, efectividad, seguridad y satisfaccin, y est directamente condicionada por la percepcin que el usuario tiene del producto cuando lo utiliza en un contexto determinado.En el factor de medicin de la calidad del uso, es el usuario el que est directamente involucrado en la evaluacin y obtencin de la medida de esa calidad, con la intervencin de observadores, como pueden ser agentes automticos o personas expertas en el dominio, o herramientas de automatizacin.Para evaluar la efectividad del sitio Web se siguen mtricas como:

4. Nivel de completitud de la tarea: se mide el nivel de logro en completar la tarea correctamente.

5. Media de objetivos alcanzados: la media de las tareas realizadas correctamente.Para evaluar la productividad, se pueden medir estos atributos:6. Tiempo consumido en la tarea: comparar el tiempo medio obtenido por usuarios normales con el obtenido por usuarios expertos.

7. Eficiencia en la completitud: cociente entre el nivel de completitud y el tiempo medio consumido en la tarea.DSSSSSSS VVVVVVVEficiencia de los objetivos alcanzados: cociente entre la media de los objetivos alcanzados y el promedio de los tiempos medios consumidos.

Para medir la satisfaccin del usuario, se utilizarn cuestionarios (WebQual o SUMI / WAMMI) en el que el objetivo sea considerar aspectos como la apariencia, la velocidad, la relevancia de contenidos, si las funciones son adecuadas a la funcionalidad esperada, etc.

Mtricas definidas por la norma.

Como se mencionaba anteriormente, la norma ISO/IEC 9126 define una serie de mtricas para evaluar los diferentes aspectos de la calidad.

Estos aspectos son:

Calidad interna del producto: medible a partir de las caractersticas intrnsecas del propio producto. Calidad externa del producto: medible mediante el comportamiento del producto. Calidad de uso del producto: medible durante la utilizacin efectiva por parte del usuario.

Para nuestro estudio nos vamos a centrar en las mtricas definidas para la calidad interna del producto software aplicndolas a las categoras de la norma ISO/IEC 9126 definidas anteriormente.

Esta informacin es relevante para evaluadores, desarrolladores, mantenedores, gerentes de calidad

Las caractersticas de las mtricas para medir la calidad interna son las que siguen:

Se aplican sobre un producto de software no ejecutable.

Se aplican durante las etapas del desarrollo del producto software.

Permiten medir la calidad de los entregables intermedios obtenidos en los distintos hitos del ciclo de desarrollo del producto software.

Permiten al usuario iniciar acciones correctivas de forma temprana en el ciclo de desarrollo.

1. Mtricas centradas en la Funcionalidad.

Se clasifican en : Adecuidad

Exactidud

Interoperabilidad

Seguridad

Conformidad de la funcionalidad

Nombre:Completitud de implementacin funcional

Propsito:Cmo de completa es la implementacin funcional.

Mtodo de aplicacin:Contar las funciones faltantes detectadas en la evaluacin y comparar con el nmero de funciones descritas en la especificacin de requisitos.

Medicin, frmula:X = 1 - A/BA = nmero de funciones faltantesB = nmero de funciones descritas en la especificacin de requisitos

Interpretacin:0