Cómo evalúa el Observatorio de Accesibilidad Digital
Guía técnica
Metodología
El Observatorio de Accesibilidad Digital se basa en el procesamiento automático de las páginas web, portales y aplicaciones de los distintos organismos del Estado y utiliza estas tres herramientas cuyos datos se consolidan para ser presentados.
1. Total Validator: es una herramienta de evaluación de accesibilidad desarrollada por la empresa homónima, que valida de forma automática el cumplimiento de las pautas de accesibilidad de la W3C.
2. W3C Markup Validation Service: es una herramienta provista por la W3C para la validación automática de la estructura (markup) HTML de las páginas Web.
3. W3C CSS Validation Service: es una herramienta provista por la W3C para la validación de las hojas de estilo CSS que utilizan las páginas Web.
Procedimiento
Para la validación de cada sitio Web se desarrollan los siguientes pasos:
- Se definen la o las URL raíz del sitio web del organismo.
- Se corre la herramienta Total Validator, con un límite de 250 páginas y una profundidad máxima de 3 niveles. La herramienta procesa la URL raíz, y a partir de los vínculos que contiene procesa las páginas del nivel 2 y el nivel 3 (crawling) hasta completar las 100 páginas.
- Para cada una de las URL de las páginas procesadas, se corren las herramientas de validación de HTML y CSS de la W3C.
- Los tres reportes de cada página procesada se consolidan y la información del organismo se incorpora al observatorio.
Cuáles aspectos evalúa el Observatorio de Accesibilidad Digital
CSS: es el valor de la cantidad de errores de la salida de la herramienta de validación de CSS de la W3C. La herramienta utiliza la especificación vigente de CSS 3. No siempre se logra el cero, es necesaria la intervención del proveedor.
WCAG A: es la cantidad de errores en el cumplimiento del nivel A de las pautas WCAG (Web Content Accesibility Guidelines) en la versión 2.1 que indica el reporte de la herramienta Total Validator.
WCAG AA: es la cantidad de errores en el cumplimiento del nivel AA de las pautas WCAG (Web Content Accesibility Guidelines) en la versión 2.1 que indica el reporte de la herramienta Total Validator.
Sintaxis: es la cantidad de errores en la conformación del código de una página web válida, como por ejemplo comillas que no se cierran; atributos vacíos, entre otros. El resultado lo genera la herramienta Total Validator.
Enlaces: es la cantidad de errores tanto en la conformación de las URLs de los links que incluye el sitio, como en el acceso a las páginas de destino de dichos links. El resultado lo genera la herramienta Total Validator.
Limitaciones
La idea de creación de observatorios de accesibilidad es utilizada a nivel mundial, y existen numerosos ejemplos de aplicación que llevan ya varios años de trabajo, como por ejemplo el Observatorio de Accesibilidad Web de España.
Su validez y utilidad es reconocida tanto por la comunidad técnica como por los distintos grupos y organizaciones que nuclean a las personas con discapacidad. No obstante, es importante señalar que este tipo de observatorios, basados en herramientas automáticas tienen un conjunto de limitaciones, y la interpretación y utilización de los datos debería tomarlas en cuenta.
Detección limitada de errores: las herramientas automáticas detectan solo un subconjunto de los problemas de accesibilidad, que se estima entre un 25% y un 30% del total de los problemas.
Hay numerosos problemas de accesibilidad que requieren de la evaluación de un profesional para su determinación, y estos escapan naturalmente a las herramientas automáticas.
Falta de ponderación de los errores: si bien los errores se clasifican según las pautas A y AA de la W3C, que indican un nivel de prioridad, en el uso real de los sitios la jerarquía de los errores dependen de factores que las herramientas automáticas no son capaces de evaluar, que dependen del contexto y la naturaleza del contenido.
Cantidad limitada de páginas: los sitios contienen volúmenes de páginas que muchas veces exceden largamente la capacidad de procesamiento de los observatorios, y dado que la muestra se toma con un mecanismo automático (crawler) no hay forma de determinar la representatividad de las páginas procesadas con respecto al conjunto.
Áreas interactivas: las áreas que contienen formularios, aplicaciones y otras formas complejas de interacción, son difíciles de acceder para las herramientas automáticas. Si bien es posible evaluar la accesibilidad de los formularios de uso público, las herramientas automáticas de validación tienen muchas dificultades para completarlos con datos coherentes y poder acceder al paso siguiente.
Procesamiento de JavaScript: la página con la que interactúa el usuario es el resultado de HTML + CSS que se descarga del sitio, procesado y modificado por las funciones JavaScript. De hecho, existen páginas en donde el 100% del contenido se descarga por JavaScript.
Las herramientas automáticas de validación de accesibilidad utilizadas en el observatorio no tienen la capacidad de ejecutar masivamente el JavaScript, por lo que validan el HTML descargado, sin incluir ninguna modificación.