Agencia de Gobierno Electrónico y Sociedad de la Información y del Conocimiento

Publicación automatizada de datos

A continuación, se detalla el proceso de publicación de datos en formato abierto que se genera de forma automática. Para ello, el proceso transforma planillas con un formato predefinido, en las cuales se cargan los datos a abrir y su información asociada (metadatos). Así el proceso se encarga de transformar la planilla en tres archivos con formato abierto (un archivo .XML, otro .CSV y un JSON que contiene la información junto al XLSX original); finalmente genera de forma automática el conjunto de datos según la información cargada en el formulario de carga para la publicación.

Importante: Este proceso sirve para construir de cero un conjunto de datos. Si lo que usted quiere es actualizar un conjunto publicado anteriormente debe leer el documento llamado: “Instructivo - Mantenimiento de Publicaciones.”

Para acceder al Catálogo Nacional de Datos continúe los pasos detallados en el Paso 1 del apartado: “2.1 – Etapa 1, Crear Conjuntos de Datos” con su usuario gub.uy.

Los pasos a seguir son los siguientes:

Imagen 14: Las 3 etapas del procedimiento de apertura automatizada

Etapa 1 - Preparación de planilla a transformar

Para este proceso de publicación se requiere una planilla de cálculo construida en Microsoft Excel versión 2007 o superior, organizando los datos por columnas, y la cual debe estar preparada rigurosamente de la siguiente forma. La planilla debe de contar con solo 2 hojas. La primera hoja se debe llamar: “Datos”, respetando la primera letra en mayúscula. La segunda hoja se debe llamar: “Metadatos”, respetando la primera letra en mayúscula.

Hoja “Datos”:

La hoja de datos debe tener la información ordenada por columnas desde la primera columna y la primera fila sin dejar espacios vacíos;

Imagen 15: Ejemplo de estructura de datos ordenados por columnas

La información debe estar en los siguientes tipos de datos como se muestra en la siguiente lista:

Imagen 16: Listado de los distintos tipos de datos

A continuación, se muestra una planilla con su hoja datos como ejemplo:

Imagen 17: Ejemplo de planilla de datos ordenados por columnas

Hoja “Metadatos”:

La hoja de metadatos se debe componer ordenando los nombres de las columnas de la primera hoja, pero de forma horizontal, y agregándole ciertas columnas para realizar la descripción como en el siguiente ejemplo.

Imagen18: Ejemplo de planilla de metadatos con información cargada

Los nombres de las columnas deben estar idénticamente iguales que como están plasmados en la hoja de los Datos, en la columna TipoDeDato se debe escribir alguno de los tipos de datos permitidos; String, Integer, Numeric, Date y Timestamp.

A continuación, se muestra un ejemplo de los metadatos para el caso de datos presentado en el apartado anterior.

Imagen 19: Segundo ejemplo de planilla de metadatos con información completada

La información descriptiva que debe contener es la siguiente:

Obligatorios:

• Nombre: El nombre de cada columna (variable) de los datos a publicar, igual a como se encuentran en la hoja Datos.
   
• Descripción de los campos: Detalles de cuáles son los datos que se encuentran en cada columna.
   
• Tipo de datos: Cuál es el tipo de dato con el que se deben tratar los datos. Ej. Integer (números), Booleano (verdadero o falso), String (texto), Date (fecha).

Opcionales

• Recurso relacionado: Si el dato tiene algún otro recurso relacionado se puede agregar el enlace. Por ejemplo, un campo código cuya descripción asociada a ese código se encuentra en otro recurso.
   
• Información adicional descriptiva: Información sobre estructura, cálculos relacionados, fuentes necesarias para la interpretación, información de variables o cualquier otra aclaración necesaria.

Nota: Los datos pueden ser en otro tipo de formatos más complejos como lo son: GEOJSON, el cual es un formato geográfico estándar abierto diseñado para representar elementos geográficos sencillos, junto con sus atributos no espaciales. Pero este tipo de archivos no pueden ser publicados a través de la función de automatización que se describe en este punto, sino que deben ser publicados de forma manual o de forma totalmente automática a través de interfaces de programación (API).

Nota 2: Para realizar una publicación manual de otro tipo de formatos vaya al apartado “2 – Publicación manual de datos”, si en cambio desea realizar una publicación totalmente automática vaya al apartado “4 – Publicación a través de la API”.

Etapa 2 - Crear o Actualizar Publicación

Para crear un conjunto de datos de forma automatizada se debe tener sesión iniciada y seguir los siguientes pasos:
 

Paso 1 – Crear conjunto desde Transformar y Agregar. Luego de haber iniciado sesión en el Catálogo ya puede crear los conjuntos de datos de la siguiente manera:

1) Seleccionar la opción "Conjunto de Datos" que aparece en la parte izquierda del menú de navegación en la parte superior de la pantalla:

Imagen 20: Botón de Conjuntos de Datos en barra de navegación.

2) Desde el centro de la pantalla hacer clic en el botón “Transformar y agregar”:

Imagen 21: Botón de Transformar y agregar.

Se despliega un formulario que se debe completar.
 

Paso 2 - Completar el formulario paso a paso. Este formulario está compuesto por 3 secciones, tener en cuenta que desde acá se transformará una planilla Excel formateada como fue explicado al inicio de este capítulo, logrando transformar y publicar dichos datos en el Catálogo en los distintos formatos.
 

- Primera sección del formulario:

Imagen 22: Primera sección del formulario de carga.

1. Plantillas: Este campo trae el listado de plantillas especificas solo para la carga de información referente a datos de Transparencia Activa que se detalla documento “Publicación de datos de Transparencia Activa”. Al elegir alguna de estas plantillas se completará el formulario con los datos estándar necesarios para esa publicación particular. Campo no obligatorio.
    
2. Publicador: Se debe elegir el Organismo publicador encargado del Conjunto de Datos que se está queriendo publicar o actualizar. De forma automática se cargará el o los organismos donde el usuario tenga permisos.
   Campo Obligatorio.
    

- Segunda sección del formulario:

Imagen 23: Segunda sección del formulario de carga.

1. Título: Es el nombre que se le asigna al conjunto de datos y debe de ser conciso, concreto e informativo. Campo obligatorio.

   Importante: Tener en cuenta que si se eligió usar alguna de las “Plantillas” este y los demás campos ya estarán cargados.
    

2. URL: Es la ruta de acceso al conjunto de datos. En este proceso hay que completar el campo, que debe estar sin espacios en blanco, como se muestra en la imagen del ejemplo anterior. Campo obligatorio.

   Importante: La URL debe ser única, esto significa que NO pueden existir en el Catálogo dos conjuntos de datos con la misma ruta de acceso, si ocurriera se mostraría el siguiente mensaje de error que no permite crear el conjunto de datos y se debe editar y modificar la URL.

3. Descripción: Es la explicación del conjunto de datos, no puede superar los 500 caracteres. Debe contener detalles que permitan conocer qué datos contiene ese conjunto y la información necesaria para facilitar la comprensión y uso de esos datos. Campo obligatorio.
    
4. Visibilidad: Este campo será editado por personal de Agesic una vez que sea aprobado el conjunto. Campo obligatorio.
    
5. Fuente: Debe indicar el origen de los datos. En caso que los datos hayan sido obtenidos de un sistema informático y estén publicados en internet abierto al público, se debe especificar entonces la URL. Campo NO obligatorio.
    
6. Versión: Indica la evolución del conjunto de forma de poder identificar qué versión especificada de conjunto es la que se encuentra publicada. Este control de versiones depende del mantenedor de los datos y se debe incrementar cuando existan cambios estructurales del conjunto. Ejemplos; 1.0 o 2.0. Campo obligatorio.
    
7. Autor: Indica al área o sector del organismo que se encarga de la publicación. Campo obligatorio.
    
8. Email del Autor: Indica el correo electrónico del área o sector responsable de los datos. Campo obligatorio.
    
9. Mantenedor: Identifica el nombre del equipo, área, sector o persona que se encarga de mantener la publicación de los datos. Campo obligatorio.
    
10. Email del mantenedor: Identifica el correo electrónico del mantenedor agregado en el punto anterior. Campo obligatorio.

- Tercera sección del formulario:

Imagen 24: Tercera sección del formulario de carga.

1. Nombre del recurso: Es el nombre con el cual identificará a los datos y que se utilizará en sus diferentes formatos de archivo. Debe de ser conciso, concreto e informativo. Campo obligatorio.
    
2. Descripción del recurso: Realizar una descripción concreta en lenguaje claro sobre los datos que se publican, complementando al título del recurso. Campo obligatorio.
    
3. Nombre de los metadatos del recurso: Campo automático, se forma solo e iniciara siempre con “Metadatos de” más el nombre elegido para el recurso. Ejemplo: “Metadatos de Horarios del Transporte”. Campo automático.
    
4. Descripción de los metadatos del recurso: Realizar una descripción concreta en lenguaje claro sobre los datos descriptivos que se publican. Campo obligatorio.
    
5. Frecuencia de actualización: Elegir una de las opciones de la lista desplegable. Será la periodicidad con la cual actualizará este conjunto en general. Campo obligatorio.
    
6. Sistema de referencia: Campo para indicar un sistema de referencia para sistemas geográficos, ejemplo: ROU-USAMS para cartografía nacional o SIRGAS-ROU98 para referencia geocéntrico para las Américas. Campo NO obligatorio.
    
7. Cobertura espacial: Campo para indicar la región territorial contenida en los datos. Ejemplo: “Uruguay” o “Soriano, Uruguay”. Campo obligatorio.
    
8. Cobertura temporal: Campo para indicar el período de tiempo que abarcan los datos, el mismo puede ser un mes en particular, un año o un rango de años siempre respetando los estándares de escritura de fechas para la norma ISO 8601 (AAAA-MM-DD, AAAA-MM, AAAA) ejemplos: “2019-05”, “1984”, “2001 – 2019” o “2001-01 – 2019-06”. Campo obligatorio.
    
9. Adjuntar archivo: Campo para adjuntar la planilla excel con el formato correcto antes explicado. La planilla debe ser de extensión: XLSX. Campo obligatorio.

Para finalizar, debe presionar el botón de Crear Conjunto;

Imagen 24: Botón para crear conjunto.

Etapa 3 - Completar publicación

En este punto su conjunto ya quedo publicado en el Catálogo Nacional de Datos Abiertos en estado privado, pero le faltan 2 detalles más para por darlos por terminado. A continuación, se detallan las ultimas configuraciones que debe realizar;

Paso 1 - Agregar etiquetas al nuevo conjunto. Al conjunto se le deben agregar etiquetas, las que permiten identificar conjuntos de datos bajo un mismo tema y funcionan como filtros para acceder a los mismos desde las diferentes búsquedas de datos.

Para agregar etiquetas siga lo que se detalla a continuación;

1) Ingresar al conjunto recién construido

2) Desde la parte superior derecha de la pantalla presionar el botón:

Imagen 25: Botón para crear editar un conjunto.

3) Luego realizar las siguientes ediciones:

Desde el formulario de edición, en la sección “Etiquetas” escribir las palabras o frases que hagan referencia al conjunto de datos que se está publicando.

Imagen 26: Caja de texto para agregar etiquetas.

Las mismas deben ser palabras o frases correctamente escritas, con formato tipo oración, sin faltas de ortografía ni guiones. Muchas de las etiquetas pueden que ya existan, si es así, seleccionar de la lista que le aparece a medida que va escribiendo. Campo obligatorio.

Luego de agregar las etiquetas deseadas presionar el botón “Actualizar Conjunto de datos” de la parte inferior de la pantalla.

Imagen 27: Botón Actualizar Conjunto de datos.
 

Paso 2 - Agregar Categorías al nuevo conjunto. Para terminar el proceso de publicación se le debe agregar al conjunto como mínimo una categoría, para realizarlo siga lo que se detalla a continuación:

1) Ingresar al conjunto de datos

2) Seleccionar la opción Categoría desde el listado de opciones que se encuentra a la izquierda de la pantalla:

Imagen 28: Imagen del listado de opciones laterales de un conjunto

3) Buscar y agregar la Categoría desde la lista desplegable que se muestra a continuación y hacer clic sobre la misma

Imagen 29: Listado de opciones de Categoría

Luego de elegir la Categoría deseada hacer clic en el botón:

Imagen 30: Botón para agregar la categoría elegida

Repetir el proceso hasta que se hayan agregado todas las categorías necesarias.

Importante: Cada conjunto de datos subido al Catálogo queda en el estado Privado. Luego de completar todos los pasos del proceso, solo falta la aprobación por parte del equipo de Datos Abiertos de Agesic el cual realizará un control de calidad antes de pasarlo a estado Publico.

Es importante revisar el conjunto que se publicó o actualizó, verificando los pasos acá descritos y utilizando de apoyo el documento: “Buenas prácticas para la Publicación de Datos Abiertos” que describe y brinda ejemplos concretos sobre una correcta publicación.

Nota: SI lo que se desea es publicar datos sobre transparencia activa se puede consultar los siguientes documentos: “Instructivo - Publicación Datos Abiertos de TA”, “Plantillas y estándares de DA de TA” y “Normativa de Datos Abiertos”, los mismos utilizan este método de publicación automatizada.