Complemento QGIS para descarga de datos AEMET

Hoy os traemos un nuevo complemento para QGIS. Dentro de todas las posibilidades y alternativas que este mundillo de los plugins QGIS nos ofrece, le toca el turno a los datos climáticos, que siempre son un buen caramelito cuando hablamos de conjuntos de datos representables cartográficamente.

El complemento lleva por nombre Aemet Open Data Downloader, o lo que es lo mismo, nos sirve para conseguir datos abiertos ofrecidos por la AEMET (Agencia Estatal de Meteorología de España). Estos datos disponibles están regulados por la Resolución AEMET de 2015. En el universo de AEMET OpenData (el sistema para la difusión y reutilización de la información AEMET) tenéis toda la información al respecto.

El sistema como veréis requiere de una API Key que deberemos solicitar a la propia AEMET de forma muy sencilla y que nos remitirán por correo muy rápidamente tras un correo previo de confirmación.

Y ahora ya podemos ir a QGIS.

El complemento lo instalamos a la manera habitual desde el repositorio. Una vez hecho tenemos acceso al mismo tanto desde la barra de menús (Complementos) como desde el icono de la barra de botones creado al efecto.

El propio repositorio GitHub del complemento en su descripción ofrece una buena ayuda del mismo.

Al abrirlo nos encontramos su ventana principal (y única). Una interfaz sencilla en la que introducir nuestra API Key de AEMET y con cuatro tipos de datos distintos a descargar. Se asigna también una carpeta de destino para los datos.

Hacemos una prueba con los datos Últimas 24H de la provincia de León.

El complemento hace entonces varias cosas y todas bien.

1. La consulta a la API REST obteniendo las direcciones web a los datos solicitados.
2. Descarga los datos en formato JSON (un archivo por cada estación)
3. Crea un CSV con los JSON de todas las estaciones por provincia y tipo de dato solicitado, añadiendo los datos necesarios para su georeferenciación.
4. Carga el CSV como una capa en QGIS.

En la imagen de ejemplo hemos etiquetado las estaciones con su nombre para mayor claridad visual.

La tabla de atributos de estos datos Últimas 24H conteniendo el indicativo de la estación, su nombre y provincia, la hora del dato (cada hora), coordenadas XY de la estación, altitud, precipitación, humedad relativa, temperatura actual, temperatura mínima y máxima.

Y de aquí podemos ir directos a elaborar algún gráfico por ejemplo con el plugin Data Ploty....

Parece que todos los datos que podemos descargar desde Open Data AEMET con este complemento de QGIS son siempre en forma puntual y referidos a las estaciones meteorológicas del país. Para otro tipo de datos como mapas, imágenes radar o productos derivados de satélite, avisos de fenómenos, predicciones, etc... el acceso deberá ser por la web con la mima API Key recibida.

En el extenso documento con la descripción completa del servicio API REST tenéis más información. Saludos.

Nomenclátor Geográfico de Municipios y Entidades de Población.

Aprovechando que se ha publicado una nueva versión, hoy vamos a descubrir qué es y qué contiene el llamado Nomenclátor Geográfico de Municipios y Entidades de Población (NGMEP).

Según la RAE un Noménclator es el catálogo de nombres propios o de voces técnicas de una disciplina. Por tanto nos encontramos ante una base de datos con la información correspondiente a los municipios y entidades de población españolas. Y, como además es Geográfico, se le añaden algunas características propias de esta ciencia como coordenadas, altitud o población. No es un producto cualquiera; su simple ubicación en la categoría Información Geográfica de Referencia del Centro de Descargas del CNIG ya nos da una pista de su importancia. Este cuerpo completo de entidades de población pasa por ser la referencia absoluta y oficial en su materia, de la misma forma que le sucede, en el campo de la toponimia, al Nómenclator General Básico de España (NGBE), del que ya hablamos en un articulo y que comparte ubicación dentro de los productos de Información Geográfica de Referencia (IGR).

Las fuentes de las que se nutre para su elaboración el NGMEP son variadas, destacando el Registro de Entidades Locales, el Instituto Nacional de Estadística y las bases de datos cartográficas del Instituto Geográfico Nacional (singularmente BTN25). Sus usos obviamente son muy variados y atienden a diferentes intereses, por ejemplo como datos empleados en sistemas de información geográfica (SIG), resolución de consultas a organismos de las Administraciones Públicas y personas físicas o jurídicas privadas, en materia de nombres (oficiales, normalizados y no normalizados) de municipios y entidades de población, resolución de consultas a otras unidades del Instituto Geográfico Nacional - Centro Nacional de Información Geográfica (IGN-CNIG).

La descarga de información se efectúa en un único archivo comprimido ZIP (9,28 megas) que contiene en su interior el acceso a los datos en dos formatos diferentes: 

• Una base de datos Microsoft Office Access 2013 (extensión *.mdb).
• Cinco archivos de texto (extensión *.csv) que contienen las cinco tablas que forman el NGMEP.

El archivo PDF que acompaña a las tablas contiene una explicación genérica de la estructura de la NGMEP,
así como de los diferentes atributos de cada una de las tablas.

Vista de la base en formato .mdb abierta en el programa Access mostrando una de las cinco tablas que la componen.

Para el uso en nuestro campo SIG son perfectamente útiles los archivos de texto CSV (uno de los formatos más clásicos a la hora de compartir datos para tablas). Así pues vamos a abrirlos en QGIS, procediendo como ya explicamos en este artículo. Probamos con el archivo ENTIDADES.csv y una vez que lo tenemos perfectamente estructurado en la ventana de importación.....

... aceptamos para que se muestren las posiciones geográficas de los elementos sobre el lienzo:

A simple vista ya tenemos una evidencia: algunos de los elementos de la tabla tienen datos erróneos en sus coordenadas
y se encuentran ubicados muy muy lejos de España (conjunto de puntos agrupados).

¿Cuántos elementos son los que se muestran mal ubicados? Los seleccionamos toscamente por polígono para descubrir que los puntos muy alejados de España suman nada menos que 1950 elementos (de un total de 153.816). Tres de ellos por coordenadas erróneas y la inmensa mayoría (1947) simplemente por tener los campos de coordenadas vacíos.

Elementos de variadas categorías y provincias con coordenadas iguales a 0 en la tabla de atributos.

Esta misma vista de la tabla de atributos nos confirma la estructura de campos, idéntica o casi a la que se nos viene informando en el PDF con explicación y detalles de cada atributo.

Empezando pues con casi dos mil elementos desechables (un error no menor que el IGN se encargará de ir corrigiendo), podemos comprobar que la precisión topográfica de las entidades respecto al centroide de la población que representan es aceptable con carácter general. Aún así ubicar con mayor precisión estos puntos nos parece una tarea a mejorar con simple trabajo de digitalización sobre ortofoto. Su altura (extraída en su mayoría del MDT05). su población o la del conjunto del municipio y su superficie (datos INE) son datos de relevancia que enriquecen la tabla a la hora de diferentes análisis espaciales.

Unas rápidas radiografías de la altitud del territorio o de la llamada "España vaciada" son sencillas gracias a los datos.

Sin duda el aspecto más áspero de esta temática es concluir una buena definición de cada uno de las categorías en discordia. Como ya vimos en el reciente artículo sobre el nuevo producto Poblaciones, las disquisiciones teóricas de cada definición son (para nosotros) un verdadero engorro y complicación, aunque sin duda necesarias como punto de partida de una clasificación coherente y duradera. Ello genera a menudo una compleja codificación que ni siquiera evita duplicados (o triplicados) en los elementos, al formar parte a menudo una misma entidad de varios de los grupos.
Esta compleja distribución territorial heredada de la tradición y de muchos años atrás tiene aún su fiel reflejo en la ubicación de algunas categorías, como los Condominios (o Mancomunidad de Municipios o Comunidades Jurisdiccionales... de nuevo el engorro terminológico), casi exclusivos de la zona de Burgos y Navarra.

Los Condominios son territorios con superficie propia cuya gestión es llevada a cabo por varios municipios, provincias o es directamente estatal.

Muy significativa resulta también la ubicación de las EATIM's (Entidades de Ámbito Territorial Inferior al Municipio), herederas sin duda de los antiguos Concejos y Juntas Vecinales en las que se organizaban las aldeas en época medieval.

Y, para rematar el guirigay, tenemos también las Entidades Colectivas (dentro de la tabla Entidades) con una representación geográfica igual de particular. Un especie de unidad intermedia entre el municipio y la entidad singular, que se corresponde con lo que los mortales conocemos como Parroquia en Asturias o Galicia (pedanía en otras zonas, etc...).

Esta maraña de categorías nos obliga pues a interrelacionar las diferentes tablas y campos, usando expresiones y condiciones, si queremos extraer un catálogo de elementos puntuales completo y sin duplicados del conjunto de entidades de población. Un archivo con un único punto por entidad sería de agradecer (aunque tuviera diferentes posibles atributos).

Será manía personal pero odio los objetos duplicados (o triplicados).

Entidades perfectamente individualizadas contienen hasta cuatro puntos duplicados en parejas de dos: municipio, capital de municipio, entidad singular y diseminado. ¿No sería mejor una tabla de ENTIDADES con un único objeto con diferentes atributos -y el valor Si ó No en cada uno de ellos-?

Hasta aquí nuestra aproximación a este Nomenclátor, uno de los grandes productos de referencia en la información geográfica de España. Esperamos que os sirva mucho y bien en la elaboración de todos vuestros proyectos. Saludos.

Google Earth Pro: importar datos SIG.

Poco puede contarse ya a estas alturas del impresionante Google Earth, con el que ya he dicho en alguna ocasión que pueden perderse años de vida cotilleando la infinita información del mundo que nos ofrece. La versión Pro del programa nos brinda además la posibilidad de importar archivos en una buena diversidad de formatos, muchos de los cuales son de manejo clásico en el mundo de la cartografía SIG. Aunque el comportamiento de Google Earth en estos casos no se puede comparar con el de un SIG convencional, si nos ofrece algunas posibilidades bastante interesantes para visualizar esta información extra.

Formatos de archivo admitidos por Google Earth desde el menú Importar (o Abrir).

De entre la lista de formatos disponibles para importación (muchos de los cuales ni conozco ni he manejado nunca) vamos a mostrar algunos ejemplos con aquellos formatos que nosotros utilizamos más habitualmente, como son los archivos de texto genérico (txt, csv), los vectoriales shape (shp) o los archivos de imagen GeoTIFF (tif).

• Texto genérico (txt, csv).

Los archivos de texto contienen información delimitada por algún caracter determinado (coma, punto y coma, tabulador...) y pueden incluir coordenadas geográficas (el caso más interesante para nosotros) o no (simple tabla de datos en texto). Ya vimos como trabajar con ellos en QGIS y la enorme utilidad y facilidad de su elaboración. En Google Earth en cambio, y seguramente debido a la inmensa base de datos de Google, podemos importar la información tanto por coordenadas geográficas como por direcciones postales. Con un ejemplo se verá mucho mejor: partimos del archivo csv con la información de los establecimientos hosteleros de la ciudad de Santander y lo abrimos en Google Earth:

El Asistente nos pide los datos básicos. En este caso tipo de campos delimitados, delimitados por comas, y con una codificación UTF-8 (para que el texto se represente correctamente). En la vista previa inferior vamos comprobando que los datos queden bien estructurados.

En el siguiente paso es donde Google Earth nos pregunta si la información dispone de coordenadas geográficas o de direcciones postales. Nuestro CSV dispone de ambas, como vemos en la imagen anterior, así que vamos a probar con las coordenadas, rellenando las columnas que corresponden a los datos:

Tras una ventana opcional en la que podemos especificar el tipo de los campos (la dejamos sin tocar), finalizamos la importación. Google Earth nos pregunta si queremos aplicar una plantilla de estilo y aprovechamos para elegir el campo del nombre y el icono:

Tras preguntarnos si queremos guardar una plantilla de la importación Google Earth nos muestra los datos:

Datos del CSV mostrados en su ubicación geográfica, con simbología aplicada (nombre e icono)
y toda la información de la tabla csv disponible en ventana pop-up.

Hemos probado también la importación por direcciones postales y, obviamente, da muchos fallos pues esta tabla sólo contiene una calle y un número, ni siquiera un código postal o una localidad, por lo que la calle puede ser idéntica en diferentes ciudades y Google se vuelve loco. Para no quedarnos con la duda hemos probado con el archivo de los centros docentes no universitarios de Euskadi, que contiene varios campos con información postal. Una vez rellenado el asistente con la info que tenemos....

... y a pesar de que no ha sido capaz de ubicar unas cuantas entradas (creo que en parte por el idioma vasco), el resultado es más o menos aceptable:

Resumiendo, la tabla de valores debe de estar casi perfecta en sus campos para que Google Earth sea capaz de ubicar la información sin apenas errores. Pero probadlo y veréis que es una utilidad bastante conseguida. Un último apunte: al realizar una importación de este tipo se nos genera un archivo de extensión kdx con el mismo nombre y en el mismo directorio del archivo csv. Este archivo sirve para que la próxima importación se haga automáticamente sin necesidad de rellenar de nuevo los campos del asistente. Si queremos tener control de nuevo sobre el proceso podemos borrarlo.

Respecto a los archivos en formato de texto simple txt, el proceso es el mismo.

• Vectoriales shape (shp).

Los vectoriales en formato SHP son un auténtico clásico del mundo cartográfico, y sin duda nuestro formato favorito. Su importación es aún más sencilla pues estos archivos cuentan con información geográfica de ubicación. Para este ejemplo probamos con uno muy simple: los polígonos de los espacios naturales protegidos de la península. Comprobamos que en este caso no nos deja modificar la codificación de texto, y tras seleccionar el campo del nombre y unos colores aleatorios, el resultado aparece en pantalla:

La información del vectorial SHP en pantalla (con los errores tipográficos de codificación).

Probamos con otro ejemplo sencillo, en este caso un archivo de puntos en vez de polígonos: aeropuertos del mundo de la base vectorial gratuita Natural Earth.

Lo cierto es que Google Earth maneja bastante bien estos archivos vectoriales, al menos los que no requieren mucha memoria. Cuando el archivo excede de 2500 elementos Google Earth lanza un aviso y unas opciones para restringir la importación. Sin problemas tampoco con una capa de líneas: ríos de la BTN25.

• Archivos de imagen GeoTIFF (tif).

Concluimos con la posibilidad de importar imágenes, concretamente en el formato georeferenciado TIF. Probamos con un fondo de mapa que yo tenía elaborado por ahí...

En este caso la imagen se nos coloca directamente en Mis sitios (no en los Lugares temporales), y la importación no tiene más misterio. Si la imagen excede las posibilidades del software Google Earth nos advierte con un mensaje y las opciones de abrir una versión reducida del archivo. En todos los casos de este artículo tenemos la posibilidad de jugar con la famosa y útil transparencia de capas del programa.

En definitiva, unas buenas opciones para usar aún más a menudo Google Earth. Aunque evidentemente no disponemos de las más básicas funciones SIG para manipular la información, creo que como visor rápido de los datos tiene una utilidad innegable. Por supuesto también como una forma de crear un buen repositorio personal de información geográfica (añadiendo los archivos de interés a Mis sitios), o como una cómoda y rápida herramienta para compartir datos dada la enorme presencia de Google Earth entre los usuarios (simplemente guardando el archivo en su formato nativo kml/kmz). Reseñar por último que para un manejo fluido de la información Google Earth requiere un PC bastante potente, pues si cargamos un poco de información su manejo se vuelve muy pesadote. Saludos!!

Datos abiertos: Consorcio Transportes Madrid.

A menudo hemos hablado que para crear cartografía tan importante es una buena idea como tener los datos necesarios para llevarla a cabo. Y que entre la maraña de información geográfica de internet se agradecen sitios que ofrezcan dicha información de manera clara y práctica. Otro buen ejemplo de esto es la web de datos abiertos del Consorcio Regional de Transportes de Madrid.

Desde ella podemos acceder libremente a toda la colección de datos referentes al transporte público de la Comunidad de Madrid, en sus diferentes categorías.

Y una vez realizada nuestra búsqueda de cualquiera de las múltiples formas posibles....

...llegamos al resultado en el que podemos ver los detalles y la tabla de atributos, lo que es tremendamente útil para hacernos una idea exacta de la información que el archivo contiene antes de descargarlo. Sólo nos resta proceder a la descarga en el formato que más nos interese: csv, KML o Shapefile.

Y es que elaborar nuestros mapas con la ayuda de una fuente de datos bien estructurada simplifica mucho las cosas. Para muestra nos hemos entretenido elaborando un par de ejemplos con algunos dataset de la web del Consorcio.

Póster representando la cobertura territorial de la red de Metro y Metro Ligero en base a buffers de distancia por estaciones.

La verdad es que nos ha quedado precioso el póster... Y si queréis jugar un rato con capas, transparencias, tablas e información pop-up podéis echar un vistazo a nuestro experimento versión mapa web.

Saludos!

INE: fuente inagotable de datos.

A menudo repetimos que para elaborar una buena cartografía temática, para que nuestros mapas reflejen fielmente realidades, es imprescindible contar con los datos adecuados. Y también a menudo decimos que conseguir dichos datos no es tarea fácil entre la maraña de información que nos rodea, muchas veces caótica y escasa de criterio.
Por suerte siempre tendremos el INE. 

El Instituto Nacional de Estadística (INE) es como un oasis en medio del desierto, o mejor aún, como un remanso en medio de la jungla. En sus páginas se esconden los datos más insospechados, las tablas más inesperadas; pero también los principales indicadores de un país y todos aquellos datos básicos para una buena cartografía por temas. Sin duda un indispensable a tener siempre en cuenta cuando buscamos información que cartografiar.
Sería absurdo hacer un resumen de la información disponible en el INE, pues es tanta y tan variada que nunca daríamos una idea de lo que allí se puede encontrar. La información se estructura en algunas grandes categorías que nos orientan el rumbo, pero os recomiendo que paséis un rato navegando por sus páginas para haceros una idea aproximada de todos los datos a nuestro alcance.

Portada web del INE con las principales áreas de búsqueda de datos.

Una vez que hayamos alcanzado la tabla de datos de nuestro interés, el INE nos ofrece la posibilidad de descargarla en varios formatos habituales: Excel (extensiones XLS y XLSx), CSV (separado por tabuladores, coma o punto y coma) y Pc-Axis (formato propietario del INE para el que nos ofrecen un software gratuito que no he probado, pero que tiene buena pinta y parece que permite elaborar cartografía de manera sencilla combinando los datos con vectoriales).

Ejemplo de tabla INE (ocupación de alojamientos rurales 2014 por provincias y meses) y acceso al botón descarga
con la ventana de elección de los diferentes formatos disponibles.

Descargada la tabla, podremos aplicar en QGIS su importación (como vimos en este artículo) y/o su unión con vectoriales que los representen (como vimos en este otro artículo). He probado a descargar la misma tabla en formatos xls, xlsx y csv de punto y coma, y con QGIS 2.14 Essen es posible abrirlos todos (los excel como capa vectorial y los csv importando capa de texto delimitado). Eso si, difícilmente podremos evitar una previa manipulación de la tabla para adaptar correctamente su estructura y poder tenerla en QGIS perfectamente utilizable, pues es normal que contengan distintas cabeceras que debemos suprimir o que debamos retocar los nombres de la columna en el campo común de unión.

Tabla CSV del ejemplo anterior con los parámetros ajustados para una correcta importación.

Otro ejemplo con el CSV de la producción editorial por CCAA y temas.

Y no se nos ocurre mejor forma de terminar este breve artículo que haciendo unos mapas con la cantidad de tocayos que tengo repartidos por España: nada menos que 303.247 Javieres. Y con una media de edad de 30,9 años.
Quién la pillara.... Saludos a todos!!

España en llamas.

Gracias al blog IDEE tenemos conocimiento de un magnífico proyecto: España en llamas. Aparte de la abundante información y variados estudios que nos conciencian de una manera clara sobre esta lacra que cada año asola España, nos ha parecido muy interesante el mapa web que han elaborado como representación gráfica de todo ello.

Interfaz del mapa web de España en llamas.

Basado en la API de Google Maps, el mapa nos ofrece muy variadas e interesantes posibilidades: filtrar los incendios por causa, siniestralidad, localización o superficie quemada; buscador de municipios, o una animación sobre el mapa del número de incendios y sus datos (de 2001 a 2013). También la opción Visita Guiada reflexiona con más detalle sobre nueve aspectos concretos ejemplificándolos siempre sobre el mapa. Se puede consultar la interesante metodología y los detalles de elaboración.
Además, y como gran detalle de sus creadores, ponen a nuestra disposición los datos necesarios, conseguidos del Ministerio, para la elaboración del proyecto (además de códigos fuente y variada información en su repositorio de GitHub). Los datos de los incendios están en formato .csv.

Archivo .csv abierto en editor de texto con las cabeceras de columnas destacadas.

Los archivos de texto .csv pueden ser abiertos directamente por ejemplo en Google Earth, donde cada punto correspondiente a cada incendio nos mostrará sin problemas toda su información relativa.

Pero obviamente nos interesaba muy mucho cargarlos en algún software SIG como QGIS para tenerlos disponibles como representación geográfica y poder trabajar con ellos. Aunque ya explicamos cómo hacerlo en este artículo, os pongo captura de QGIS con los parámetros necesarios en la ventana de opciones para abrir el archivo .csv.

Con los parámetros que veis en pantalla el archivo .csv se representará correctamente. Lo más importante es asignar a los valores coordenadas X e Y la columna correcta de los datos del .csv.

Ahora ya podremos guardarlos como vectorial shape .shp (por ejemplo para abrirlos en otros programas más fácilmente) y representarlos a nuestro antojo aprovechando la muy completa tabla de atributos que contienen. Para muestra un botón: una zona de Sanabria representando el punto de inicio del incendio, un buffer graduado por color y superficie quemada rodeándolo, y un etiquetado con fecha y hectáreas quemadas.

Ejemplo de representación de los datos de incendios con buffers y sobre ráster del IGN.

Nuestra enhorabuena a los autores de este proyecto y nuestro agradecimiento por facilitarnos los datos del mismo. Ojalá entre todos consigamos que algún día esta desgracia del fuego ni siquiera tenga datos oficiales. Un saludo.