Finalmente el proyecto de la importación de los límites municipales de México ha terminado. Tomó más de lo esperado en especial considerando algunos de los problemas que surgieron a lo largo del proyecto. En primera me gustaría agradecer a los miembros del equipo, y también a los voluntarios que nos ayudaron cuando surgieron dudas y problemas.

Importar datos oficiales a OSM parece una tarea sencilla y hasta cierto punto lo es cuando la cantidad de datos es pequeña, sin embargo cuando se habla de los límites municipales de un país como en este caso específico, los problemas surgen.

Primer problema, disponibilidad de los datos. Antes de comenzar con este proyecto (previo a 2014) los datos geográficos del gobierno mexicano no eran abiertos, existía la posibilidad de obtenerlos para proyectos académicos o personales pero el hecho de usarlos en un proyecto como OSM involucraba superar una serie de lagunas legales con las que ningún equipo estaría dispuesto a lidiar, a menos que tuviera los recursos para hacerlo. El mejor ejemplo de este caso es Google, el equipo de Google Maps ha usado durante años la información geográfica oficial del gobierno mexicano (Es decir las bases de datos del INEGI), sin embargo, antes de que esta información fuera declarada como datos abiertos por el gobierno mexicano, se necesitaba una serie de convenios legales de licenciamiento que requerían la revisión de abogados y por lo tanto de un gasto considerable en crear un proyecto de cooperación con dicha entidad. Ese es el tipo de convenios que sólo una corporación tan grande como Google puede darse el lujo de financiar así que por muy buena que fuera la información proveniente del INEGI, ningún individuo u organización de la comunidad OSM tendría los medios para afrontar los gastos en la gestión de un proyecto de licenciamiento tan sólo para importar datos a OpenStreetMap, de hecho esa fue una de las razones por las que inicialmente queríamos crear una Organización no Gubernamental para empujar la agenda de datos geográficos abiertos en el gobierno mexicano.

Sin embargo y de manera un poco inesperada, el gobierno tomó la decisión de abrir muchos datos, incluidos los geográficos, la manera en que ha sucedido esto y los factores que lo permitieron es materia para otro post pero si les interesa un poco de la historia, pueden ver la conferencia que dió [Nombre] del INEGI cuando fue invitado a participar en la conferencia State of the Map LatAM 2014 en Chile.

Una vez que los datos fueron declarados datos abiertos por el gobierno, dejó de existir la necesidad de crear un grupo de presión que empujara dicha agenda. Fue entonces cuando nos enfocamos en el siguiente objetivo que era aprovechar la riqueza de los datos del INEGI en OSM, y es hasta cierto punto un ejemplo perfecto de por qué los gobiernos deberían de liberar sus datos como datos abiertos, de no ser por la iniciativa del gobierno mexicano y del INEGI de liberar estos datos, nuestros esfuerzos se habrían centrado en activismo político y lobbying en lugar de poner las manos a la obra y usar los datos para el provecho de los ciudadanos (que a final de cuentas es uno de los objetivos del trabajo que hace el INEGI), además de que no existía la certeza de que todo ese trabajo realmente empujaría nuestra agenda hasta su objetivo final de abrir los datos, así que es un hecho muy afortunado que esto haya sucedido de manera orgánica dentro de esa institución y dentro del gobierno mexicano. Los gobiernos e instituciones a cargo de datos geográficos en otros países podrían tomar nota de esto.

Segundo problema, conservación de los datos, Subir datos en una importación no es tan sencillo, es necesario seguir una serie de procedimientos con el fin de preservar la información previa incluso a pesar de que no haya garantía de que esa información sea válida, esto con el fin de no destruir información previa que sea valiosa, es muy complicado determinar automáticamente cuál información es válida y cuál no para todo un país a menos que haya una razón muy específica, como que vaya en contra de los lineamientos de etiquetado de OSM y es la única guía para determinar qué conservar y qué no. Sin embargo se debe realizar un respaldo de la información previamente a la labor de importación.

Para empezar, los datos de los límites no vienen listos para ser subidos a OSM recién salidos del shapefile, están en una proyección específica del INEGI, y están topológicamente preparados para convertirse de formato shapefile a formato OSM, se necesitan reproyectar, transformar y dividir entre los límites en común, este es un paso importante para evitar duplicidad de ways y nos dimos cuenta que ese será un gran reto para la importación de límites más granulares como los límites de las colonias por ejemplo.

Tan solo un ejemplo, una vez convertidos al formato de datos de OSM el archivo de los límites contenía más de 1,700,000 elementos, lo cual no pueden ser subidos en un solo changeset, se requirió dividir este total en varios changesets a fin de que la API de OSM permitiera que se subieran tantos datos y también para validar errores estado por estado lo cual significó una enorme cantidad de trabajo manual como la verificación de los admin_centre y de la separación de datos fusionados con los límites previos ya que al sustituirlos podríamos volver a incluir una gran cantidad de errores en la información restaurada. La detección de dichos errores fue realizada con ayuda de scripts pero la evaluación de si es un error o no quedaba muchas veces a juicio del equipo basado en los lineamientos de edición de OSM lo cual tomaba evidentemente más tiempo que un script y estaba sujeta a errores humanos.

En el caso de los límites municipales de México estamos hablando de 2457 municipios para los cuales a pesar de existir previamente para algunos estados, donde era evidente que la información se importó del INEGI pero nunca estuvieron documentadas y por lo tanto eran inválidos, en este caso solo se reemplazó el límite con los datos del INEGI incluyendo la clave del dato proveniente del INEGI a fin de dar seguimiento a futuro en los casos en que el INEGI actualice un límite y también para que el INEGI sepa qué límites está actualizando la comunidad.

Tercer problema, idiosincrasia, desde antes de comenzar con la importación sabíamos por la experiencia al leer sobre importaciones previas que la gente nunca está contenta con las importaciones, a veces por que no comparten los mismos objetivos que el equipo de importación o porque tienen su propia interpretación de la filosofía de openstreetmap en la que se consideran dueños de los datos que contribuyen y asumen que nadie más debe tocarlos o modificarlos. Esta noción de que quien sea que trate de mejorar OSM a través de una importación a gran escala está destruyendo o haciendo daño a OSM ya es bien conocida en la comunidad desde los tiempos de la importación de los datos de TIGER en Estados Unidos, pero la realidad es que OSM no sería lo que es hoy sin muchos esfuerzos de importaciones, o tal vez tomaría demasiado tiempo en mejorar si no existieran dichos esfuerzos. Se podrían cometer errores pero si ese es el costo que hay que pagar por mejorar el mapa a una velocidad razonable creo que es un intercambio razonable siempre y cuando se corrijan los errores.

Opiniones polarizantes siempre habrá en las comunidades de código abierto, algunas personas serán satanizadas sólo por pertenecer a una corporación privada o serán culpados de tener su propia agenda, pero en realidad cada quien tiene su propia agenda, el punto es si esas agendas contribuyen a la mejora del proyecto.

Con el fin de mantener esta importación relevante y actualizada, y ayudar tanto a la comunidad de OSM como al INEGI a actualizar la cartografía de los límites municipales, nos dimos a la tarea de enlistar cada límite municipal en el wiki de OSM de México (Gracias Irk_Ley !), de esta manera el INEGI, y de hecho cualquier usuario, podrá monitorear qué límites están siendo modificados de acuerdo con una legislación local, lo cual es posible ya que algunos usuarios tienen dicho respaldo legal para modificar los límites que especificó el INEGI.

Finalmente me gustaría agradecer a todo el equipo de importación, notando que no sólo fue gente de Telenav, también recibimos un gran apoyo técnico de parte el equipo de HOT OSM así como de la comunidad de maperos de México, Puerto Rico y Europa. No menciono nombres porque ya todos están en la lista del equipo en el wiki ;)