OpenStreetMap

Andrea Musuruane's Diary

Recent diary entries

Una delle cose che ci ha ricordato recentemente Steve Coast, il fondatore di OpenStreetMap, è che il nostro database è carente di indirizzi rispetto ad altre mappe commerciali.

Pertanto ho pensato di fare una presentazione dove spiego come funziona la numerazione civica in Italia. Illustro poi come si inserisce un indirizzo in OSM con alcuni esempi. Analizzo quali sono gli errori più comuni che si commettono e infine mostro diverse modalità di rilevamento e alcuni strumenti per il controllo della qualità dei numeri civici.

La trovate sul canale YouTube OpenStreetMap Piemonte, dove sono presenti anche altri video sul nostro progetto di mappatura preferito :-)

Anche quest’anno, volevo trovare i mapper attivi nella nostra zona, per invitarli agli incontri mensili del nostro gruppo.

Ho usato la stessa procedura che avevo già descritto in questo blog.

Considero attivi gli utenti che hanno inserito almeno 100 nodi e con l’ultimo edit effettuato nel corso di quest’anno.

Nel 2021 ci sono stati 121 utenti attivi. 22 sono già regolarmente contattati per i nostri incontri, 42 dovrebbero essere mapper locali, 24 dovrebbero risiedere in zone limitrofe, 32 sono mapper remoti e non è stato possibile trovare un utente. Escludendo gli account di import, 302 utenti non sono più attivi (ovvero non hanno fatto almeno un edit nel 2021).

Rispetto allo scorso anno, ci sono stati 22 mapper attivi in più. Quasi la metà degli utenti però non risiede in zona, molti sono stranieri. Sulla tipologia di queste modifiche ci sarebbe da parlare a lungo. Altri 15 utenti hanno smesso di contribuire.

A differenza della scorsa volta, volevo contattare gli utenti attraverso la messaggistica di OSM in modo automatico (copiare e incollare lo stesso testo per inviarlo a tanti utenti differenti è veramente una perdita di tempo).

Per fare questo ho modificato greeter_osm, uno script python che utilizza il feed newesttoosm e invia un messaggio di benvenuto ai nuovi utente. Il tool faceva già moltissimo. E’ bastato togliere tutto quello che c’era in più e aggiungere le poche cose che mancavano.

Il risultato è osm_bulk_sender. Per il momento lo script è privato perché non vorrei che fosse usato impropriamente. Da grandi poteri derivano grandi responsabilità.

Come trovare i mapper attivi in una determinata zona

Posted by Andrea Musuruane on 24 August 2020 in Italian (Italiano). Last updated on 23 September 2020.

Qualche giorno fa, volevo trovare i mapper attivi nella nostra zona, per poi contattarli per gli incontri mensili del nostro gruppo.

Sfortunatamente il sito Meet Your Mappers è down. Fortunatamente il software è open source e può anche essere usato in modalità stand alone, senza la necessità di installare un web server. Viene richiesta solo l’installazione di python3-osmium.

# dnf install python3-osmium
$ wget https://raw.githubusercontent.com/mvexel/meetyourmappers/master/meetyourmappers/osm.py

Come area ho usato un poligono che include le province di Biella e Vercelli e il Canavese. Il confini delle due province li ho scaricati da OSM-Boundaries mentre i confini del Canavese me li ha passati mbranco2, che ci aveva già lavorato in precedenza. Il poligono totale è l’unione dei tre fatta con JOSM e salvando in formato poly.

A questo punto ho scaricato l’ultimo estratto del Nord Ovest (file nord-ovest-latest-internal.osm.pbf) disponibile su geofabrik. Gli estratti con tutti i metadati sono disponibili solo per i volontari di OpenStreetMap e bisogna pertanto autenticarsi con le credenziali OSM.

Ho quindi ridotto con osmconvert l’area da analizzare usando il poligono definito in precedenza:

$ osmconvert nord-ovest-latest-internal.osm.pbf -B=bi-vc-cvl.poly -o=bi-vc-cvl-latest.osm

Poi ho eseguito lo script di meetyourmappers per trovare tutti gli autori presenti in zona:

$ python3 osm.py bi-vc-cvl-latest.osm > contributors.json

Infine, per semplicità di analisi, ho trasformato il file json in un file csv in modo da poterlo aprire con calc:

$ cat contributors.json | jq -r 'to_entries[] | [.key, .value[]] | @csv' > contributors.csv 

Dopo aver aperto il file con calc, ho filtrato gli utenti il cui ultimo edit fosse nel 2020 e che avessero inserito o modificato almeno 100 nodi.

Nel 2020, ci sono stati 99 utenti attivi nella nostra zona.

Di questi 20 sono già regolarmente contattati per i nostri incontri. 5 sono account di import utilizzati per l’import degli Open Data della Provincia di Biella, recentemente terminato. 22 non risiedono nelle nostre vicinanze. 1 ha un nome che sfida l’UTF-8 e non riesco ad avere maggiori informazioni. Dei 51 rimanenti, che saranno contattati prossimamente, 32 dovrebbero risiedere nella nostra zona e 19 in zone limitrofe. 287 utenti non sono più attivi (ovvero non hanno fatto almeno un edit nel 2020).

Escludendo gli account di import, siamo riusciti a coinvolgere più del 20% degli utenti attivi. E’ un gran bel risultato, che speriamo di accrescere :-)

Più del 20% delle modifiche inoltre vengono fatte anche da mapper non residenti in zona, alcuni sono stranieri. C’è da chiedersi su quali basi vengano fatte queste modifiche. Alcune, come la creazione di landuse relativi ai terreni agricoli, sono sicuramente fatte utilizzando ortofoto. Altre riguardano fix di semplici problemi di QA. Ma le rimanenti?

Infine, mi preoccupa un po’ un così alto numero di utenti non più attivi, dove almeno una 20ina erano mapper molto prolifici.

All’inizio di quest’anno, Maurizio Napolitano ha pubblicato su twitter una interessante scoperta: l’università del Texas ha scansionato e reso disponili online una serie di mappe topografiche d’Italia del 1941. La cosa più interessante è che non sono più coperte dal diritto d’autore e pertanto è possibile riutilizzarle liberamente.

Sempre spinto dall’amico Maurizio, e grazie a una sua bella presentazione di qualche tempo fa, durante il nostro incontro mensile del 30 maggio, ho parlato di come rettificare queste immagini utilizzando Map Warper, come riunirle insieme in un mosaico e come riutilizzarle in vari contesti, tra cui direttamente in JOSM.

Santhià

Dopo 15 giorni, altri utenti si sono aggiunti all’attività di rettificazione e il mosaico copre attualmente parte di Piemonte e Lombardia.

Andrea Albani ha realizzato un comodo foglio online per tracciare il lavoro che si sta facendo.

Maurizio Galli ha fatto una pagina web dove, spostando il mouse sopra la mappa standard OSM, compare una lente sul passato.

Un uso significativo di questi dati è l’inserimento in OSM di alcune informazioni che cambiano poco o nulla nel corso del tempo, come toponimi (nomi di luoghi), oronimi (nomi di montagne), idronimi (nomi di fiumi), ecc.

Ma la vera ricchezza di queste mappe credo sia storica: ci fanno vedere come eravamo.

Anche quest’anno mi sono recato per un periodo di vacanza con la mia famiglia a Spotorno (SV).

Dopo il lavoro fatto lo scorso anno, principalmente su strade e vicoli del centro storico, questa volta volevo concentrarmi sui numeri civici.

Ho stampato diversi Field Papers perché negli stretti carruggi del centro storico è difficile avere una buona posizione con il GPS.

Fortunatamente erano già presenti tutti gli edifici (importati dagli open data della Regione Liguria) e le strade. In questo modo non è stato difficile appuntare direttamente su carta i vari civici.

Per tenere insieme i vari fogli e per poter prendere appunti più agevolmente su una superficie rigida, ho usato un portablocco comprato su Amazon.

Field papers

Per rilevare i numeri civici dove non c’erano problemi di ricezione GPS ho usato, come al solito, Keypad-Mapper 3.

Il data entry è stato poi fatto con JOSM, usando il plugin FieldPapers.

Ora, a lavoro finito, sono presenti 678 numeri civici in OpenStreetMap (rispetto ai 66 presenti il 15 luglio).

Numeri civici a Spotorno

Per il rilevamento con lo smartphone, sabas88 mi ha recentemente suggerito di usare GeoPaparazzi dato che, a differenza di Keypad-Mapper 3, permette di posizionare con precisione il nodo. Spero di provarlo prossimamente.

Location: San Antonio, Spotorno, Savona, Liguria, 17028, Italia

Finalmente anche i mapper di Biellese, Canavese e Vercellese potranno ritrovarsi regolarmente.

Il primo incontro è fissato per
Sabato 3 febbraio ore 15.00
Sede BiLUG (presso SellaLAB),
Via Corradino Sella 10, Biella (BI).

Questi eventi sono un modo per far incontrare i mapper della zona (tra i quali i partecipanti allo scorso mapping party di Viverone) in modo regolare, conoscersi, scambiare esperienze, parlare di cosa si sta mappando e cercare di chiarire i propri dubbi.

Parte dell’incontro sarà incentrata su un approfondimento. Per il 3 febbraio, dato che ci sono alcuni collaboratori che vogliono partecipare all’import degli open data della Provincia di Biella, abbiamo pensato di fare un po’ di formazione su questo argomento.

Negli incontri successivi, pensavamo di parlare di:

  • editing avanzato con JOSM
  • stampa mappe cartacee
  • analisi cartografia OSM con linguaggio R
  • quality assurance
  • interrogazioni con overpass

Se avete altre proposte, segnalatecele.

Tutti sono i benvenuti, non è richiesta alcuna registrazione.

Ringrazio Marco Brancolini e Marco Baietto che mi aiuteranno in questa nuova iniziativa e gli amici del BiLUG per il loro supporto.

Confronto prima/dopo

Posted by Andrea Musuruane on 21 October 2017 in Italian (Italiano).

Era un po’ di tempo che volevo trovare un modo semplice per mostrare la situazione prima e dopo gli edit che ho fatto quest’estate a Spotorno.

Sollecitato prima da Paolo e poi da Michele, ho iniziato a pensare a una soluzione.

Per prima cosa ho scaricato due snapshot del nord-ovest d’Italia da geofabrik, relativi al primo luglio e al primo settembre.

Poi ho estratto i confini comunali di Spotorno, con Overpass Turbo per mezzo della seguente query:

<osm-script>
<query type="relation">
  <has-kv k="admin_level" v="8"/>
  <has-kv k="name" v="Spotorno"/>
</query>
<recurse type="relation-way"/>
<union>
  <item/>
  <recurse type="down"/>
</union>
<print mode="meta" />
</osm-script>

Li ho quindi esportati in un file .osm, ho aperto il file con JOSM, ho tolto tutti i tag e ho concatenato tutte le way. Poi ho salvato il risultato nel file spotorno.poly.

Quindi con osmconvert ho estratto dai file di geofabrik solo la porzione relativa al Comune di Spotorno:

$ osmconvert nord-ovest-170701.osm.pbf -B=spotorno.poly --complete-ways -o=spotorno-170701.osm.pbf
$ osmconvert nord-ovest-170901.osm.pbf -B=spotorno.poly --complete-ways -o=spotorno-170901.osm.pbf

Con Maperitive ho aperto questi due file e ho usato come rendering rule Better Mapnik

Poi ho ingrandito la mappa a un livello di zoom sufficiente per evidenziare le modifiche e mi sono posizionato sulla parte orientale del budello. Quindi ho impostato i limiti di stampa e ho esportato in bitmap i due data set (avendo cura di selezionarne solo uno per volta).

Infine, ho creato un PNG animato per mostrare la transizione prima/dopo.

Questo è il risultato finale: Spotorno

Questa stessa tecnica può essere ovviamente usata anche in altri contesti, come i mapping party.

Location: San Antonio, Spotorno, Savona, Liguria, 17028, Italia

Viverone Mapping Party

Posted by Andrea Musuruane on 23 September 2017 in Italian (Italiano).

Poster Domenica 1° ottobre 2017 OpenStreetMap organizza un mapping party a Viverone (BI).

L’evento si svolge in collaborazione con il BiLUG Biella Linux User Group, l’IvLUG Ivrea Linux User Group, lo ZAC! Hackers’ Café di Ivrea, la Compagnia dell’Armanac di Santhià e con il patrocinio e supporto del Comune di Viverone e dell’Associazione Slowland Piemonte.

OpenStreetMap (OSM) è un progetto aperto per creare e rendere disponibili dati cartografici, liberi e gratuiti, con una logica collaborativa simile a quella di Wikipedia.

Un mapping party è un evento durante il quale nuovi appassionati ed esperti si ritrovano per rilevare un luogo e passare una giornata insieme. Tutti sono benvenuti e in particolare chi vuole saperne di più su OpenStreetMap e gli open data.

Il ritrovo è fissato per le 9.45 presso la Biblioteca, Via Umberto I 109, 13886 Viverone (BI).

Il programma sarà il seguente:

  • ore 9.45 ritrovo presso la biblioteca
  • ore 10.00 inizio lavori e spiegazione introduttiva
  • ore 10.30 divisione in gruppi e passeggiata con raccolta dati attraverso le vie di Viverone
  • ore 13.00 pranzo al sacco
  • ore 14.00 elaborazione dei dati raccolti e inserimento dei dati in OpenStreetMap
  • ore 18.00 conclusione della giornata

L’organizzazione fornirà le nozioni necessarie per poter raccogliere i dati sul territorio e le mappe cartacee su cui appuntarli. Alcuni collaboratori di OpenStreetMap seguiranno e aiuteranno i neofiti durante la rilevazione.

Chi vuole può portare:

  • un ricevitore GPS, per acquisire tracce GPX e annotare waypoint
  • un macchina fotografica digitale, per georeferenziare le foto
  • uno smartphone, da usare come ricevitore GPS o come macchina fotografica digitale, oppure per l’uso di applicazioni specifiche (OsmAnd, OSM tracker, OSM Contributor, Street Complete, Vespucci)
  • un computer portatile, per l’inserimento dei dati tramite JOSM

Durante la giornata sarà presente anche Alessandro Palmas, Project Manager OpenStreetMap per Wikimedia Italia.

Per motivi organizzativi, si pregano gli interessati di segnalare la loro partecipazione.

Ulteriori dettagli si possono trovare su http://tinyurl.com/Viverone oppure https://wiki.openstreetmap.org/wiki/Viverone_mapping_party

Per adesioni e informazioni: mappingviverone@gmail.com

M'appare Spotorno

Posted by Andrea Musuruane on 13 August 2017 in Italian (Italiano).

Recentemente mi sono recato per un periodo di vacanza con la mia famiglia a Spotorno (SV).

Prima di partire avevo notato che su OSM mancavano quasi tutti i vicoli del centro storico, non erano presenti i nomi di diverse vie e alcune invece avevano nomi errati.

Quindi ho stampato qualche Field Papers, e ho verificato di avere installato sul cellulare un po’ di applicazioni.

In loco, per piccoli edit (spostare dei POI, correggere o aggiungere dei tag), ho usato per la maggior parte Vespucci e, a volte, OSM Contributor. Vi confesso però che non sono un grande fan di questi strumenti di editing sul cellulare e non li userei per operazioni più complicate.

Ho usato i Field Paper per fare piccole annotazioni, come il verso dei sensi unici o strade mancanti.

La maggior parte del lavoro però l’ho fatta usando OSMTracker. La funzione di photo mapping è utilissima, specialmente per rilevare i cartelli con i nomi delle vie. Inoltre, ho trovato molto comodo appuntare i vari POI insieme al corrispondente numero civico.

Ritornato a casa, ho esportato le tracce da OSMTracker e ho inserito le varie informazioni direttamente con JOSM.

Il risultato finale è riassunto nella seguente immagine.

Spotorno

Rimane ancora molto da fare, specialmente nelle aree più periferiche. Però la situazione è nettamente migliore di prima :-)

Location: San Antonio, Spotorno, Savona, Liguria, 17028, Italia

Mapping party a Viverone (BI)

Posted by Andrea Musuruane on 4 July 2017 in Italian (Italiano). Last updated on 8 July 2017.

A seguito degli incontri di presentazione di OpenStreetMap che si sono tenuti recentemente a Biella e Ivrea, è scaturita la voglia di organizzare qualche attività di mappatura collettiva del territorio, per formare nuovi mappatori e inserire alcune delle informazioni mancanti nel database di OpenStreetMap.

Con il supporto del BiLUG Biella Linux User Group, dell’IvLUG Ivrea Linux User Group e dello ZAC! Hackers’ Café, stiamo quindi cercando di organizzare un mapping party a Viverone (BI).

Tutti sono benvenuti! Ci rivolgiamo a cittadini e associazioni che operano sul territorio, ma anche alla Protezione Civile, tecnici comunali, professionisti e a tutti coloro che vogliono saperne di più su OpenStreetMap e gli open data.

Il programma di massima sarà il seguente.

  • ore 9.30 ritrovo e spiegazione introduttiva
  • ore 10.30 divisione in gruppi e passeggiata con raccolta dati attraverso le vie di Viverone
  • ore 13.00 pranzo
  • ore 14.00 inserimento dei dati in OpenStreetMap
  • ore 18.00 conclusione della giornata

Per motivi organizzativi, gli interessati devono segnalare al più presto la loro partecipazione e la loro disponibilità, rispetto alle date proposte, alla seguente pagina: https://beta.doodle.com/poll/ykfr3qzvnxm9w5fz

Abbiamo anche bisogno di mappatori esperti, per dare una mano nella gestione dei gruppi di mappatura e per l’editing in sala. Fatevi avanti! Ne approfitto per ringraziare Marco Brancolini che si è già offerto volontario :-)

Location: Cascina Brodo, Viverone, Biella, Piemonte, 13886, Italia