OpenStreetMap

JBacc1's Diary

Recent diary entries

I liked the idea of creating localised notes with pictures, using twitter was a strong idea. This tool has been publicized on the talk-fr list, and is starting to get used here (in France).

I am now trying to close notes created recently in France. And for most of them, I just feel helpless. Why? The location of the element cannot be found. The gps location is too imprecise, and there often is no hint at the direction of the photograph… Two examples:

I propose no solution. I may encourage the photographers to think of integrating location elements on the picture. I may wonder in the picture direction could somehow be retrieved…

JB.

Les Notes dans OpenStreetMap : Retour sur 6 mois et 4000 fermetures de Notes.

Cette entrée a un sous-titre, founi par Marcussacapuces91 : « Calme toi un peu fermeur de notes compulsif ; c’est plus compliqué que ça ! »

Cette entrée de journal est un résumé d’une présentation proposée au SotM-FR, dont le support est disponible ici.

Assez tôt dans l’histoire d’OSM, l’outil OpenStreetBug a été créé, permettant la création et la fermeture très facile, rapide, anonymement ou non, de « bugs ». Cet outil, séparé du site et de la base OSM, a été remplacé en avril 2013 par la fonction « notes » sur le site principal d’OSM. Tout le monde peut y créer, y commenter une « note », les personnes identifiées peuvent les fermer.

La [page wiki] (http://wiki.openstreetmap.org/wiki/Notes) des notes résume le principe assez efficacement dans le tableau « C’est et ce n’est pas ». J’en retiens essentiellement, ne pas polémiquer, ne postez pas de commentaires trop généraux (utilisez un forum ou une liste de discussion pour cela), et n’utilisez pas pour un usage personnel.

Les notes font bien partie de la base principale d’OpenStreetMap, le xml indiquant un objet « note », une longitude/latitude, puis notamment le statu actuel de la note (ouverte/fermée), et la série d’action liée à son histoire et les commentaires qui y sont liés.

On trouve peu d’outils autour des notes. Pascal Neis fournit quelques statistiques ainsi que la liste des dernières notes ouvertes/fermées/commentées par pays. Une API permet de récupérer des notes par petites bbox.

Ceci dit, récupérer des notes reste une épreuve :

  • elles ne sont pas présentes dans le fichier planet

  • elles ne sont donc pas présentes dans les extraits GeoFabrik

  • il n’y a pas de dump,

  • il y a peu d’intérêt apparent de la communauté @dev

  • l’API est récalcitrante.

Un an après son introduction, on n’a pas d’évaluation du dispositif, pas d’intérêt pour l’outil. Mon impression est d’entendre « passez votre chemin, il n’y a rien à voir ».

Finalement, comme je voulais avoir quelques statistiques sur ces notes, j’ai ouvert mon manuel Python. La méthode utilisée est la suivante (et ne plaira probablement pas aux administrateurs) :

  • découpage de la France en carrés de 1°×1° (python)

  • téléchargement par l’API (python)

  • assemblage du xml (python)

  • passage en csv (python)

  • filtrage géographique (qgis)

  • traitement semi-automatique pour la production de statistiques (tableur)

On trouvait en France 8000 notes lors de l’extraction, 7300 fermées et 660 ouvertes, réparties géographiquement comme ceci :

Répartition française

Les statistiques qui suivent sont sur les 3500 notes que j’avais fermées à l’époque de l’extraction.

Camenbert Légende

Environ 2/3 des notes ont été corrigées, fermées avec un OK ou un commentaire équivalent. Un petit quart indique des notes insuffisamment claires, souvent demandant un complément d’information jamais renseigné. 10 % indiquent des éléments déjà présents dans la base. Enfin, une minorité est liée à un mauvais usage de l’outil et les personnes sont renvoyées vers uMap, quelques unes sont liées à des outils extérieurs à la base de données d’OSM.

Dans la première catégorie, on trouve beaucoup d’informations liées à la voirie, à des POI manquants, notamment à des commerces. On trouve également, peut-être est-ce là le plus intéressant pour la bdd, des éléments d’évolutions des POI.

La catégorie des notes « insuffisantes » peut être décomposée comme suit :

  • incompréhensible

  • incompréhensible, mais le créateur avait quelque chose de clair en tête

  • indications trop peu précises pour pouvoir les renseigner

  • texte très long, mais incompréhensible quand même

Les personnes renvoyées vers uMap utilisent les notes pour indiquer leur maison, celle des copains, le point de rendez-vous, mais également des commentaires généraux sur l’intérêt de tel endroit, ou comme un agenda. On a même eu le cas de l’agence immobilière qui y listait ses maisons à vendre…

Enfin, dans les inclassables, on trouve :

  • les questions liées au rendu

  • la demande de légende (sans commentaire… OSM a quel âge ?)

  • l’état des pistes cyclables

  • les problèmes liées aux outils externes à OSM, essentiellement sur le routage

  • les personnes qui n’ont pas voulu contacter le contributeur contributeur pour lui poser la directement

  • les personnes qui auraient dû passer par un forum

Deux tiers des notes résolues en OK, ça pourrait paraître pas mal… Mais si on réintroduit les 660 notes sur lesquelles je suis passé, et que je n’ai pas pu/pas voulu/été refusé de fermer, les statistiques chutent… à une grosse moitié, et un tiers de notes non résolubles. L’impression est moins positive. J’ai classé ces notes en 6 catégories non-définitives :

  • À mapper bientôt. Celle-ci est probablement la plus légitime. Si elles ne sont pas oubliées lorsque le temps est venu de donner les informations complémentaires.

  • Un repérage sur place est nécessaire. Personnellement, je n’ai jamais vu personne répondre à une telle demande, mis à part venant du créateur de la note. Ces notes vieillissent, encombrent.

  • Difficile à taguer, à mapper. Prêt ? À vos stylos, comment taggue-t-on un composteur, un repère de crue, un restaurant scolaire, une borne d’appel, un panneau ferroviaire 4v. Qui a déjà essayé de dessiner une falaise à partir de l’imagerie sans être allé sur place ?

  • La valeur ajoutée par rapport à la demande au contributeur est trop faible. Picheta/Valeri/Académie Musicale Bastille. Est-ce à l’ouvreur de note d’indiquer, de décrire l’activité, ou au contributeur d’essayer de trouver l’information ? « Allez repérer avec un GPS ». « Allez trouver les installations EDF ».

  • Utilisation pour une correction personnelle. « Voir aménagement vélo » (×25), « j’ai pas édité, mais commenté. Si c’était OK, j’aurais fermé ». Ha ?

  • Et les inclassables : « Tracez les routes ! », reimportez le cadastre, mauvais tag, bug, etc.

Le risque de ces notes ? Un avenir à la OpenStreetBug, dont la base de bugs est devenue inutilisable petit à petit depuis 2011, date à laquelle les notes n’indiquent plus des éléments présents, mais demandent des informations. La relecture du long message de Sly (en anglais) est intéressante avec ce recul sur les notes. Des premiers signes en France ? 447 notes sans action depuis leur ouverture. 550 notes ouvertes il y a plus de 2 mois, 200 il y a plus de 6 mois. Au niveau mondial, le même nombre de notes ouvertes que de bugs lors de la fermeture d’OpenStreetBug. 8000 notes ouvertes en Allemagne. Moins d’une note sur deux fermée au Royaume-Uni.

Des solutions possibles pour éviter un empoussièrement de la base des notes ? Sly proposait une ouverture complexe des notes. J’y ai un moment adhéré, mais j’ai maintenant observé des notes très courtes, mais très précises. Il proposait également l’encouragement à la fermeture des notes. Pas clair ? On ferme. Trop vieux ? On ferme. Pas d’accord ? Mieux vaut une fermeture de trop qu’une note inutilisable dans une base poussiéreuse. D’autre évolutions ont également été proposées depuis :

  • Avoir enfin un outil de filtrage des notes. On ne peut toujours pas trouver et afficher nos notes !

  • Avoir un outil de notes privées

  • Permettre le classement des notes : repérage nécessaire/gros travail/note privée…

  • Pas d’envoi de message à la fermeture de la note : le créateur donne sa note à la communauté, son avenir ne le concerne plus, c’est la communauté qui gère son traitement

J’avais fini ma présentation par quelques points positifs. 220 notes pour cartographier intégralement un village. Quelques remerciements arrivés sur ma messagerie. Et peut-être le plus positif pour la communauté, des nouveaux contributeurs arrivés suite à un premier contact par notes.

Finalement, un projet qui marche est souvent lié aux points suivants :

  • un intérêt pour les nouveaux arrivants : le système de notes peut être un premier contact avec OSM, avec la communauté

  • ne pas laisser les choses prendre la poussière. 6 mois pour une note, il est temps de nettoyer

  • les gens se contactent directement. Un message direct au dernier contributeur sera plus efficace qu’une note adressée à personne

Arrivera-t-on à un consensus sur la gestion des notes litigieuses, au moins au niveau français ? Je ne sais pas. Mais dans quel état sera la base des notes dans un, deux, trois ans ?

Et maintenant, votre bonne action : allez fermer les 10 notes les plus proches de chez vous. Alors, quelle qualité moyenne ?

Après quelques longues séquences de correction/résolutions de notes sur osm.org, voici quelques retours.

J’ai une impression assez mitigée autour de la fonction « add a note » sur OSM, principalement à cause du manque de clarté autour de son objectif. Et comme cet objectif n’est pas clair, chacun l’utilise à sa manière :

  • l’utilisation « débrouillez-vous avec ça » : le cadastre est mal importé, va falloir refaire tout ça. Il manque tout le réseau routier ici.

  • le frustré qui n’a pas trouvé d’autre endroit pour indiquer sa joie/ses critiques : elle est où la légende cyclable ? Trop bien cette carte…

  • celui qui y fait son répertoire : rendez-vous ici. Cette utilisation semble cependant en baisse (depuis les nouvelles traductions ou la fin des vacances ?)

  • celui qui y répertorie son travail prochain : 90, 50, 90, lavage voiture, fast-food, rond-point.

Une autre variable est la qualité des notes. J’ai clôturé nombre d’entre-elles par un « information insuffisante », avec la ferme certitude que si de telles notes n’étaient pas clôturées, la qualité moyenne baisserait trop pour que quiconque se risque à des séances de correction.

Comment j’imaginais les notes ? Comme la possibilité donnée à un non mappeur d’indiquer un élément à cartographier, sans se lancer à utiliser iD/JOSM. Mais finalement, les notes de ce type sont noyées parmi les autres, elles ont trop peu de visibilité pour nous encourager à les résoudre.

L’avenir des notes ? Gris sous cette forme. Leur qualité risque de rester variable à bas, peu de personnes les corrigent. Un avenir à la OpenStreetBug ?

Des possibilités d’évolution (en plein mode Yaka) ? Un protocole d’ajout de notes plus contraignant (niveau de zoom minimal, champs de renseignements à remplir obligatoirement, etc.). Un mode de notes privées, pour afficher uniquement nos notes et les masquer aux autres contributeurs. Un mode de filtrage de notes pour masquer celles liées aux utilisateurs massifs ou afficher uniquement celles des anonymes.

Et pour finir, une expérience assez unique que j’ai eue cette semaine : la cartographie d’un village par notes interposées. Le nombre de notes sur une petite zone m’a questionné, mais elles m’ont séduit par leur clarté et leur précision, et j’ai tenté l’expérience. Aurait-il mieux valu une initiation à la contribution ? Je ne sais pas. Mais ici, ponctuellement, un couple annoteur/josmeur a permis d’enrichir sensiblement la cartographie d’un village.

Notes

Mise à jour majeure du rendu R25

Posted by JBacc1 on 13 July 2013 in French (Français). Last updated on 25 August 2013.

Au printemps dernier, j’ai mis à disposition une feuille de style complète pour Maperitive, permettant la création simplifiée de cartes orientées « activités nature » pour une impression papier.

Après quelques retours d’utilisateurs et l’utilisation que j’en ai faite en conditions réelles (125 km de randonnée sur une carte R25 taille A1 au 29 000ème), je mets à disposition la version 5, une mise à jour majeure du projet. À première vue, la différence apportée est faible, mais cette version permet d’améliorer la cohérence de la taille des éléments représentés. Elle permet également la différentiation de nouveaux éléments. Un tutoriel rapide est également proposé en plus du tutoriel « grand débutants » existant.

Un petit bilan après 3 mois de retours :

  • plusieurs personnes s’essayent à l’utilisation du style, d’abord en utilisant le rendu tel quel, puis quelques uns mettent les mains dans le code.

  • personne n’a encore réussi à prendre la feuille de style en défaut. Toutes les erreurs remontées sont attribuables aux données. D’où le conseil : si quelque chose ne marche pas comme attendu, jette un coup d’œil aux données OSM avant de t’acharner sur le code (ou son créateur).

  • un ou deux retours de problèmes de cartes rendues « noires » : avant de commencer à bricoler, installez le fichier R25 comme indiqué dans les tutoriels et testez le résultat. Une fois que ça marche, vous pouvez commencer à déplacer les fichiers comme vous voulez…

Les démonstrations, les tutoriels et le téléchargement, c’est toujours par là que ça se passe : http://osm107.openstreetmap.fr/jbtopo/

OpenStreetMap, on le répète, c’est plus qu’une carte, c’est une base de données. Libre à nous, à vous, de l’exploiter pour des usages classiques ou inattendus, même si l’usage le plus courant reste la création de cartes.

Autour du projet OpenStreetMap sont proposés quelques rendus cartographiques et feuilles de style, de plus en plus nombreux, sous licences plus ou moins libres et plus ou moins claires, mais à ce jour, je n’ai pas trouvé de feuille de style disponible proposant un rendu adapté pour une utilisation au 25000ème et un usage de randonnée : la carte du lieu de vacances, la carte de chez soi, dont la version papier qu’on a dans la poche n’est pas libre, distribuable ou modifiable.

Ensuite, les outils à utiliser pour produire des rendus ne sont pas toujours accessibles au premier venu (importer un planet dans PostGis ? installer un serveur de tuile ?). Face à Mapnik/Tilemill, relativement lourds à prendre en main, a été développé Maperitive. Ce logiciel présente plusieurs avantages pour une utilisation web ou papier : une prise en main rapide, une feuille de style simple à comprendre (même si les choses peuvent se compliquer par la suite), il manipule de la donnée OpenStreetMap telle qu’on y est habitué (fichiers .osm). Son utilisation reste orientée sur le rendu de (relativement) petites surfaces, à un instant donné.

Après un peu (peut-être plus qu’un peu) de travail, j’ai mis au point une feuille de style pour le logiciel Maperitive, qui rend ce que je veux : une carte avec laquelle j’oserais aller randonner. Différents exemples de rendus sont disponibles par ici : http://osm107.openstreetmap.fr/jbtopo/, la légende est par là.

La feuille de style est disponible sous licence CC-by-sa : si elle ne vous convient pas mais qu’elle vous semble être une bonne base de travail, vous pouvez la modifier pour qu’elle corresponde à vos besoins. Vos travaux devront simplement citer son auteur original et être publiés sous une licence comparable. Par ailleurs, n’oubliez pas de créditer les contributeurs d’OpenStreetMap pour leurs données. Un tutoriel d’application de la feuille de style est également mis à votre disposition.

De mon coté, je suis prêt à vous aider à créer une carte ou à modifier la feuille de style dans la limite de mon temps disponible.