OpenStreetMap

drolbr's diary

Recent diary entries

Zahl des Monats: 74.9 Prozent

Posted by drolbr on 20 October 2016 in German (Deutsch)

Vorab das Wichtigste: Die neue Version 0.7.53 ist auf overpass-api.de und dev.overpass-api.de jetzt aktiv. Die Rambler-Instanz wird in den nächsten Tagen folgen.

Weitere Details dazu werde ich weiter unten geben, ebenso, warum ein Vorfall rund um Pokemon Go mein Weltbild zu Zugriffsregeln erschüttert hat.

Doch zunächst möchte ich die Zahl des Monats präsentieren: 74.9 Prozent. Von 74.9 Prozent aller IPv4 /24-Subnetze, also aller überhaupt möglichen solchen Subnetze weltweit, habe ich mittlerweile Zugriffe in den Logfiles gefunden. Zu diesen Netzen gehören z.B. die von General Motors, Ford, Toyota, Daimler, BMW und Volkswagen. Bei Medienhäusern z.B. New York Times, Guardian und Der Spiegel. Weiterhin: SNCF, Deutsche Bahn, SBB, zahlreiche Universitäten und sogar ESRI. Selbstverständlich auch eine lange Liste von gewöhnlichen Internet-Providern. Zur Erinnerung: die Overpass API liegt eher im Maschinenraum und ist mehr technisch als nutzerfreundlich. Daher dürfte die amortisierte Reichweite der diversen Tile-Server noch weitaus höher liegen. Das passt sehr gut zu der Beobachtung, dass große Teile der öffentlichen Verwaltung in Deutschland damit experimentieren, OpenStreetMap in ihre Arbeitsabläufe zu integrieren.

Fazit: OpenStreetMap ist alles andere als klein. Es ist bereits der De-Facto-Standard für Geodaten. Und wenn es Wachstumsgrenzen für OpenStreetMap gibt, dann ist die Wichtigste davon die Größe der Menschheit.

Das heißt nicht, dass eine Mehrheit der Menschheit bereits OpenStreetMap nutzt. Geodaten kann man nicht essen, sie sind auch kein Medikament. Geodaten sind wichtig, aber nicht der Schwerpunkt der Welt. Die Statistik von oben sagt also: Wer sich für Geodaten interessiert, der kennt höchstwahrscheinlich OpenStreetMap.

Daher ist “irrelevant” ein abwegiges Adjektiv für OpenStreetMap. Blog posts, die beides zusammenzubringen versuchen, sind schlicht falsch. Das bedeutet nicht, sie seien böswillig. Aber es bedeutet, dass sie aus einem sehr ungewöhnlichen Umfeld der letzten 25.1 Prozent des Internets kommen. Daher gibt es keinerlei Veranlassung, irgendwelche obskuren und verworrenen Dokumente namens “CoC” in die Community einzuschmuggeln. Die Leute, die damit geworben werden sollen, wird es höchstwahrscheinlich gar nicht geben. Es wäre sehr ungewöhnlich, wenn potentielle neue Mapper mehr Bürokratie als Voraussetzung fordern.

Aber zurück zur Overpass API. Während des Wochenendes rund um den 1. Oktober hat es eine Lastspitze gegeben. Meistens kommen solche Lastspitzen von Entwicklern, die versuchen, unverhältnismäßige Mengen Last auf die API zu beaufschlagen. In diesem Fall hat sich aber herausgestellt, dass die Last über overpass-turbo.eu kommt - angesichts der Zielgruppe technisch versierter Nutzer ist das praktisch auszuschließen.

Es hat einige Tage gedauert, bis die Ergebnisse der Suchmaschinen Hilfe für eine Hypothese geliefert haben. overpass-turbo.eu ist in der Pokemon-Go-Gemeinde bekannt geworden. Die Prüfung dieser Hypothese hat zutage gefördert, dass an diesem Wochenende von etwa 30’000 verschiedenen IP-Adressen pro Tag auf die Overpass API zugegriffen worden ist - etwa das Doppelte der normalen Nachfrage. Die empfehlenden Seiten geben jedoch reichlich Attributierung von (und Werbung für) OpenStreetMap - eigentlich ist das genau die Art von Außendarstellung, die wir uns wünschen. Von daher ergäbe es keine Sinn, diese Art Abfragen zu sperren, und es ergäbe erst recht keinen Sinn, overpass-turbo.eu zu sperren.

Daher ist eine Erkenntnis des Wochenendes, dass ich mich um mehr Server-Kapazität bemühen sollte. Einen Teil des Kapazitätsgewinns werden wir über Software-Verbesserungen von Mmd und mir erreichen können. Aber vermutlich taugt die Overpass API als Aushängeschild für OpenStreetMap-Geodaten ab irgendwann in 2017 nur mit einem zweiten Server. Gerade Geodaten-ferne Nutzer werden vernüftige Antwortzeiten brauchen.

Version 0.7.53 glänzt vor allem mit weniger Bugs. Ein paar neue Features gibt es aber auch: * [!key] kann als einfachere Notitation für [key!~”.”] verwendet werden. * Die user-Anweisung kann mehrere Benutzer auf einmal per Komma-getrennter Liste entgegennehmen

Version 0.7.54 wird hoffentlich mit weniger zeitlichem Abstand und schon zum Jahresende fertig. Einige Features habe ich bereits entwickelt, andere sind im SotM-Vortrag (Video sollte folgen) skizziert. Es lohnt also, dranzubleiben. Und sich in der Zwischenzeit an der frohen Botschaft zu erfreuen, dass OpenStreetMap bereits der De-Facto-Standard für allgemeine Geodaten ist.

The number of the month: 74.9 percent

Posted by drolbr on 20 October 2016 in English (English)

The most important news is that version 0.7.53 is now live on the dev.overpass-api.de and overpass-api.de server. The Rambler server will follow in the next days.

I will give details on this further below. Also below I will explain how an incident with Pokemon Go shaked my mindset about quota policies.

Before this I will present the number of the month: 74.9 percent. From 74.9 percent of the total IPv4 /24 subnets of the entire world I have observed requests in the logfiles. Amongst some random IP block owners from the logfile: General Motors, Ford, Toyota, Daimler, BMW, Volkswagen. Media Outlets: New York Times, Guardian, Der Spiegel. Further starring: SNCF, Deutsche Bahn, SBB, numerous universities and even ESRI. Of course also long lists of telephone carriers. Remember that Overpass API is a quite deeply buried and highly technical service. It is almost sure that the popularity for the combined tile servers is even higher. This matches very good with the observation that half of the public administration in Germany is figuring out how to get OpenStreetMap in their workflow.

Punchline: OpenStreetMap is by no means small. It is the de-facto standard for general purpose geodata. And if there are limits to the growth of OpenStreetMap in sight, then these are most likley the size of mankind.

This does not mean that the majority of mankind is using OpenStreetMap. Please do not forget that you cannot eat geodata. Or substitute drugs. Geodata is in important field, but not the core of the world or the internet. The statistics from above say that whoever is involved in geodata is almost surely aware of OpenStreetMap.

Hence “irrelevant” is an adjective quite entirely unrelated to OpenStreetMap. Blog posts stating otherwise are simply wrong. This need not be a willful misinformation, but it may be an observation from a very unusal environment somewhere in the last 25.1 percent of the IPv4 space. Hence there is no need to have some obscure and complicated extra documents called “CoC” or so just to please unknown people that might not exist at all. Let aside that there is few to no precedence that extra bureaucracy pleases people.

But back to Overpass API. During the weekend around October 1st I have seen a spike in load. Such a spike is most of the time some developer trying to offload undue amounts of requests on the Overpass API. In this case it turns out that the only client responsible for a load spike is (overpass-turbo.eu)[http://overpass-turbo.eu] - due to the highly technical nature of the tool this is more than unlikely.

It has taken some days until the search engines have delivered the evidence what was going on: overpass-turbo.eu has got credits from the remaining Pokemon Go community. Testing against that hypothesis, I found that people have accessed from 30’000 different IP adresses per each day of the weekend on Overpass API - roughly twice the normal. However, there is plenty of credit for OpenStreetMap. From the logs I can observe that a lot of users come from developing countries. And from my personal environment I know that more than half of Pokemon-Go-players are female. Actually I would call this as exactly what we like to achieve with outreach. Hence, neither blocking these users constituting the spike nor blocking overpass-turbo.eu altogether would be an option that makes sense.

So a second result of this weekend is that I should ask rather soon for more server capacity. The improvements by Mmd and me may help. But a second server at some point in 2017 would probably help to attract people. Maybe even people that do not yet have a relation to geodata.

Version 0.7.53 excels rather at having fewer bugs than at having new features. There are nonetheless some improvements: * [!key] can be used as shortcut for [key!~”.”] * the user statement accepts multiple users as a comma separated list

Version 0.7.54 is hopefully ready at the end of the year. I have already started to develop some features. Others have been sketched in my SotM talk (video tba). So please stay tuned. And in the meantime, please spread the message that OpenStreetMap is already the standard choice for general purpose geodata.