malenki's diary

Recent diary entries

Handling recorded GPX data from Garmin devices

Posted by malenki on 23 December 2013 in English (English)

Mirroring my verbose answer from the help-platform that some more people may have benefit from it.


  • No, you cannot set up newer Garmin devices to write just one gpx file.
  • If you want just one file to upload: zip it.
  • For maximum verbosity of the log files, either set the log interval to secondly or the distance to 0.00

Old Garmin devices with micro sd slots were designed to write one gpx logfile per day. This file contained the segments which resulted from switching the device off and on or (iirc) when the device wrote it's buffer of 9.999 waypoints to disk.

The newer devices as of ~2010(afaik) and later save the gpx log to their internal memory. The device can set to "automatically save" it "daily", "weekly" or "when full" but I see no sense in this setting since it only names the files after day or week and creates a lot of them. Additionally the created files also contain several way segments.

I manage the gpx files this way (the device being connected to the computer with mini USB cable):
Samat K Jain wrote a gpx splitter which extracts the single way segments from the gpx files created by the Garmin device.
I wrote another small script which copies the gpx files from the Garmin device (both from GARMIN/GPX/Archive and GARMIN/GPX/Current), splits them using the splitter script and saves them to ./. The waypoint files get copied, too.

Reasoning to split the files in even smaller chunks: A gpx file named 2013-12-20 12.54.09.gpx is named after the date it got saved. It can contain way segments from other days or even weeks depending on how often the device is used. The splitter script gives each way segment an name like 2013-10-20T14:31:48Z.gpx
Another reason to use the splitter:
The latest collected data is stored in GARMIN/GPX/Current/Current.gpx. When I copy this file to my computer and do not reset the GPX log buffer of the Garmin next time I'd copy the Current.gpx I would have two files with identical, non-descriptive names and partly identical content. Using the splitter I avoid this.
One more advantage of having the way segments separately: having files of 1-2kbyte size you can easily delete them because files of this size usually contain no useful data. (YMMV)

GPX data I want to upload to OSM I mostly can define by the date, so I just run
tar -caf hike_november.tar.gz 2013-10-2[0-5]*gpx
to create one file I can upload. Yes, OSM accepts zip and gz files.

Another way to have just one gpx file is to append the gpx files you want using gpsbabel. I wrote a small script for this, too.

Thoughts on the Task Manager HOTOSM uses

Posted by malenki on 11 November 2013 in English (English)

This is more a list of issues I don't like on that tool, but whatever:
* It isn't possible to comment a task without marking it in some way. E.g. it would be helpful if others already experienced lacking Aerial Imagery.
* When you take a task which is marked as "done" you can either validate, invalidate or unlock it. No possibility to mark it as "done" again, when you just added some more stuff. Chose "unlock" then
* To mark a task as undone you have to click "validate" and then "invalidate". NOT straightforward.
* When you mark a task either way (done, valid, invalid) there will always be an comment with your nick on it - empty, if you didn't enter anything
* I'd welcome a more homogeneous interface. Why does "unlock" have to be a link not a button? As it is now you oversee it easily.

cleanup monitoring_station/measurement_station

Posted by malenki on 7 November 2013 in English (English)

Maybe mentioning it here I will reach some people who still haven't read about it:
After 3,5 years coexistence of the two tags mentioned in the subject it is time for a cleanup.

At ¹ you find the latest, revised proposal. After 3,5 years there is no need for RFC, the voting is open.

To complete the cleanup there is a mechanical edit needed to change objects tagged with measurement_station to monitoring_station. Details for this edit you find at ².
Objections and opinions you can voice at the respectively talk pages, at the the mailing list (announcement) or here.


lulcat 4 Zferik!

Posted by malenki on 1 November 2013 in English (English)

Maybe there are already people to whom the OSM lolcat of awezumnez is unknown.

Today reading Zverik's post about the great lib he wrote the cat sprang to my mind and I had to donate it to him:
Lolcat of orsumness

Location: Gavan, округ Гавань, Василеостровский район, Saint Petersburg, Northwestern Federal District, 190000, Russian Federation


Posted by malenki on 29 October 2013 in German (Deutsch)

Interessant, auf wieviel Arten man in der Straßenlistenauswertung als fehlend bemängelte Straßen korrigieren kann:
* den Straßenname (ggf inklusive Straße) nach Überprüfung vor Ort neu eintragen, da noch nicht gemappt
* eine gelöschte Straße mit dem Namen wiederherstellen (zu finden über negative neue Straßen hier), - Beispiel
* Schreibfehler in OSM nach Überprüfung vor Ort korrigieren - Beispiel
* Schreibfehler in der Straßenliste nach Überprüfung vor Ort und der aktuellen Straßenliste korrigieren
* eine offenbar falsch platzierte Grenze verschieben - Beispiel

Mal sehen, was sich noch finden lässt. :)

HOT: progress made and nice-to-haves

Posted by malenki on 9 October 2013 in English (English)

A text about HOT triggered by Harry Woods pre-SOTM report

The times I contributed to OSM using the HOT Task Manager I missed detailed instructions. As far as I understood HOT also instructs people who haven't mapped ever before to do mapping based on Aerial Imagery for HOT. What I missed (and thus would like to see):

  • explicit instructions what to map:
    ** only ways or
    ** only ways accessible by motor vehicles with four wheels (or more)
    ** also ways for pedestrians
    ** waterbodies (or not necessarily)
    ** buildings (or not necessarily)

For every feature wanted on the map there should be at least one example with a screenshot of the feature from Aerial Imagery and how to map it in OSM (in the editor, "select 'Highway', class 'Unclassified') and detailed description of the tags in usage: highway=unclassified; source=XYZ (when required)

Some tasks in 2012 didn't even have a description, some had with the things to map placed at "workflow".
The latest task mentions at "workflow" only what changeset comment to use - and only there. The objects to map for different tasks are collected on the Sudan Floods coordination page - and only there.
This hints for the workflow should be collected on one single place.

Since HOT tasks often are located in places the average mapper™ is not too well known to I'd also welcome

  • explicit instructions how to map features:

For example a lot of school buildings in Africa are just one or two buildings with metal roofs. If I'd see them in Aerial Imagery in southern Europe I'd surely identify them as stables. So, when the mapper never has been to Africa he should be helped to be able to identify and classify objects he is supposed to map. Though I think of myself as an mapper not too inexperienced I had some hard times mapping for HOT. Often I adapted what the majority of other mappers had created so far hoping that they did well and partly unified what a minority had mapped in a different way. Sure, the requests above require some effort from HOT but (IMHO) would make the mappers more confident about how and what to map.

Suggestion: At the Task Manager one should not only be able to mark a task as done or not done. There should be more levels like:

  • infrastructure missing
  • buildings missing
    If one wants to use both marks, well, use a grid of two colors or something alike. :)

Put a link to the IRC near the instructions like it is done done at the Sudan floods wiki page mentioned above. Since the Tasks are often done within a week or two, asking questions and wait for an answer in a forum would be consuming too much time.

One thing which got enhanced since I last mapped for HOT a lot was the possibility to add notes to the task marked as (in)complete. Back the one mapper could not see what notes other mappers added (iirc) - now this is possible.

Another thing: One time there was really bad imagery (very low contrast in Uvira) we had to work on. In December 2012 User Povaddict forked JOSM and added the possibility to enhance Bing Aerial Imagery by using two sliders via the layers context menu - a really awesome feature! Unluckily he didn't have the time to write clean code and thus this feature isn't available in JOSM... The binary you can find at my site since the original hosting doesn't exist anymore.

PS: As answer to Pieren's question an image of three combined screenshots from Uvira to show what I mean with "enhancing imagery": enhancing imagery in JOSM So far I haven't found this feature in the latest releases of JOSM. Please point me to it if i just missed it.

Importing collected waypoints II or: another CSV2OSM-script

Posted by malenki on 12 September 2013 in English (English)

(This is the continuation of Importing collected waypoints I)

Now you have a complete list with lat;lon;key;value (and maybe some more key;values).
Next step: convert the csv file to osm data. For this writeup I just wrote a small script to avoid my even more ugly oneliners and to have my efforts saved to be reused the next time I need this functionality.
so run
$ appended_lower_sort.csv > output.osm

Better save then sorry, so create a backup of the file created: $ cp output.osm output.osm.bckp

Open this file with JOSM - the easiest way is also the bash:
$ josm output.osm

Now tackle the data region by region. Do it like this:

  • copy a handful of POI
  • create a new datalayer
  • paste the POI
  • download the data for that region
  • review the POI: adjust them using aerial imagery or GPS data, check for already existing objects and so on
  • upload
  • delete the active datalayer
  • delete the still marked POI from the original datalayer you copied them from
  • press ctrl-s to save your progress of wading through the data of output.osm

Go on until no data in the output.osm file is left and enjoy yourself. :)

Location: SH81, Ksamil, Sarandë, Vlore, Albania

Importing collected waypoints I

Posted by malenki on 11 September 2013 in English (English)

(This is mostly a note2self)

  • Merge all files collected containing waypoints using gpsbabel:
    $ gpxappend Waypoints*.gpx
  • Convert the resulting file to csv:
    $ 2csv appended.gpx
  • sort the resulting file for the names of the Waypoints (and lowercase the names):
    (this helps when you edit the file to work on similar points with c&p)
    $ less appended.csv | tr [:upper:] [:lower:]| awk -F ";" '{print $3";"$1";"$2}'| sort | awk -F ";" '{print $2";"$3";"$1}' > appended_lower_sort.csv
  • edit the csv file to your liking
    40.50591;20.22520;;h20 -> 40.50591;20.22520;amenity;drinking_water
    40.07476;20.13942;;hotel relax > 40.07476;20.13942;tourism;hotel;name;Hotel Relax
    I prefer to do this editing with libreoffice.

(When I am done with the editing, part II will follow)

Location: Arkitekt Kasemi, Çorovodë, Skrapar, Berat, Albania

mapping inverted

Posted by malenki on 1 August 2013 in English (English)

Lately I did "mapping inverted": I first mapped highway= (mostly paths) and then had a look if they do really exist. Luckily they were all there - example. Else I would have had a problem - since this were my holidays this year:
I traced a lot of paths using Bing Aerial Imagery and JOSM, put maps with them on my Garmin device and thus hiked some nice back country parts of southern Albania. There I met some really charming people (it is difficult to meet another kind of persons in Albania) and saw great landscapes.

Some numbers: Altogether I walked about 340 km; alone in the old town of Gjirokastra about 70 km to collect most of the street names¹.
I marked ~550 POI at the GPS device (example: "L Taci" means: on the left side amenity=fuel operator=Taci Oil)
I made 6022 pictures, of which 2701 explicitly for OSM. A lot of the others are useful for OSM, too.
416,773 points are in the GPS data uploaded to OSM and they cover
3889,4 km travelled.
~5 kg of superfluous weight lost.

Some of the pictures you can find on my homepage.

¹ whose plates were mounted after I visited it two years ago. Back then there you couldn't nearly find any street name sign. For less important towns or parts of them and villages in general this is still the situation in Albania.

Location: Ura e Babos, Petran, Përmet, Gjirokaster, Albania

Sign of life

Posted by malenki on 20 July 2013 in English (English)
  • from the south of Albania. Of course I am here only for mapping purposes. :-)
Location: Lagjia e Re, Përmet, Gjirokaster, Albania

SRTM contourlines for Garmin, my first

Posted by malenki on 6 July 2013 in English (English)

During preparing my holidays for Albania (Shqipëria) I found a nice mini howto for creating contourlines. This is just a short writeup for mostly note2self and reinforcing the memory of it for the next time. :)

First I fetched the SRTM Data by a list I created from the files visible here: - the list looks like this:
Here N*xy* and E*xy* show the lat/lon of the region which the contained SRTM data covers.

for i in $(less list); do wget"$i"; done

Then I converted them to OSM data using the acommodated commandline from the howto:

[phyghtmap][2] -j 3 --source=view1,srtm1,view3,srtm3 --start-node-id=1 --start-way-id=1 --max-nodes-per-tile=0 --max-nodes-per-way=250 --gzip=9 -s 10 -c 100,50 -a 19:39:21:41 -o SRTM-SQ

I just changed to -j 3 for some parallel processing and the -a 19:39:21:41 which defines the bbox -a LEFT:DOWN:RIGHT:UP.

Running mkgmap on the resulting OSM file gave an error - I found out one has to split that OSM file beforehand:

java -Xmx10000m -jar ~/bin/[splitter.jar][3] SRTM-SQ.osm.gz > splitter.log

Then I ran mkgmap on the split files:

java -jar ~/bin/[mkgmap.jar][4] --transparent --draw-priority=100 --gmapsupp 6324000*

Amongst others a gmapsupp.img is created - the file of my desire.

renaming it mv gmapsupp.img srtm_sq.img
and changing it's name [gmt][5] -wm "srtm sq" srtm_sq.img
is just a minor tuning.
A short test shows the file works - yay!

Thanks to all the people creating that nice lot of OSS and some documentation!

PS: As (not only I) said: MarkDown sucks!
I used the quite handy editor from, but the code he creates is not fully understood by this blog platform.
Here are the links - not integrated but by footnotes..:
* [1]:
* [2]:
* [3]:
* [4]:
* [5]:

Location: SH72, Çepan, Skrapar, Berat, Albania


Posted by malenki on 17 June 2013 in English (English)

Today I exceeded the count of 6000 changesets.


Posted by malenki on 17 June 2013 in German (Deutsch)

Heute habe ich die Marke von 6000 changesets überschritten. :)

JOSM bugs and forum entries

Posted by malenki on 7 June 2013 in English (English)

small side note:
Most recently I realised I have more entris in the forum (mostly german, 140) as reported bugs in the JOSM tracker (111)
- although I don't like forums that much... ;)

JOSM-Bugs und Foreneinträge

Posted by malenki on 7 June 2013 in German (Deutsch)

kleine Randnotiz:
Seit kurzem habe ich doch mehr Beiträge im Forum (140) als insgesamt erstellte Bugs im JOSM-Tracker (111).
Und das, obwohl ich Foren nicht gerade mag... ;)

New conclusion on average tracks

Posted by malenki on 28 April 2013 in English (English)

Second thoughts on the R script average tracks:
Although the algorithm partly doesn't give the most satisfying output I used the script for some long ways which I was to lazy to draw all the way by hand.
One use case were long highways without aerial imagery, several uploaded logfiles and a very rough mapping so far.
Another was a river which banks were mapped but not the central waterway. Locally I merged and split the riverbanks to get a way each for the left and the right bank and exported them as GPX file from JOSM to be used for the calculation.

In both cases I checked the result closely and reworked it slightly before uploading.

One of the highways, for more look at the changeset.
The part of the river Semani I finished

OSM-Stand auf den Chemnitzer Linuxtagen 2013

Posted by malenki on 25 March 2013 in German (Deutsch)

Da vor zwei Wochen der OSM-Stand für die Abenteuertage zu organisieren war, musste ich für den Stand bei den Linuxtagen nur noch wenig vorbereiten.

Im Vorlauf hatte sich André Riedel dankenswerterweise um das Pflichtplakat gekümmert. Er stellte auch noch kurzfristig den Chemnitzer Stadtplan vom letzten Jahr zur Verfügung, da der Drucker der Geofabrik offenbar einen größeren Defekt hatte und wir deshalb keinen aktuellen Stadtplan zur Verfügung hatten.

Am Stand gab es wieder viele Anfragen. Zu Stoßzeiten konnten wir leider nicht alle Besucher gleichzeitig bedienen, zwischendrin gab es teilweise etwas Leerlauf. OSM-Karten für Garmin-Geräte habe ich wohl fünf Stück kopiert. 25 Anleitungen für das Installieren von OSM-Karten auf Garmin-Geräten wurden mitgenommen. Natürlich war auch OSM für Smartphones gefragt, hier konnte eine via QR-Code erreichbare minimalistische Wiki-Unterseite weiterhelfen. Einige Besucher fragten nach Möglichkeiten, auf nächsten Reisen nach Kuba und Afrika Daten für OSM zu sammeln. Es wurden auch wieder etliche Daten mit Hilfe von Besuchern korrigiert oder neu eingetragen, Anleitung zum Umgang mit JOSM gegeben oder überhaupt ein grober Überblick, was OSM ist, hat, macht und kann.

Die Linuxtage waren wieder sehr gut organisiert, alle Helfer freundlich und hilfsbereit - was mehr kann man wünschen? Sogar der Extrawunsch nach Nicknames auf unseren Ausstellerausweisen wurde berücksichtigt. Obwohl ich aufmerksam nach weiteren Nickname-Trägern Ausschau hielt, konnte ich keine entdecken. Waren wir wirklich die einzigen?

Dank geht an Fuss-im-Ohr für die Unterstützung in Hardwaresachen, an Tim Alder, Rockus und strohi (der trotz einiger Beschwerden anreiste) für die Unterstützung am Stand und beim Auf- und Abbau sowie an André Riedel und Jens Pönisch für die Hilfe bei der Planung und Vorbereitung.

OSM-Stand auf den Chemnitzer Linuxtagen 2013

Location: Bernsdorf, Chemnitz, Sachsen, Deutschland, Europäische Union

OSM-Stand und GPS-Workshop auf den 4. Abenteuertagen in Glauchau

Posted by malenki on 4 March 2013 in German (Deutsch)

Im November letzten Jahres fragte ich nach Unterstützung für einen OSM-Stand und Workshop. Die User brust59 und Rockus meldeten sich.

Letztes Wochenende war es soweit.
Am Freitag Abend bauten wir den Stand bei den 4. Abenteuertagen auf. Da das Wetter am Samstag sehr schön war und wir einen Platz an der Sonne hatten, sah der Stand nach leichter Überarbeitung so aus:
Der OpenStreetMap-Stand bei den 4. Abenteuertagen in Glauchau

Für die Spätarbeiter gab es zum Feierabend eine Feuershow:
Feuershow bei den Vierten Abenteuertagen zur Samstag Nacht

Die Nacht war nicht ganz so heiß und der Gaskocher am Morgen eingefroren...
Schlafplatz bei den vierten Abenteuertagen in Glauchau

Am Sonntag gab es neben der Standbetreuung den von Rockus vorbereiteten GPS-Workshop (in Kürze hier vorhanden ) für Einsteiger. Nachdem das Belegfoto für den Workshop gemacht war, füllten weitere Besucher die übrigen Stühle - etwa dreißig Personen dürften es gewesen sein:
Der GPS-Workshop bei den Vierten Abenteuertagen in Glauchau

Da wir am Stand gut beschäftigt waren, hatte ich kaum Gelegenheit, mich groß umzuschauen. Dieses Foto der großen Halle habe ich kurz vor der Heimfahrt gemacht:
Verschiedene Aussteller und ein Segelflugzeug bei den Vierten Abenteuertagen in Glauchau.

*Etlichen Besuchern konnten wir OSM in seiner Vielfalt näher bringen oder erstmals erklären.
*Zwei konnten wir mit Kartenmaterial für Garmin-Geräte versehen. Einer hatte bei kommerziellen Anbietern seiner Aussage zufolge vergeblich nach Kartenmaterial für die Philippinen geforscht.
*Von der Anleitung zur Installation kostenloser Garmin-Karten wurden 25 Stück mitgenommen; die Flyer habe ich nicht gezählt.
*Mit der Hilfe einiger Besucher wurde OSM korrigiert und ergänzt.
*Den Besuchern des Workshops konnte ich einiges Neues vermitteln, verschiedene Fragen beantworten - und Klagen - bis auf meine Lautstärke - gab es auch keine. (;

*an Rockus für die Vorbereitung des Workshops,
*an brust59 und Rockus für das geopferte Wochenende, die Unterstützung und die angenehme Gesellschaft - die hoffentlich allseitig war.
*an den GPS-Verleih von für die GPS-Geräte und den Nervenkitzel bis zur letzten Sekunde
*an Frederik Ramm von der Geofabrik für die wieder ziemlich kurzfristig angefragte Glauchau-Karte im A0-Format
*und natürlich an Gil und Peer von Grenzenlos Expeditionen für die Möglichkeit, OSM bei den Abenteuertagen zu präsentieren! Nicht zu vergessen den ungeplanten Leih-Beamer für die gesamte Dauer der Veranstaltung und die Fürsorge. :)
*an meine Eltern für den geräumigen Leihwagen

Location: Gesau, Glauchau, Landkreis Zwickau, Sachsen, Deutschland, Europäische Union

Markdown sucks!

Posted by malenki on 17 February 2013 in English (English)

Normally this would have been an entry about
Workflow for fixing Wikipedia entries
But since there seems to be no way to display complex xml code in this blogs based on ugly Markdown I have to post that on my site:

(edit:added "complex" and removed an unnecessary line)

Kriterien zur Anschaffung eines GPS-Gerätes

Posted by malenki on 2 December 2012 in German (Deutsch)

Meine persönlichen Kriterien für den Kauf eines (Outdoor)-GPS-Gerätes:

  • möglichst preiswert.

  • keine proprietäre Energieversorgung
    Wenn der Akku leer ist, sind Standardzellen - in der Regel AA - leicht nachzukaufen. Bei proprietären oder gar fest eingebauten Akkus muss man Reserveakkus und zusätzliche Ladeelektronik vorhalten.

  • möglichst lange Laufzeit
    Garmin legt ~18 Stunden mit zwei AA-Akkus vor

  • Ein vorhandener Display sollte bei Tageslicht ohne Beleuchtung ablesbar sein.
    Outdoor-Geräte haben meist transflektive Displays; das einfallende Licht wird sinnvoll genutzt.

  • Bei vorhandenem Display: Wasserdichtigkeit
    Was nützt ein GPS-Gerät mit Anzeige, wenn es beim nächsten Regenschauer in einer wasserdichten Tasche verstaut werden muss? Ganz abgesehen von spontanen Kajaktouren oder Furten, die man queren muss, wobei man nicht zwangsläufig trocken bleibt.

  • große Log-Kapazität.
    Wenn ich eine größere Tour mache, möchte ich die im Ganzen und möglichst detailliert loggen. Ab und zu ein Internetcafe aufzusuchen oder gar selbst einen transportablen Computer mitzuführen, um die Logs auszulesen ist für mich keine Alternative.

  • nice to have: Speichern des Logs auf ener Speicherkarte.
    Macht unabhängig von potentiellen Defekten des Geräts, die ein Auslesen des Logs verhindern. Garmin hat dieses Feature bei neueren Geräten leider (größtenteils?) abgeschafft.

  • Wegpunkte blind setzbar
    Diese Funktion ist sehr hilfreich, wenn man im Vorbeifahren schnell einen Punkt setzen möchte beziehungsweise wenn man beim Mappen fpür OpenStreetMap nur POI einer Kategorie sammelt.Einfach 1-2mal den selben Knopf drücken, fertig. (GPSMap 60, 62, 78)

  • bei Kartenfähigkeit: Verfügbarkeit von OpenStreetMap-Karten
    Damit meine ich nicht nur, dass der Hersteller des Gerätes kostenfrei OSM-Karten zur Verfügung stellen soll - es gibt manche, die vierteljährliche Updates für bestimmte Regionen liefern oder versprechen.
    Der Nutzer soll Karten für das Gerät aus OSM-Daten selbst bauen können. So kann er selbst bestimmen, die Karte welcher Region er ins Gerät lädt und wie aktuell die Daten sind.

Die bis dato einzigen kartenfähigen Geräte, die diesen Kriterien entsprechen sind von Garmin.
Leider verschlechtert dieser Hersteller bei neueren Geräten den Funktionsumfang und ist teilweise über Jahre nicht in der Lage, Fehler in der Firmware zu beheben (siehe).
Inzwischen gibt es mehrere Hersteller wasserdichter, mit OSM-Karten versehener Outdoorgeräte. Es ist zu hoffen, dass engagierte Hacker oder gar die Hersteller selbst Toolchains zum Umwandeln von OSM-Daten ins jeweilige Kartenformat der Allgemeinheit zur Verfügung stellen.

(Mirror von hier)

Older Entries | Newer Entries