Blog

Geofabrik has been providing the OSM community with cut-down data extracts for various continents, countries, and smaller administrative divisions for over two years now. Our downloads at download.geofabrik.de form the basis of many community projects, and we’re happy to make working with OSM data easier for so many people.

Today we’re launching experimental downloads in a new binary format. The new “protobuf binary format” (.osm.pbf) is 30% smaller than the bzip2-compressed OSM XML, and it can be processed or extracted much faster than bzip2 files. Also, while we will continue supporting the bzip2 files for a while, we hope that we can ultimately free up some resources by dropping bz2 support, and use these resources to produce an even wider set of daily updated OSM extracts.

The protobuf binary format was developed by Scott Crosby and presented to the OSM community in April this year (wiki article with details). As the name implies, it relies on Google’s “Protocol Buffers” for its internal data representation. The format is supported by Osmosis starting with version 0.37; .osm.pbf files can be read directly by Osmosis, or converted to plain XML OSM first using a command like

osmosis --read-pbf myfile.osm.pbf --write-xml myfile.osm

The above command will run significantly faster than a bz2 decompression, and the .osm.pbf files made available by Geofabrik are 100% lossless. The format offers further compression options by stripping of metadata or minimally reducing precision, but Geofabrik extracts will remain lossless.

Not only are .osm.pbf smaller and faster to process than their bz2 counterparts; they are also likely to appear faster on the Geofabrik download site than the regular .osm.bz2 files. Everyone is encouraged to give them a try.

(Edit on 2010-11-16: Initially the command line options to use were called “read-bin” and “write-bin”, but later releases of Osmosis now use “read-pbf” and “write-pbf”.)

OpenStreetMap WMS servers are hard to come by – because they are hard to operate. Running a WMS server always means a trade-off. You can have it render from vector data which makes it slow, or render from pre-computed raster tiles which makes intermediate zoom levels and reprojection ugly. You can use clever preprocessing but then you’re unlikely to be able to trace OSM updates quickly, or you opt for high-frequency updates but that again causes more load on your server. You can use Mapnik but the available WMS servers for that are not so good, or you can use the established UMN Map Server or Geoserver which have excellent WMS support but don’t achieve what has become the “standard” look and feel for OSM maps.

Geofabrik WMS displayed in Quantum GIS.

We think we have struck a nice balance between all these goals with our WMS server, which is available to customers immediately starting from EUR 35 per month. (We regret that we cannot make this available for free due to the cost involved for us, but will consider granting free access for OSM community projects.) The server runs from a continuously updated OSM database covering the whole world, and offers a clean Mapnik vector-based rendering in all projections and sizes. More on our product page.

At the same time, we’re making the software that runs our WMS – a special module for the Apache web server that talks directly to Mapnik – available as Open Source under the GPL license, which should allow anyone to install and run their own WMS server. There’s more on the OSM wiki.

Wir sind zurück von der State of the Map 2010, der internationalen OpenStreetMap-Konferenz, die dieses Jahr in Girona in Spanien stattfand.

Insgesamt lässt sich beobachten, dass das Interesse von Unternehmen an der Konferenz wächst; es wurden dieses Mal grob doppelt so viel Sponsorengelder eingesammelt wie letztes Mal (verbunden allerdings auch mit grob doppelt so hohen Kosten für die Konferenz), und viele “beruflich” OSM-Interessierte waren auch das ganze Wochenende da.

Dennoch schien ein großer Teil der Anwesenden eher technisch interessiert – kaum jemand im Publikum, der sich nicht schon einmal wenigstens in irgendeinen Aspekt von OSM tiefer eingearbeitet oder sogar Software geschrieben hatte. So war dann auch das Vortragsprogramm fast weniger spannend als die zahlreichen Gespräche mit Bastlern aus der ganzen Welt, die in den (spanientypisch sehr ausgedehnten) Kaffee- und Mittagspausen oder auch im Foyer vor den Vortagssälen geführt wurden.

Auf besonderes Interesse stiessen am “Business Day”, dem Freitag, die Ankündigungen von Microsoft (bing maps soll bald einen wählbaren OSM-Layer bekommen) und Aol (Mapquest will vollständig auf OSM umstellen, für Karten und Routing, und im kommenden Jahr eine Million US-Dollar bereitstellen, um das Projekt vorallem in den USA voranzubringen).

Von der Geofabrik gab es einen Vortrag über Geschwindigkeitsoptimierung bei osm2pgsql/Mapnik-basiertem Tile-Rendering (Folien hier) sowie Kurzvorstellungen der Tirex-Software und der zum Wochenende von Dennis Luxen am KIT (Karlsruher Institut für Technologie, ehemals Universität Karlsruhe) veröffentlichten schnellen Routing-Engine für OSM-Daten (Demo-Seite bei der Geofabrik, Ankündigung auf der Mailingliste.)

Als Mitglied der “Data Working Group” bei OpenStreetMap stellte Frederik ausserdem kurz die Arbeit in diesem Gremium vor, das sich mit der Bekämpfung von Vandalismus und Urheberrechtsverletzungen bei OpenStreetMap beschäftigt.

Am Freitag abend gewann die Geofabrik überraschend einen kleinen Preis für den “Best Elevator Pitch” – fünf kleinere OSM-Firmen waren aufgefordert, in einer Minute ihr Geschäftsmodell zu umreißen und zu erklären, was man macht, wer die Kunden sind, was man diesen Kunden bietet und warum sie zu einem kommen sollen. Frederik sagte für die Geofabrik in etwa folgendes:

“Unser Geschäftsmodell ist einfach, altmodisch, und langweilig: Sie zahlen uns Geld, und dafür arbeiten wir für Sie. Wir verkaufen unseren Kunden keine Software oder Leistungen, die sie nicht auch selber mit freier Software und anhand von Wiki-Anleitungen hinbekommen – wir verkaufen einfach Zeitersparnis. Die Kunden beauftragen uns, wenn sie ein Problem lieber von erfahrenen Experten lösen lassen möchten, anstatt selbst ein mehrfaches der Zeit zu investieren. Wir verwenden die Hälfte unserer Zeit darauf, mit der und für die OSM-Community zu arbeiten – dadurch weiss die Community auch, was wir können, und schickt potentielle Kunden in unsere Richtung.”

Das Publikum fand diese Beschreibung erfrischend einfach, und die Geofabrik gewann mit Abstand (“by a country mile”, wie Steven Feldman, Moderator des Wettbewerbs, sagte).

Den Abschluss der Veranstaltung bildete am Sonntag wieder, wie letztes Jahr in Amsterdam, eine langwierige Versteigerung sämtlicher übriggebliebenen Veranstaltungsgegenstände – Poster, Banner, Taschen, sogar einige Hardware und Weinflaschen wurden an den Mann oder an die Frau gebracht.

Wir hatten vier Vorab-Exemplare unseres demnächst auf englisch erscheinenden OSM-Buches dabei, die uns förmlich aus der Hand gerissen wurden (“wann kann man das kaufen? wo?…”) – nun wird es höchste Zeit, das endlich in den Handel zu bringen!

One of the work horses behind any OpenStreetMap web map is the tile server – people either use the existing openstreetmap.org server or set up their own. The software used to run the openstreetmap.org tile server is open source, but it proved insufficient for a sophisticated tile server installation we recently did for one of our clients. This led to the development of an advanced queuing and tile rendering system we named Tirex.

The client for whom we developed Tirex, Enaikoon GmbH in Berlin, is in the telematics business. They are OSM and Open Source friendly and allowed us to bundle the whole thing into a GPL release that is likely to benefit other users of OSM data. We have uploaded the full source code and documentation to the OpenStreetMap SVN. Details can be found on the OpenStreetMap Wiki.

After the recent earthquake in Haiti, OpenStreetMap contributors around the world started to do what they could to improve mapping there, tracing over satellite imagery made available by GeoEye and others. Geofabrik takes part in this effort by providing a special download server that has OSM data extracts, shape files, and Garmin maps created from OSM data, all updated every five minutes in order to put mappers’ work to maximum use. We also have very large PNG files rendered every hour, and a collection of PNG map snapshots that document how mapping has progressed:

 
Left, OpenStreetMap map of Port-au-Prince, 1st January, 2010. Right, same map, 17th January.

Read more about the work and results of the Humanitarian OpenStreetMap Team for Haiti.

Tell us if there is something else we can do.