RSS Feed icon

Blog

Geofabrik Releases Tile Server Code

8.03.2010 | Frederik Ramm

One of the work horses behind any OpenStreetMap web map is the tile server – people either use the existing openstreetmap.org server or set up their own. The software used to run the openstreetmap.org tile server is open source, but it proved insufficient for a sophisticated tile server installation we recently did for one of our clients. This led to the development of an advanced queuing and tile rendering system we named Tirex.

The client for whom we developed Tirex, Enaikoon GmbH in Berlin, is in the telematics business. They are OSM and Open Source friendly and allowed us to bundle the whole thing into a GPL release that is likely to benefit other users of OSM data. We have uploaded the full source code and documentation to the OpenStreetMap SVN. Details can be found on the OpenStreetMap Wiki.

Haiti Maps and Data

18.01.2010 | Frederik Ramm

After the recent earthquake in Haiti, OpenStreetMap contributors around the world started to do what they could to improve mapping there, tracing over satellite imagery made available by GeoEye and others. Geofabrik takes part in this effort by providing a special download server that has OSM data extracts, shape files, and Garmin maps created from OSM data, all updated every five minutes in order to put mappers’ work to maximum use. We also have very large PNG files rendered every hour, and a collection of PNG map snapshots that document how mapping has progressed:

 
Left, OpenStreetMap map of Port-au-Prince, 1st January, 2010. Right, same map, 17th January.

Read more about the work and results of the Humanitarian OpenStreetMap Team for Haiti.

Tell us if there is something else we can do.

OSM Inspector Reloaded & Worldwide

1.12.2009 | Frederik Ramm

European OSM power users are already well aware of the various error checking and data analysis tools we have bundled into our OSM Inspector web application – among others, a geometry view that shows self-intersecting ways, very long ways, or very long distances between nodes in a way, and a tagging view that highlights all sorts of strange, or potentially misspelled, tags as well as anything tagged FIXME.

There’s now an additional places view showing a hierarchy of settlements and their population values.

We have been very busy improving our OSM data processing capabilities, and implementing an architecture that provides us with nightly builds of all sorts of full-planet OSM derivates. Consequently, as of today, the views mentioned above are available world-wide, and updated daily. (The remaining Europe-only layers will also be expanded to cover the whole planet – time permitting –, plus we’re working on a super cool additional multipolygon debug view to be launched RSN.)

All OSM Inspector layers have true vector data (for example, if there is a problem on a way, they will draw the whole way and pinpoint the problem). They can generate lists in addition to the map display. Direct links to JOSM and Potlatch are provided, and anyone can extract data from the WMS or WFS service to display or process in their own applications.

We have also improved the speed and usability of some of the layers, provided enhanced documentation on the OSM Inspector wiki page, (including sections detailing how you can use the OSMI layers to fix problems), and fixed some bugs.

On request of the Netherlands community, we have added a special layer for the Netherlands only that shows where work has been done since the AND import, and where things have not been touched since then.

Try it out, and tell us what you think! (Oh, and do fix some OSM bugs along the way!)

Bericht von der State of the Map 2009

14.07.2009 | Frederik Ramm

Am Sonntag ging in Amsterdam die diesjährige “State of the Map” zu Ende, die jährliche internationale OpenStreetMap-Konferenz. Über 200 Teilnehmer waren nach Holland gereist, um sich insgesamt über 70 Vorträge anzuhören und nebenher natürlich zu “networken” und sich abends bei einem Bier oder anderen Genussmitteln zu unterhalten.

Die Konferenz war aufgeteilt in einen “Pro Users Day” am Freitag und die Community-Konferenz am Samstag/Sonntag, allerdings war die Trennung nicht besonders strikt, und an allen drei Tagen kamen sowohl Mapper als auch gewerbliche OSM-Nutzer zu Wort. Wir selbst (Jochen und Frederik) haben insgesamt 6 Vorträge gehalten und uns ansonsten bemüht, nicht allzuviel zu verpassen. Trotzdem konnten wir nicht alles sehen, und der nun folgende Bericht enthält nur, was wir bemerkenswert fanden.

Sehr interessant war der Vortrag von Muki Haklay vom University College London über die Qualität von OSM in Großbritannien. Der Vergleich mit dem leicht generalisierten Ordnance Survey-Datensatz “Meridian 2″ und der nicht generalisierten “Master Map” zeigte, dass die Abweichungen zwischen OSM und der “Master Map” geringer sind als die zwischen OSM und “Meridian 2″, und OSM daher deutlich besser ist als das preiswertere der beiden OS-Produkte. Zugleich stellte Haklay aber auch fest, dass abseits der Städte oft nur sehr wenige Mapper sich um einen Bereich kümmern, und auch die innerstädtische Qualität in bestimmten Gegenden deutlich schlechter ist als in anderen. Es wäre spannend, einige von Haklays Analysen automatisiert regelmäßig stattfinden zu lassen.

Qualität war überhaupt ein wichtiges Thema auf der SOTM; auch Jochen referierte darüber, und Steven Feldman untersuchte, ob das mit OSM so weitergehen kann, oder ob wir uns irgendwann verheddern, weil niemand mehr Daten aktualisiert. Er kam zu dem Fazit, dass die Faktoren, die die Mapper motivieren, dafür sorgen werden, dass OSM durchaus nachhaltig ist – also Entwarnung in dieser Frage.

Der geplante Lizenzwechsel wurde öfters angesprochen und war auch Thema einer einstündigen Veranstaltung, bei der nach einer kurzen Präsentation durch Mike Collinson von der OSM Foundation und Jordan Hatcher, dem Kopf hinter der Open Database License, Fragen an die Mitglieder der Lizenz-Arbeitsgruppe gerichtet werden konnten. Für eine inhaltliche Diskussion war das Forum allerdings zu groß.

Die Veranstaltung fand übrigens in einem zentral gelegenen Konferenzzentrum der Stadt Amsterdam statt. Das Catering – Mittagessen und Kaffeepausen – kam ebenfalls von der Stadt; die meiste Arbeit wurde von einer Gruppe Auszubildender gemacht, die die Stadt nach erfolgreicher Ausbildung in die Gastronomie vermittelt. Am Samstag abend gab es ein großes gemeinsames Abendessen für alle in einem nahe gelegenen chinesischen Restaurant, inklusive eines Gedicht-Wettbewerbs, bei dem sich unverzagte Mapper darin versuchten, Haikus über OpenStreetMap zu verfassen:

The old waterway=pond;
A frog jumps in —
The sound of the natural=water.

Harry Wood referierte unter dem Titel “Community Smoothness” (eine Anspielung auf ausufernde Diskussionen im Rahmen der Einführung des Tags “Smoothness” für die Oberflächenbeschaffenheit von Wegen) über die Art, wie bei OpenStreetMap Entscheidungen, besonders bezüglich des Taggings, getroffen werden. Er verwies auf einige interessante Ansätze abseits einfacher Abstimmungen, wie zum Beispiel das “Tags I Use”-Konzept, bei dem jeder beschreibt, welche Tags er verwendet, oder Tagstat, bei dem statistische Auswertungen über die Nutzung von Tags mit Beschreibungen und Bewertungen derselben verknüpft werden. Am Rande wurde auch das “Cheat Sheet” erwähnt, das die wichtigsten Tags und Potlatch-Befehle zusammenfasst.

Wir hörten viele Berichte über den Status von OSM in anderen Ländern, sowohl den europäischen Nachbarn als auch entlegenen Nationen wie Korea, Japan oder Kolumbien. In keinem anderen Land ist OSM so populär wie in Deutschland – in den zurückliegenden 30 Tagen wurden über 40% aller Änderungen der OSM-Daten in Deutschland vorgenommen. Dennoch wird von den viel kleineren Communities in anderen Ländern oft Beachtliches geleistet, und man ist zu Recht stolz auf das Erreichte. Ein Busrouten-Projekt in Chennai (Indien) wurde vorgestellt (offizielle Informationen von Busbetreibern gibt es dort kaum). Im Gaza-Streifen wurde mit OpenStreetMap-Technologie eine separate Public-Domain-Datenbank aufgebaut, die nun schrittweise in OSM importiert wird. Wer Palästina mappt, der muss zum Beispiel eine Antwort auf die Frage haben, wie man eine Straße taggt, die für Palästinenser Einbahnstraße ist, für Israelis aber nicht. Auch das Routing wird so von der Nationalität des Nutzers abhängig. In den USA steht OpenStreetMap nicht so gut da, wie die Datenlage es vermuten lässt. Zwar hat OpenStreetMap aufgrund des TIGER-Imports rund 70% seines Datenvolumens in den USA, aber dennoch gibt es im ganzen Land nur wenige hundert aktive Mapper. Die TIGER-Daten sind häufig sehr verbesserungsbedürftig, und es bräuchte eine größere Community, um das in absehbarer Zeit zu schaffen.

Zwei Vorträge befassten sich mit dem Thema des Mappings historischer Gegebenheiten – eine Diskussion, die auf der talk-de-Liste auch schon oft geführt wurde. Wie kann man kennzeichnen, dass ein Gebäude zu einem bestimmten Zeitpunkt errichtet, dann mehrfach umgebaut und später abgerissen wurde, und wie kann diese Information in OSM einfließen, ohne die “Brot-und-Butter-Anwendung”, das Mapping der Gegenwart, allzusehr zu stören? Hier liegen allerdings bisher keine großflächig umsetzbaren Ideen auf dem Tisch.

Richard Fairhurst berichtete von einer ganzen Anzahl kaum bekannter Funktionsmerkmale im Potlatch-Editor, der rechtzeitig zur Konferenz in der Version 1.1 erschien. POIs können nun per Drag&Drop gesetzt werden, und die Verwendung von Bildern aus openstreetphoto.org ist automatisiert. Eine Version 2.0, die das modernere Action Script 3 einsetzen wird, ist in Arbeit. In einigen Präsentationen von CloudMade-Mitarbeitern war ebenfalls die Rede von einem neuen, einfacheren Editor, der vor allem für spezialisierte Anwendungen (zum Beispiel im Sport) einsetzbar wäre, aber eine formale Ankündigung gab es nicht.

Andy Allan (von CloudMade und der OpenCycleMap) hielt einen Vortrag über fortgeschrittene Kartographie und zeigte uns damit gleichzeitig, was unsere derzeitigen Karten alles noch nicht können oder nicht richtig machen. Wir können, das war sein Fazit, von gestandenen Kartographen und einschlägiger Literatur noch viel lernen. Als positives Beispiel wurde die TopOSM-Karte erwähnt, die derzeit leider nur für den US-Bundesstaat Massachusetts verfügbar ist. Auch einige andere Vorträge befassten sich mit dem Rendering, so kündigte zum Beispiel CloudMade eine Partnerschaft mit der Cartography Ltd. an, um deren in C++ entwickelte Vektor-Rendering-Engine CartoType auf mobilen Geräten mit CloudMade-Diensten einsetzen zu können. Lulu-Ann referierte über Haptische Karten für Sehgeschädigte.

Die Firma Yahoo, der OpenStreetMap ja nach wie vor wegen der Freigabe sämtlicher Luftbilder dankbar ist, war gleich doppelt präsent. Ein Mitarbeiter der Yahoo-Tochter Flickr berichtete, mit welchen teilweise abenteuerlichen Hacks OpenStreetMap-Karten zur Georeferenzierung in Flickr eingebunden werden, und die Yahoo-Geo-Abteilung kündigte an, dass man bis 2010 alle Geodaten, an denen man selbst die Rechte hat, freigeben möchte und, wo immer möglich, selbst auf freie Daten zurückgreifen will, anstatt zuzukaufen.

Mit großen Interesse (und mit Schmunzeln) haben wir den Beitrag von James Rutter aus der GIS-Abteilung der Kreisverwaltung Surrey Heath (nahe London) verfolgt. Nach dem Motto “auch Beamte wollen Spaß bei der Arbeit haben” wird die Verwaltung dort Schritt für Schritt auf OpenStreetMap (anstelle der sonst üblichen “offiziellen” Ordnance-Survey-Produkte) umgestellt. OpenStreetMap wird hier nicht nur (dank eines eigenen Tile-Servers) benutzt, sondern auch verbessert – nach allen Regeln der Kunst mit GPS und Luftbildern, für die eigens eine Lizenz zum Abdigitalisieren gekauft wurde.

Die Firma CloudMade kündigte an, Ende des Jahres einen “Marktplatz” anbieten zu wollen, auf dem neben OpenStreetMap auch nicht-freie Datensätze von ihren Lizenzinhabern zum Verkauf angeboten werden können. Die existierenden CloudMade-Dienste waren auch in einigen Vorträgen Dritter vertreten; beispielsweise wurde die erfolgreiche Offmaps-Applikation für das iPhone vorgestellt, mit der man Karten für die Offline-Nutzung herunterladen kann. Offmaps war als Anwendung für Google Maps gestartet, musste sich dann aber wegen der Google-Nutzungsbedingungen nach einer anderen Kartenquelle umsehen.

Den Abschluss der Veranstaltung am Sonntag bildete eine Auktion, bei der Henk Hoff (Mitglied des Organisationskomitees vor Ort) alles, was nicht niet- und nagelfest war, unter den Hammer brachte und so noch einmal einen vermutlich vierstelligen Betrag an Spenden für die OSM Foundation vereinnahmte.

Insgesamt war es eine sehr gelungene Veranstaltung, wenn sie auch (mit meist nur 15minütigen Vorträgen und kaum Zeit für Fragen und Antworten) zum Teil etwas überdreht wirkte. Viele Bekannte aus den Mailinglisten trafen wir zum ersten Mal in Person. Das Wetter spielte auch ausgezeichnet mit – die Ortsansässigen versicherten uns, dass es auch im Juli keineswegs selbstverständlich sei, sein Bier abends im Freien trinken zu können!

Die Geofabrik-Vorträge auf der SOTM zusammengefasst:

  • “Bridging the Gap – Using OSM Data with GIS Tools” (Jochen) – ein kurzer Abriss darüber, was man als OSMer über die GIS-Welt wissen sollte, und ein praktisches Beispiel zur Verarbeitung von OSM-Daten in der PostGIS-Datenbank.
  • “Creating Quality the OSM Way” (Jochen) – über Hilfsmittel zur Qualitätsüberwachung bei OSM.
  • “Making Money with OpenStreetMap” (Frederik) – eine Ermunterung an die Community, sich auch in die geschäftliche Nutzung von OSM einzumischen, und ein Bisschen Geschäftsethik dazu.
  • “The OSM Spirit” (Jochen) – eine humorvolle, akronym-basierte Untersuchung, wie das Projekt “tickt”, und an welchen Stellen wir bereits von anderswo bekannte Regeln bei uns anwenden.
  • “The State of Germany” (Frederik) – ein Bericht über den Stand von OSM in Deutschland. Und schließlich
  • “Undo & Revert – the Nuts and Bolts of OSM Firefighting” (Frederik) – ein Workshop darüber, wie und unter welchen Umständen man Änderungen rückgängig machen kann und sollte.

Die meisten Beiträge wurden auf Video aufgezeichnet. Im OpenStreetMap-Wiki steht, welche schon fertig aufbereitet und herunterladbar sind.

Launching bestofosm.org

7.07.2009 | Jochen Topf

The OpenStreetMap community has collected an awesome amount of data. There are many places around the world where the map shows incredible detail and we come back again and again to those places when we are showing people what OSM has accomplished. But we always had to remember where all those great places are. So we created the new web site bestofosm.org where we have put markers on the map showing all those great places. You can click on any of those markers and see a popup with information about the place. If you click on the thumbnail in those popups, the map will zoom to the place and even switch the base map to the one showing the best view of this feature.

We hope that this map can work as a sort of showcase for OSM. A place you can send your grandma to if you want to show her the power of OSM.  We intend to keep adding to this map and we’d love to hear what your favourite places are.

We have four kinds of entries: Places mapped with details above and beyond the call of duty are shown with a yellow star. A magnifying glass is shown for places that have played some role in OSM history (like the Isle of Wight where the first mapping party took place). Importing data from other data sources becomes more and more important for OSM. So we show some of those places with an arrow symbol. And finally there are just some interesting places around the world that OSM has good maps for which we show with an “earth” icon.

The slippy map was created with OpenLayers, you are familiar with it from other OSM sites. The base maps are the standard OSM base maps (Mapnik, Tiles@Home), the ever popular OpenCycleMap, plus the Public Transport map from öpnvkarte.de (the last currently only has data for Europe). The data for the four icon overlays comes from four KML files (they are linked at the bottom of the page). Its pretty easy to tell OpenLayers to load KML files and make the content into icons and popups. We added some special XML elements to the KML files. They tell the application which base map and which zoom to switch to when you click on the thumbnail images. Other applications reading the KML files will just ignore those special elements.

As OSM itself, the KML overlays come under CC-BY-SA, you are welcome to take them, add them to your own website, or do other things with it. You are also welcome to take ideas and code from our Javascript files. For faster access all Javascript is minified, but if you remove the “-minified” from the names of the Javascript files, you’ll get the non-minified versions.

The site currently doesn’t work in Internet Explorer, but we didn’t want to delay the release until we have the time to debug it. If you have any idea how to fix the OpenLayers KML support for IE, please shout.