20081112zs Talend Open Source Analysesoftware

Deutschland verfügt über eines der besten Autobahnnetze der Welt. Mit 12.500 Kilometern an Straßen besitzt die Bundesrepublik, nach den Vereinigten Staaten und China, das drittgrößte Autobahnnetz der Welt. Aber nur mit einem zukunftsweisenden Verkehrsüberwachungs- und Analysesystem wird sich das steigende Verkehrsaufkommen bewältigen lassen.

ie Autobahnen verbinden alle wichtigen deutschen Städte und bieten Reisenden nicht nur optimale Fahrbedingungen, sondern auch, mithilfe eines dichten Netzwerks an elektronischen Verkehrszeichen, Echtzeitinformationen über die aktuelle Verkehrslage. Jedoch, wie jedes Land, so hat auch Deutschland mit stark schwankenden Verkehrsbedingungen zu kämpfen: Schulferien, Feiertage, schlechtes Wetter, Hauptverkehrszeiten, Straßenarbeiten – all diese Faktoren erhöhen das Verkehrsaufkommen und können Staus verursachen. Darüber hinaus liegt die Verwaltungshoheit der Autobahnen bei den einzelnen Bundesländern. Obwohl das Straßennetz vom Bundesministerium für Verkehr, Bau und Stadtentwicklung zentral geplant und organisiert wird, so hat doch jedes Bundesland eine eigene zuständige Verwaltung, (Landesbehörden und Länderministerien), welche für die Verkehrsplanung und -Optimierung, beispielsweise bei Straßenbauarbeiten, verantwortlich ist. »Um die Abläufe des deutschen Autoverkehrs verstehen zu können, ist es notwendig riesige Mengen an Daten zu analysieren«, erklärt Christian Roszak, CEO von Theis Consult. »Erschwerend kommt hinzu, dass jedes Land sein eigenes System für Verkehrsüberwachung und Verkehrszählung nutzt. Dies führt natürlich zu einer noch höheren Komplexität, denn alle diese Daten müssen verarbeitet und so formatiert werden, dass sie in unsere Analysedatenbanken passen.«

Um ein Verkehrsüberwachungs- und Analysesystem zu entwickeln, welches leicht und einfach in allen Autobahnleitzentralen deutschlandweit einsetzbar ist, brauchte Theis Consult eine leistungsfähige und flexible Lösung zur Datenintegration. »Die Daten, welche über Straßensensoren (etwa Verkehrszählung, Verkehrsgeschwindigkeit, etc.) gesammelt werden, liegen in ganz unterschiedlichen Formaten vor: Oracle, Informix, Access-Datenbanken, aber auch in Form von XML- oder ASCII-Dateien. »Darüber hinaus ist jede Konfiguration verschieden, allein mit so vielen Datenbank-Schemata, wie es Source-Systeme gibt«, erläutert Christian Roszak. »Weitere Daten, welche berücksichtigt werden müssen, beinhalten RDS-TMC-Daten, diese werden verwendet, um Verkehrsnachrichten und Staumeldungen über reguläre Radioprogramme senden zu können. Zusätzliche Informationen, wie Wetterdaten oder Daten über die Konstruktion der Straße werden wiederum in eigenen speziellen Formaten vorgehalten, ebenso wie Daten zur Bevölkerungsdichte, zu Ferienterminen oder zu Baustellen, etc.« Obwohl es bereits mehrere Standards für Schnittstellen und für den Datenaustausch und die Speicherung gibt (wie TLS, DATEX II, TPEG, OKSTRA, etc), sind diese Standards leider oftmals nicht direkt nutzbar oder unzugänglich für die Aufgabenfelder von analytischer, strategischer und konzeptioneller Planung.

Theis Consult hat solche Projekte für mehrere Landesbehörden betreut. In der Vergangenheit wurden die Lösungen manuell oder mit Hilfe von kundenspezifischen Skripten erarbeitet. »Das Maß an Komplexität bei der Datenverarbeitung war sehr hoch« erinnert Christian Roszak. Das manuelle Eingeben von Datenintegrationsprozessen endet schließlich damit, dass es sehr zeitaufwendig und schwierig zu warten war. Aufgrund der Codierung per Hand war es außerdem nicht für andere, ähnliche gelagerte Projekte wieder verwendbar.

Also entschloss Theis Consult sich nach anderen Lösungen umzusehen. »Aus der Vergangenheit existierten bereits Erfahrungen mit proprietären ETL Produkten, daher kannte ich ihre Stärken, aber auch ihre Grenzen.« erklärt Christian Roszak. »Aufgrund der großen Datenmengen, die wir verarbeiten, wird eine schlanke, schnell laufende Runtime-Ausführung benötigt. Wir müssen außerdem in der Lage sein, die Softwarelösung mit Hilfe von zusätzlichen Konnektoren und Datenverarbeitungskomponenten genau an den Kunden anzupassen. Nach einer kurzen Evaluierung wurde offensichtlich, dass die Lösung von Talend unsere Anforderungen erfüllen konnte.«

In der Tat, das Talend Open Studio generiert native Java- und Perl-Codes mit eingebetteter SQL (für Datenbankabfragen) und bietet die beste Runtime-Performance, anstatt sich auf eine hinderliche und langsame Integrationsmaschine zu verlassen. Der offene Quellcode bei Open Studio macht es den Usern sowie auch den Systemintegratoren einfach, eigene Komponenten und Konnektoren zu bauen und diese der Lösung hinzuzufügen, sollten sie überhaupt zusätzliche Features benötigen. Denn das Talend Open Studio kommt »out of the Box« mit bereits über 250 Konnektoren. Die häufigsten und am meisten verwendeten Konnektoren sind also schon abgedeckt.

»Verglichen mit der manuellen Codierung sparte uns Talend Open Studio – schon alleine für das erste Projekt – 57 Prozent an Entwicklungszeit« schlussfolgert Christian Roszak. »Aber, neben der zusätzlichen Flexibilität und der Zeitersparnis bei der Entwicklungszeit, ermöglicht Talend Open Studio es uns auch den Datenintegrationsprozess beim nächsten Projekt wieder zu verwenden. Das bedeutet, nach einer ersten Investition sind wir viel schneller in der Lage, die bereits fertige Arbeit weiter zu nutzen und in nachfolgenden Projekten einzusetzen, in welchen sich die Quelldaten in Struktur und Technologie unterscheiden. Wir müssen nicht jedes mal wieder von vorne anfangen.«

Über Theis Consult:

Theis Consult ist seit 1991 in der Beratung, Planung, usschreibung und Bauüberwachung von baulichen nd betrieblichen Anlagen des Straßenverkehrs tätig. Diese Tätigkeiten wurden erweitert und ausgebaut um alle Bereiche der IT, von der Anforderungsspezifikation über die Konzeption bis hin zur Kontrolle und Prüfung neuer beziehungsweise laufender Softwareentwicklungen. Die Planung sowie der Betrieb von Verkehrstelematiksystemen bis hin zu Rechnerzentralen für die Straßenverwaltung gehören zu den Kernkompetenzen des Unternehmens. Theis Consult deckt alle Planungsebenen von der Maßnahmenbegründung bis zur Objektüberwachung ab. Seit Anfang 2007 wurde die Gesellschaft in eine GmbH umgewandelt.

Copyright © 2003-2012 ap Verlag GmbH