Datenquellen
Datenquellen werden kundenspezifisch ausgewählt, angebunden, integriert und dokumentiert. Entscheidend ist dabei nicht nur der Quelltyp, sondern auch die Frage, wie oft Daten geliefert werden, in welchem Format sie vorliegen und wie stark sie vor der Nutzung harmonisiert werden müssen.
Es gibt drei grundlegende Integrationsmuster, wie Daten in die Plattform gelangen können:
- Datenquellen senden aktiv
- Datenquellen werden passiv abgefragt
- Daten werden bereitgestellt
Die Quellen werden dabei folgenden Kategorien zugeteilt:
API – Externe Programmierschnittstellen
Öffentliche oder teilöffentliche HTTP-Dienste, die ohne eigene Hardware über REST, WMS/WFS oder ähnliche Protokolle abgerufen werden. (Integrationsmuster: 2)
Typische Beispiele:
- offene Verwaltungs- oder Open-Data-APIs
- Wetter- und Umweltdienste
- Mobilitäts- und Routingdienste
- externe Fachportale
IoT-Geräte
Geräte, die über offene LoRaWAN-Netzwerke in ein TTI oder TTN angebunden sind und über MQTT, die Daten in die Plattform liefern. Meistens handelt es sich dabei um kundenseitig beschaffte Sensorik. (Integrationsmuster: 1 & 2)
Typische Beispiele:
- Umwelt- und Wettersensorik
- Parkraumsensorik
- Pegel- und Infrastruktursensorik
- Energie- und Verbrauchsmessungen
Proprietäre Systeme
Systeme mit proprietärer Dateninfrastruktur oder herstellereigenem MQTT-Broker. Für die Datennutzung fallen in der Regel Lizenzgebühren an. Es kann sich hierbei aber auch um Datenbanken externen Anbieter handeln. (Integrationsmuster: 1 & 2)
Typische Beispiele:
- Fachverfahren mit proprietären APIs
- externe Datenbanken
- Herstellersysteme mit eigenen Event- oder Broker-Schnittstellen
- GIS- oder Liegenschaftssysteme im internen Netz
Statische Dateien
Dateien unterschiedlichen Formats. (Integrationsmuster: 3)
Typische Beispiele:
- CSV- oder Excel-Exporte
- JSON- oder XML-Dateien
- GeoJSON, Shape oder andere Geoformate
- regelmäßig bereitgestellte Fachberichte oder Tabellenstände
Auswahl und Anbindungslogik
Die Integration einer Quelle wird in der Regel entlang der folgenden Fragen geplant:
- Handelt es sich um Push, Pull oder manuelle Bereitstellung?
- Sind die Daten eher Streaming- oder Batch-orientiert?
- Gibt es ein vorhandenes Zielmodell oder muss die Struktur erst fachlich modelliert werden?
- Müssen Daten nur intern verarbeitet oder später auch öffentlich bereitgestellt werden?
- Welche Qualitätsprüfungen und Plausibilitätsregeln sind bereits beim Import sinnvoll?
Wiederkehrende Muster werden über wiederverwendbare Konnektoren und Integrationsbausteine umgesetzt. Neue Quellen werden dadurch möglichst durch Konfiguration statt durch vollständige Neuentwicklung angebunden.