Das Energiegeschäft der Zukunft ist grün, dezentral, international und hochflexibel. Die Sektoren Wärme, Energie und Mobilität werden untrennbar miteinander verbunden sein. Mit KiwiOS haben wir eine Softwareplattform entwickelt, mit der Unternehmen die Vielzahl der Anlagen, Systeme und Partner der dezentralen Energiewelt integrieren, überwachen und optimieren können.

Flexibilität und Modularität sind KiwiOS größte Stärken, bergen aber auch technologisch die größten Herausforderungen. Kunden wollen auf der Plattform entweder eigenständig Applikationen entwickeln oder die schlüsselfertigen Softwareprodukte von Kiwigrid nutzen. Deshalb müssen Daten und Funktionen, sogenannte Services, über standardisierte Schnittstellen je nach Anwendungsfall und Kundenwunsch bereitstellbar sein – bei Kiwigrid nennen wir das Platform-as-a-Service.

Die Anforderungen an Plattform-basierte Services wie die Bereitstellung von Daten, KPIs, Analyse, Zeitserien, Prognosen oder Optimierungsfunktionen sind vielfältig. Die Services müssen flexibel, skalierbar, wartbar und sicher sein. Und: Ihre Bereitstellung muss nahezu in Echtzeit und zu angemessenen Kosten erfolgen. Durch das Auflösen unserer hybriden Datenhaltung und der folgenden Migration sämtlicher Services und Datenmodelle in die Google Cloud sind wir diesem Versprechen nun einen großen Schritt näher gekommen.

Was haben wir erreicht?

Verbesserte Skalierbarkeit

Um den Energiefluss für Energiemanagementsysteme (EMS) zu optimieren, erfasst die KiwiOS-Plattform Daten wie beispielsweise die abgehende Leistung oder Spannung in jeder Netzphase oder den Ladezustand von stationären Stromspeichern. Da jedes EMS mit mehreren physischen Geräten – dazu gehören Stromzähler, Photovoltaikanlagen oder Wärmepumpen – verbunden ist, bedarf es eines leistungsfähigen Systems zum Datenmanagement und zur Datenanalyse. Aus zehntausenden Datenpunkten werden auf diese Weise wertvolle Erkenntnisse für die bestmögliche Steuerung des Energiesystems, zum Beispiel für eine lokale Optimierung des Eigenverbrauchs oder die dynamische Abregelung eines Wechselrichters, gewonnen.

Energiemanagement ist damit allein aus Gründen der Sektorkopplung, Geräteanbindung, Steuerung und Physik hochkomplex. Diese Komplexität lässt sich alles andere als skalierbar beherrschen, wenn die zugrundeliegende Cloud-Architektur ebenfalls komplex ist. Die Umstellung von einem hybriden System auf die Google Cloud verringert zwangsläufig die IT-Komplexität und ist damit aus unserer Sicht für eine internationale Skalierfähigkeit im Sinne unserer Kunden die beste Option.

Höchste Sicherheit

Stromnetze sind kritische Infrastruktur. Eine sichere Stromversorgung ist die Grundlage unseres Alltags. Energiemanagementsysteme sind ein Teil dessen; Sicherheit damit eine der wichtigsten Anforderungen an die zugrundeliegende Cloud-Infrastruktur. Die Google Cloud überzeugt hier auf höchstem Niveau und sichert für seine Services den vom Bundesamt für Sicherheit in der Informationstechnik (BSI) herausgegeben C5-Standard zu. Damit werden auch die Speicherung und Verarbeitung hochsicherer und sensibler Information, zum Beispiel für die Erfassung von Zählerstandsdaten über ein Smart-Meter-Gateway, rechtskonform garantiert. Nicht zuletzt können unsere Kunden darauf vertrauen, dass unser Datenspeichersystem in der Google Cloud ihre Daten sicher speichert und diese anonym übertragen und verarbeitet werden. Minimale Ausfallzeit und verbesserte Stabilität

Die Microservice-Architektur und die Datenhaltung von Kiwigrid basieren auf Google-Cloud-Technologien wie Dataproc, Kubernetes und CloudSQL. Diese garantieren hohe Service-Level-Agreements (SLAs), wodurch unplanmäßige Ausfälle auf nahezu null reduziert werden. Die Verfügbarkeit der Plattform wird damit noch einmal erheblich gesteigert.

Beschleunigte Markteinführung

Mithilfe von Google-Technologien ist Kiwigrid in der Lage, neue Energieprodukte wesentlich flexibler und schneller auf den Markt zu bringen. Außerdem ermöglichen wir auch Kunden und Mandanten einen wesentlich schnelleren Zugang zu Applikationen und Services. Die Hürde für das Entwickeln mobiler Apps, das Erstellen von Datenanalysen oder die Anwendung neuester Lösungen für künstliche Intelligenz wird drastisch reduziert.

Wie sind wir vorgegangen?

Eine solche Migration ist extrem anspruchsvoll und aufwendig; die Zahlen sprechen für sich. Mit einer Vorbereitungszeit von sechs Monaten und anschließender geplanter Downtime von nur zwei Stunden wurden 40 Terabyte (TB) an Daten übertragen, 20 Services migriert und 915 Jira-Tickets gelöst. Das Gesamtsystem besteht aus 770 laufenden Kubernetes-Pods, 55 Nodes, 480 CPU-Kernen und 1 TB RAM. Es werden ca. 5.000 API-Anfragen in der Sekunde bearbeitet. Development-, Staging- und Production-Umgebungen wurden aktualisiert; das Backup-Konzept verbessert und erweitert.

Herausforderungen

Uns überzeugten von Anfang an die Vorteile der Google Cloud und deren Services. Gleichzeitig wurde die Migration forciert, da die bestehende und zugrundeliegende Hortonworks Data Platform (HDP) als Basis der Apache-Hadoop-Installation durch die Übernahme von Cloudera nicht weitergeführt wurde. Die größte Herausforderung bestand daher in der Migration und Datenübertragung der Hbase-Datenbank, welche sämtliche Datenpunkte der angeschlossenen Energiegeräte sichert. Als Zieltechnologie in der Google-Cloud-Plattform kam Dataproc zum Einsatz.

40 Terabyte Daten in zwei Stunden übertragen

Als ersten Ansatz zur Datenübertragung wählten wir mehrfache Snapshots bzw. Restore-Zyklen, bei denen jeder folgende Durchlauf schneller als der vorhergehende Durchlauf ist. Das sollte die geschriebenen Datenmengen soweit verringern, dass der Rest sich innerhalb von zwei Stunden Downtime übertragen ließ. Leider führte dies nicht zum Erfolg, da sich der Algorithmus anders als erhofft als unzuverlässig herausstellte. Auch eine Erhöhung der Übertragungsbandbreite war in vorgegebener Zeit nicht realisierbar.

David Rabe, Director Platform bei Kiwigrid, erinnert sich:

“Der finale Durchbruch gelang uns mit einer auf mehreren Funktionen und Werkzeugen des HBase-Ökosystems basierenden Methode. Hierbei wurde ein einzelner Snapshot der Datenbank über einen längeren Zeitraum zu Google-Dataproc überführt und mittels Hbase-Cluster-Replikation über eine VPN-Verbindung zu den On-Premise-Maschinen im Nachhinein vervollständigt.”

Die Datenübertragung war auch bei der Übertragung der MySQL-Daten eine Herausforderung, bei der die Auslastung zugehöriger CPUs und Loadbalancer an ihre Grenzen stieß. Ein Einsatz des Google-VPN scheiterte an der nicht umsetzbaren IPSec-Implementierung auf On-Premise-Seite (bisheriges Serverzentrum). Schlussendlich gelang auch hier die Übertragung von 750 Gigabyte mit dem Einsatz von VPN und einem erweiterten Netzwerk-Routing.

Kontinuierliche Verbesserungen werden implementiert

Nach der erfolgreichen Migration fokussieren wir uns auf kleinere Nacharbeiten in Bezug auf die Skalierbarkeit von Services oder des Traffic-Shapings. In einem hybriden System werden Konzepte notwendig, die einen erhöhten Einsatz von Load-Balancern und die Nutzung der Public Cloud erfordern. Diese Implementierungen können nun optimiert werden. Weiterhin nachgelagert sind zusätzlich Anpassungen zum Cloud-DNS für Google Kubernetes, das Entfernen von öffentlichen IPs, Erweiterungen zum Monitoring oder aber auch Verbesserungen zum Auto-Scaling anhand spezifischer Metriken.

Grundstein für den Erfolg: das Team

Die Migration sämtlicher Services in die Google Cloud war ein extrem umfangreiches Unterfangen. Dieses konnte nur durch die exzellente Arbeit eines ausgezeichneten Teams bewerkstelligt werden. An dieser Stelle geht unser Dank an das Team bei Kiwigrid, bestehend aus David Rabe, Christian Geie, Christian Buder, Christian Laußat, Tomasz Rarok, Manuel Hoffmann, Jörg Eichhorn, Robert Bach, Holger Mauermann, Erdi Papavangjeli, Steffen Rietz und Norman Leyda, die Kolleg*innen der Firma Jaconi, besonders Jan Krüger, Jan Fiedler, Gerrit Schlüter und Julian Nodorp sowie die beiden Google-Kollegen Daniel Klessing und Sascha Schnorbach.

 

Unser Erfahrungsbericht zur Migration in die Google Cloud hat dein Interesse geweckt? Wenn du uns besser kennenlernen möchtest, sieh dich auf unsere Karriereseite um und werde Teil unseres Teams! Und wenn du noch mehr zum Thema erfahren möchtest, schau dir Googles Fallstudie an.