Es geht ums tatsächliche Steuern, die meisten KI-Anwendungen empfehlen jedoch nur

In unserem Alltag ist der Umgang mit Künstlicher Intelligenz für viele schon zur Selbstverständlichkeit geworden: Egal ob intelligente Heizungen, die die Raumtemperatur nach unseren Wünschen und Gewohnheiten vorausschauend regeln oder Smartphone Apps, die automatisiert die nächste Taxifahrt für uns buchen – überall sorgen smarte Algorithmen bereits dafür, dass uns das Leben leichter gemacht wird. In industriellen Anwendungen beschränkt sich der Einsatz von KI oft noch auf Systembeobachtungen, -vorhersagen und Handlungsempfehlungen.

Was aber ist mit den komplexen Anlagen und Maschinen, die bei Siemens entstehen?

Auch hier besteht ein enormes Potential, durch kluge und vorausschauende Steuerungsverfahren, Geld und Energie zu sparen oder Prozesse umweltschonender zu regeln. Die besonderen Herausforderungen hinsichtlich der Komplexität oder Sicherheitskriterien, die industrielle Systeme mit sich bringen aber auch mangelnde Anwendungserfahrung hemmen noch die Nutzung der großen wirtschaftlichen Effekte. Wie diese Potentiale mit Hilfe von KI erschlossen werden können und welche Expertise es dazu braucht, erklären wir in diesem Blog-Post.

Ein typisches Regelungsziel eines Heizsystems, könnte zum Beispiel die Reduzierung des Heizenergieverbrauchs eines Besprechungszimmers sein.

Bisher werden diese Heizsysteme meist dezentral oder über ein Gebäude-Leitsystem gesteuert. Gebäude-Leitsysteme folgen dabei einem vorab eingestellten Temperaturverlauf, d.h. es wird stets versucht vorgegebene Temperatur-Sollwerte einzuhalten. Da sich die Raumtemperatur je nach Umwelteinflüssen, wie z.B. Sonneneinstrahlung oder der Anzahl der Personen in einem Besprechungszimmer ändert, steuert eine einfache Regelung (PI / PID Regler) kontinuierlich und adaptiv nach, damit die tatsächlich gemessene Raumtemperatur (die Temperatur-Istwerte) den gewünschten Temperatur-Sollwerten möglichst nahekommt.

Die Gewährleistung einer bestimmten Komforttemperatur konkurriert typischerweise mit dem Ziel, den Heizenergieverbrauch möglich gering zu halten. Das subjektive Empfinden, welche Temperatur als angenehm empfunden wird variiert zudem von Person zu Person.

Selbst in diesem einfachen Beispiel wird deutlich, dass die Anzahl möglicher Regelstrategien schnell sehr groß wird und es keine triviale, statische Lösung gibt, die einfach allen Szenarien gerecht wird. In komplexen industriellen Anlagen, die zudem strengen Sicherheitsvorgaben unterliegen, wächst der potenzielle Lösungsraum einer Regelung schnell exponentiell.

“International ist dieser [Gebäude-]Sektor für fast 40 Prozent der energie- und prozessbedingten [Treibhausgas-] Emissionen verantwortlich und wird durch die prognostizierte Verdopplung des Gebäudebestands bis 2050 noch mehr an Bedeutung gewinnen.”, DENA 2021: DENA Gebäudereport 2021

Der Blick auf den hohen Energieverbrauch der Branche verrät, dass es sich lohnt, in intelligente Systeme für eine optimierte Regelung und damit einen effizienteren Betrieb zu investieren.

Viele KI-Systeme fokussieren sich auf die Bereitstellung von Prognosen und Empfehlungen. Wenn jedoch direkte Effekte erreicht werden sollen, braucht es in letzter Konsequenz tatsächliche Veränderungen der sogenannten Stellgrößen. Als Stellgröße werden die Ausgaben eines Reglers bezeichnet die aktiv verändert werden können. Bei oben angeführten Heizungsbeispiel wäre z.B. der Heizwasserdurchfluss eine Stellgröße und ein Auf- bzw. Zudrehen des Thermostats bewirkt letztlich eine Stellgrößenänderung. Im industriellen Umfeld werden solche Stellgrößenveränderungen bisher oft auf folgenden Wegen bewirkt:

Simulations- oder datenbasierte Vorhersagen liefern Richtungs-Empfehlungen oder zeigen die quantitative Wirkung von Veränderungen, ausgehend vom derzeitigen Zustand. Nachgeschaltete Optimierungsrechnungen, welche die Wirkung von aufeinanderfolgenden Stellgrößenänderungen unter Verwendung der Vorhersagemodelle liefern, wie bei model-prädiktiven Regelungen (MPC), sind zwar theoretisch optimal, würden dazu allerdings beliebig lange Optimierungsreihen (sogenannte Rollouts) über unmittelbar aufeinander folgende Systemzustände (z.B. Raumtemperaturen) benötigen.

Neben der Entwicklung des Vorhersagemodells verlangt dieser Model-Predictive-Control Ansatz eine signifikante Rechenleistung, möglichst nahe an der Maschine (Edge-Deployment), um geringe Latenzen zwischen der Zustandsbeobachtung und der Umsetzung von Stellgrößenveränderungen zu haben. Dies erschwert auch die Nutzung von Cloudressourcen und beschränkt den Anwendungsbereich auf langsame Prozesse.

Die in unseren Augen bessere Alternative ist das Erlernen einer Steuerungsstrategie mittels Reinforcement Learning. Das Reinforcement Learning ist ein Verfahren des Maschinellen Lernens, bei dem kein explizites (Lern-)ziel vorliegt, sondern ein “Agent”, ausgehend von einem möglichst vollständig bekannten Systemzustand, diejenigen Stellgrößenänderungen erlernt, die eine vom Menschen festgelegte Belohnungsfunktion („Reward“) steigern. Der “Agent”, d.h. die Regelstrategie, kann aus aktuellen, aber eben auch aus vergangenen Daten des Systems mittels Reinforcement Learning Algorithmen erlernt werden. Benötigt werden hierzu Messgrößen für die erfolgten Veränderungen der Stellgrößen, die (resultierenden) Veränderungen im Zustand des Systems über die Zeit und die zur Berechnung des Rewards notwendigen Größen.

Im Produkt Gas Turbine Auto Tuner [GTAT, 2020] haben wir gezeigt, wie diese die Optimierungsaufgabe als ein Lernproblem unter Verwendung historischer Betriebsdaten, also offline, löst. Das rechenzeitaufwändige Lernen entspricht dabei der Optimierung und kann so beispielsweis auch in lokalen Rechenzentren oder der Cloud erfolgen. Zur Ausführung der vorab optimierten Regelstrategie wird im Betrieb nur noch minimale Rechenleistung benötig, die typischerweise von jedem Edge Gerät erbracht werden kann.

Um diese Fähigkeit in Anbetracht beschränkter historischer Betriebsdaten zu erbringen, benötigte es AI-Kompetenzen und intensive Forschung im Reinforcement Learning über viele Jahre. Das alleinige Anwenden von Standard RL-Methoden und geläufigen Open Source Paketen greift zu kurz und scheitert an dieser Stelle. Typische Herausforderungen sind dabei:

Die Verfügbarkeit von historischen Betriebsdaten, gerade in potentiell attraktiven Regionen des Zustands- und Aktionsraums.
Der Umgang mit Unsicherheit, wie sie durch geringe Datendichte, verrauschte oder fehlerhafte Messwerte entstehen.
Die Dauer und Konvergenz des Reinforcement-Learning-Prozesses sowie
Die Interpretier- und Prüfbarkeit der resultierenden Regelstrategie.
Verlässliches Verhalten bei unbekannten Situationen.

Nach Entwicklung der optimierten Regelstrategie, erfordert der produktive Einsatz einer solchen Lösung, zudem technische Antworten auf weitere Fragestellungen wie:

Wie kann die erlernte Regelstrategie an sich verändernde Anforderungen angepasst werden?
Wie kann aus dem inzwischen verbesserten Verhalten weiter gelernt und die Regelstrategie einfach aktualisiert werden?
Wie harmonieren die originale und KI-basierte Lösung und wie können sie sich ergänzen?

Lösungen auf diese Fragen gibt es nicht „out of the box“. Sie müssen tatsächlich grundlegend erforscht und dann konkret in Zusammenarbeit mit den Domänenexperten implementiert werden.

Bei mangelnder Verfügbarkeit von historischen Betriebsdaten, gerade in wünschenswerten Regionen des Zustands- und Aktionsraums, können entweder gezielt Explorationsphase mit stärkeren Veränderungen relevanter Stellgrößen durchgeführt werden. Alternativ lassen sich Betriebsdaten auch durch Simulationsdaten ergänzen, die dann beispielsweise außerhalb des typischen „Betriebsbereichs“ liegen. Eine erste validierte Control-Policy kann nach angemessener Betriebszeit unter Verwendung der von ihr erzeugten Daten in dem gleichen Trainingsprozess aktualisiert werden. Dies unterstützt das „Dazulernen“ in bereits optimierten Betriebsbereichen. Software-Technisch kann dieser Prozess durch eine gute Cloud-Integration des Policy-Trainings in Verbindung mit der Verwendung eines Model-Containers erleichtert werden, der ein festes Interface zwischen dem Leitsystem und AI-Model schafft. Funktionalitäten dieses Model-Containers können neben der Prüfung von Einheiten (Celsius/Fahrenheit) auch die Reihenfolge, Anzahl oder Gültigkeit von Eingangsgrößen sowie die Signaturprüfung oder Lizensierung der Control-Modelle sein.

Am bereits genannten Beispiel des Heizungssystems lässt sich die sichere und prüfbare Umsetzung gut erklären: So kann die bestehende Heizungskennlinie durch ein „Band“ ersetzt werden innerhalb dessen die Control-Policy den bisherigen Sollwert nach oben oder unten verschieben kann. Sowohl die Breite dieses Bandes als auch Änderungsraten oder weitere Kriterien können beschränkt und durch Implementierung im bestehenden Leitsystem sicher und verifizierbar „durchgesetzt“ werden. Gleichzeitig ermöglicht diese Art der AI-Integration eine gute „Zusammenarbeit“ zwischen der originalen und der AI-Strategie, da so Änderungen der originalen und AI-Strategie gezielt zusammengeführt werden können.

Anwendungsprobleme entstehen häufig durch verfälschte oder fehlende Messwerte, die den Zustandsraum beschreiben. Eine regel- oder modellbasierte Prüfung des Zustands- und Aktionsraumes ermöglicht die Bestätigung einer „Tuning Confidence“, ohne die eine Abänderung der originalen Regelstrategie verwehrt wird.

Bestehen spezifische Anforderung an die Interpretierbarkeit der AI-Lösung, kann die RL-Regelstrategie auch aus dem Bereich der interpretierbaren Modelle – im Gegensatz zu Black Box Modellen – gewählt werden [Hein, 2020]. In diesem Zusammenhang ist interessant, dass so auch ganz neues, datenbasiertes Betriebswissen aufgebaut und bei Aktualisierungen von Control-Policies, verifiziert werden kann.

Durch die 30-jährige intensive Forschungs- und Entwicklungsarbeit der Siemens AG und Siemens Energie AG konnte auf diesen Technologien eine sehr starke Patentposition mit über 30 Patenten aufgebaut werden. Dies spiegelt sich auch im Ranking der Top Player der World Intellectual Property Organisation auf den Feldern Neuronale Netze und KI wider. [WIPO 2019]

Die beschriebenen Vorgehensweisen und vorhandenen Referenzen (GT-AT) zeigen deutlich, dass heute bereits AI-basierte Regelungen in hochdimensionalen unsicherheitsbehafteten Anwendungen bessere Ergebnisse ermöglichen, gleichzeitig aber sicher und in einem standardisierten Prozess umsetzbar sind. Es lohnt sich also, die Modernisierung von schwer beherrschbaren oder suboptimalen, wirtschaftlich bedeutsamen Steuerungs- und Regelungsprozessen zu beginnen, um damit entsprechende Wettbewerbs- und Qualitätsvorteile zu gewinnen!

Wenn Sie mehr zu diesem Optimierungspotential oder generell zu unseren Kompetenzen im Bereich der industrieller Künstlicher Intelligenz erfahren wollen, treten Sie gerne mit uns persönlich, oder über unser Siemens AI Lab in Kontakt.

References:

DENA 2021: DENA Gebäudereport 2021
https://www.dena.de/fileadmin/dena/Publikationen/PDFs/2021/dena-GEBAEUDEREPORT_2021_Fokusthemen_zum_Klimaschutz_im_Gebaeudebereich.pdf

GTAT 2020: https://www.siemens-energy.com/global/en/offerings/services/digital-services/gt-autotuner.html

Hein 2020: D. Hein, S. Limmer, and T.A. Runkler. 2020. Interpretable Control by Reinforcement Learning. IFAC-PapersOnLine 53, 2 (2020), 8082–8089. 21th IFAC World Congress. https://doi.org/10.1016/j.ifacol.2020.12.2277

WIPO 2020: https://www.wipo.int/edocs/pubdocs/en/wipo_pub_1055.pdf

2 authors found

Künstliche Intelligenz steuert Ihre Anlage auf beste Weise