Nachdem Künstliche Intelligenz den Menschen sowohl im Schach als auch im Spiel Go besiegt hat, haben sich Forscher von der Universität Berkeley nun das nächste Ziel auf die Fahnen geschrieben: Starcraft II. Ein Text von Sebastian Schmalz und Robert Herr.
Strategiespiele scheinen Menschen seit jeher herauszufordern und zu faszinieren. Das beste Beispiel hierfür ist zweifelsohne Schach, das „Spiel der Könige“, das auf der ganzen Welt bekannt ist. Wann genau dieses Spiel geboren wurde, lässt sich nicht mehr extakt zurückverfolgen. Allerdings ist relativ sicher überliefert, dass die Araber irgendwann im 7. Jahrhundert zum ersten Mal mit Schach in Berührung kamen und das Spiel in der ganzen Welt verbreiteten. Die erste Erwähnung in Europa fand Schach im 10. Jahrhundert, während die „modernen“ Regeln, nach denen auch heute noch gespielt wird, erst im 15. Jahrhundert niedergeschrieben wurden.
Trotz dieser immensen Geschichte dauerte es noch zwei weitere Jahrhunderte, bis zum ersten, überlieferten Versuch, ein Gerät zu bauen, das einem Schachcomputer ähnelt und das wir heute als beeindruckenden Schwindel bezeichnen würden. Der Sogenannte „Schachtürke“ war ein Gerät, das 1769 vom Mechaniker Wolfang von Kempelen gebaut wurde. Es konnte angeblich autonom, also ohne menschliche Unterstützung, Schach spielen. In Wahrheit verbargen sich im Inneren des Spieltisches über die Jahre eine Vielzahl der besten Schachspieler der damaligen Zeit, die den „Roboter“ steuerten und so die Partien spielten. Da der Roboter von männlicher Gestalt und in türkische Gewänder gekleidet war, entstand so übrigens auch der Ausdruck „getürkt“, als Synonym für „gefälscht“.
Ein echter, rudimentärer Schachcomputer, wurde 1914 in Paris entwickelt und war tatsächlich in der Lage, autonom zu spielen. Der richtige Siegeszug der Schachcomputer begann allerdings erst mit dem Aufkeimen der Digitaltechnik. Dann allerdings, sollten Schachcomputer dem Menschen schnell überlegen sein.
Wenn selbst Kasparow unterliegt
Deep Blue. Dieser unscheinbare Name steht für einen solchen Schachcomputer, der beeindruckendes vollbracht hat. Deep Blue hat im Jahre 1997 den damaligen Schachweltmeister Garri Kasparow in einem regulären Wettkampf, bestehend aus 6 Partien, besiegt. Doch dieser Erfolg bedeutete noch keineswegs einen Siegeszug künstlicher Intelligenzen. Denn der Sieg des Computers war nicht frei von Makeln. So wurde Deep Blue’s Quellcode zwischen den Partien fleißig verändert. Das System lernte also nicht „selbst“ im engeren Sinne, sondern wurde von den Programmierern darin unterstützt.
Seither entwickelte sich ein regelrechter Wettbewerb, wer in der Lage sein würde, die effizientesten und besten Schachcomputer zu programmieren. Aber mit der unaufhaltsamen Entwicklung selbstlernender Programme, wurde Schach vom Spiel der Könige schnell zu einer Aufwärmübung für Programmierer, die sich bald größeren Aufgaben annehmen wollten.
AlphaGO besiegt Großmeister
Die künstliche Intelligenz Giraffe zum Beispiel, ist ein neuronales Netzwerk, das nach kurzer Zeit des Lernens schon in der Lage ist, Schachmeister zu besiegen. Der hier verlinkte Artikel beschäftigt sich eingehend mit Giraffe und endet mit den folgenden drei Sätzen:
KI-Bastler Lai hat übrigens bereits die nächste Herausforderung ins Auge gefasst. Er möchte ein System entwickeln, das das chinesische Strategiespiel Go beherrscht. Bislang sind hier Menschen künstlichen Spielgegnern noch weit überlegen. Ein neuronales Netzwerk könnte das ändern.
Diese Zeilen erschienen am 17.09.2015 und es entbehrt nicht einer gewissen Ironie, dass exakt 21 Tage später, am 8.10.2015 die Künstliche Intelligenz „AlphaGO“ den mehrfachen Europameister Fan Hui besiegt hat.
Auch wenn Go mit Sicherheit nicht den Bekanntheitsgrad von Schach besitzt – und vor diesem medienwirksamen Ereignis noch weitaus weniger Menschen bekannt gewesen sein durfte – handelt es sich dabei um ein unglaublich komplexes Spiel, das einer simplen Regel folgt: Einfach zu erlernen, aber hart zu meistern.
Und tatsächlich lassen sich die Grundzüge des Spiels innerhalb von ein paar Minuten lernen. Das Spiel findet auf einem 19×19 Felder großen Brett statt. Ziel des Spiels ist es, durch geschicktes Platzieren von Steinen und dem gelegentlichen „Einfangen“ gegnerischer Steine, einen möglichst großen Teil des Brettes zu kontrollieren. Geht man davon aus, dass sich pro Zug ungefähr 200 regelkonforme Möglichkeiten ergeben, einen Stein zu legen, und eine Partie meist rund 250 Züge dauert, kommen wir hier schnell auf eine unüberschaubare Anzahl von Möglichkeiten, das Spiel zu spielen. Insbesondere, wenn wir es mit Schach vergleichen, bei dem eine Partie meist ungefähr 80 Züge dauert und jeder Zug in etwa 30 Möglichkeiten eröffnet.
Der Siegeszug künstlicher Intelligenz
Dies erklärt auch, warum zwischen dem Sieg von Deep Blue und dem von AlphaGo so viel Zeit vergangen ist. Die herkömmlichen Algorithmen, bei denen ein Schachcomputer anhand eines Suchalgorithmus den bestmöglichen Zug in der gegebenen Situation herausfindet, funktioniert bei komplexen Spielen wie Go nicht mehr.
Doch vor einer Weile schon begann in der KI-Forschung der Siegeszug der künstlichen neuronalen Netzwerke. Diese Netzwerke bilden den Aufbau biologischer neuronaler Netze nach, wie beispielsweise das menschliche Gehirn eines ist. Auf der Grundlage komplexer wahrscheinlichkeitstheoretischer Berechnungen und dem raffinierten Monte-Carlo-Algorithmus gelang ein großer Fortschritt bei selbstlernenden Programmen. Künstliche neuronale Netze gelten als Schlüssel zur Künstlichen Intelligenz.
Mit diesen neuen Methoden an der Hand, dauerte es nicht lange, bis Forscher der Google-Tochter DeepMind in der Lage waren, ihr Programm, AlphaGo, zu optimieren. Um dem Programm einen Einstieg in das Spiel zu ermöglichen, luden sie über 30 Millionen Spielzüge in eine Datenbank, aus denen das Programm lernen konnte. Durch eine Optimierung dieser Lernverfahren war es nicht nur möglich, den Europameister Fan Hui zu besiegen, sondern ein paar Monate darauf auch Lee Sedol, einen der besten Go-Spieler der Welt.
Um Programme zu schlagen braucht es bessere Programme
Nun wurde auch das zweite komplexe Spiel von einer Künstlichen Intelligenz gemeistert. An diesem Punkt ist das einzige, was eine Künstliche Intelligenz in Go schlagen kann, ein noch ausgereifteres Programm. Und dieses wurde ebenfalls von DeepMind entwickelt. AlphaGo Zero wurde lediglich mit den Grundregeln des Spiels ausgestattet und war bereits nach drei Tagen besser als AlphaGo.
Und weil diese Errungenschaft noch nicht genügt, hat DeepMind im Dezember 2017 ihr Programm Deep Zero vorgestellt. Dieses wurde ebenfalls lediglich mit den Grundregeln der Spiele Schach, Go und Shogi ausgestattet und war bereits nach 24 Stunden hierbei allen menschlichen und digitalen Spielern überlegen.
Die dafür benötigte Rechenleistung ist nicht zu unterschätzen. Auf 180 TeraFLOPS kommen die Prozessoren von AlphaZero. Das ist das 1800-fache eines high-end Gaming-Rechners.
Mit Starcraft zum KI-Olymp?
Es scheint so, als gäbe es im Bereich der Brettspiele kein Strategiespiel, in dem eine K.I. den Menschen unterlegen ist. Es war also nur eine Frage der Zeit, bis sich die Entwickler von DeepMind einer neuen Herausforderung zuwenden. Welche das genau ist, wissen wir seit kurzem auch. Es wird das Echtzeitstrategiespiel StarCraft 2.
Die PC-Spiele StarCraft, bzw. sein Nachfolger StarCraft 2 sind seit dem Jahr 1998 auf dem Markt und wurden im Laufe der Zeit zu dem Aushängeschild des Genres. Es fesselt noch heute Millionen von Spielern weltweit und sowohl StarCraft 2 als auch sein Vorgänger entwickelten eine stark kompetitive Szene von professionellen Spielern, die in dieser Form in der Computerspielszene ihresgleichen sucht.
Ähnlich wie Schach und Go wird StarCraft (das wir ab jetzt synonym zu seinem Nachfolger verwenden) in Partien von 1 vs. 1 gespielt. Eine Partie beginnt immer damit, Ressourcen in Form von Mineralien und Gas abzubauen. Ein Vorgang, der über die gesamte Partie aufrechtzuerhalten ist. Diese Ressourcen investiert der Spieler, um weitere Arbeiter zu bauen, die ihrerseits weitere Ressourcen abbauen, aber auch Gebäude errichten können, in denen man Einheiten ausbildet oder Verbesserungen für die Armee erforscht. Ziel des Spiels ist es, den Gegner zu besiegen, indem man seine Armee besiegt, was den Gegner meist freiwillig zur Aufgabe bewegt, oder alle gegnerischen Gebäude zerstört.
Völlig neues Terrain
Hier begibt sich DeepMind also auf neues Terrain, was auch einige neue, strategische Probleme mit sich bringt:
Bei Brettspielen wie Schach ist die gesamte Spielfläche für beide Parteien uneingeschränkt einsehbar. Die Aktionen der beiden Spieler finden rundenbasiert statt. Bei StarCraft ist dies anders. Um zu sehen, was der Gegner tut, muss man eine Einheit zu ihm bewegen. Dies ermöglicht temporäre Sicht auf seine Gebäude und Einheiten. Erweitert werden Taktiken durch bestimmte geologische Gegebenheiten des Spielfeldes, wie zum Beispiel Klippen (von denen man nach unten angreifen kann, nach oben aber nur, wenn man z.B. flugfähige Einheiten besitzt, die ausreichende Sicht ermöglichen), Wände oder Pfade, die nur durch die Luft zu erreichen sind.
Um die stark eingeschränkte und temporäre Sicht auszugleichen, muss ein Programm also sowohl über eine Form von Erinnerungsvermögen verfügen, als auch in der Lage sein, die Aktion eines Gegners vorauszubestimmen.
In herkömmlichen Brettspielen besitzt man eine feste Anzahl an Figuren, die einer festen Reihe von Zügen folgen können. In StarCraft ist es den Spielern möglich, bis zu 200 Einheiten und Arbeiter gleichzeitig und beliebig zu steuern. Und das entweder einzeln oder gruppiert. Hinzu kommt noch, dass einige Einheiten über besondere Fähigkeiten verfügen. Sie können situativ eingesetzt werden und sind teilweise mit einer Aufladezeit verbunden. Seit je her folgen die Einheiten in StarCraft einem Schere-Stein-Papier-Prinzip. Das heißt jede Einheit der 3 spielbaren Völker ist von mindestens einer anderen Einheit der drei Völker konterbar. Dennoch ist gerade auf höherem spielerischen Niveau die Anzahl der Einheiten weniger entscheidend, als der Umgang mit ihnen im Kampf.
Eine Masse an Strategien
Und die Masse an Strategien und Steuerungen, die DeepMinds neueste Künstliche Intelligenz zu erlernen hat, wird noch erweitert. Ein Spieler kann durch geschicktes Platzieren von Spielobjekten nahe der gegnerischen Basis bereits in den ersten Minuten des Spiels einen Vorteil erwerben. Und ist der nicht selten spielentscheidend.
Zusammengefasst lässt sich also sagen, dass die KI nicht nur eine Strategie aus unvollständigen Informationen erkennen und in Echtzeit eine entsprechende Antwort auf Bedrohungen entwickeln muss, die noch gar nicht existieren, sondern diese Antwort durch präzise Anwendung von Maus und Tastatur, sowie angemessenem Haushalten der Ressourcen und individueller Steuerung der Einheiten umzusetzen hat.
Wie so eine Partie zwischen zwei Spielern aussehen kann, sei in diesem Video demonstriert:
Ein ambitioniertes Ziel
DeepMind hat sich mit diesem neuen Projekt also ein ehrgeiziges Ziel gesetzt. Zum Glück ist der Leiter dieses ambitionierten KI-Projekts kein Neuling der Szene. Oriol Vinyals ist selbst nicht nur Entwickler, sondern auch bekennender StarCraft-Fan und hat sich mit den Entwicklern von StarCraft, Blizzard Entertainment, zusammengetan, um die Entwicklung der neuen Künstlichen Intelligenz zu beschleunigen.
Die ersten sichtbaren Erfolge dieser Zusammenarbeit haben Vinyals und seine Kollegen in einem kürzlich veröffentlichten Paper zusammengetragen. Gemeinsam mit diesem Paper hat man auch einige Komponenten veröffentlicht, die es auch externen Entwicklern ermöglichen, eigene KI-Forschung anhand von StarCraft zu betreiben.
Dazu veröffentlichte Blizzard unter anderem eine neue Entwicklungsumgebung. Diese ermöglicht es, das Spiel zu kontrollieren und die verschiedenen Abstraktionsebenen des Spiels zu analysieren. Zusätzlich dazu bietet DeepMind den Entwicklern eine Reihe an Werkzeugen, genannt PySC2. Dieses soll einen einfacheren Zugriff auf die Entwicklungsumgebung von Blizzard ermöglichen.
Teil dieses PySC2-Pakets sind auch eine Reihe von Minispielen, welche die komplexe Steuerung von StarCraft auf einfache Aufgaben, wie z.B. das Bewegen einer Einheit herunterbrechen und so das automatisierte Lernen erleichtern sollen.
Historischer Schritt für Künstliche Intelligenz
Die Entscheidung DeepMind nun StarCraft spielen zu lassen, ist eine historischer. Gelingt das Unterfangen ähnlich beeindruckend wie bei Go und Schach, ist das ein großer Schritt. Gelingt das, wird eine ganze Reihe äußerst wichtiger Fragen, Zukunftsprognosen und Risikoabwägungen in der theoretischen KI-Forschung entschieden. Auf der anderen Seite wird sich jedoch auch das bisher sehr erfolgreiche DeepMind an der Entwicklung messen lassen müssen. Doch auch bei den Risiken werden wir dann klarer sehen. Ist DeepMind den vielfältigen Herausforderungen von StarCraft gewachsen, sind andere Anwendungsbereiche denkbar. Sind wir bereit komplexe militärische Abläufe komplett in die Hand einer KI zu geben? Möglich wäre es dann immerhin. Sind wir wirklich vorbereitet auf die übermenschliche Geschwindigkeit, mit der sich die KI-Leistung verbessert? Vermutlich nicht. Der Einfluss von KIs wird sich auf viele gesellschaftliche Bereiche auswirken. Wer an unserer künftigen wissenschaftlichen, gesellschaftlichen und wirtschaftlichen Entwicklung interessiert ist, sollte dies im Auge behalten.
Zum Abschluss, für StarCraft-Fans
Für StarCraft-Fans sei an dieser Stelle noch folgender Absatz aus dem oben angesprochenen Paper erwähnt. Es handelt sich um die Ergebnisse eines Testmatches zwischen der einfachsten AI von Blizzard und einer trainierten KI von DeepMind, die einfach nicht gegen besagte AI gewinnen konnte. Der größte Erfolg der Künstlichen Intelligenz war, als Terraner ein Unentschieden zu erzwingen, indem sie alle Gebäude immer wieder außer Reichweite der Angreifer geflogen hat:
Unsurprisingly, none of the agents trained with sparse ternary rewards could develop a viable strategy for the full game. The most successful agent based on the fully convolutional architecture without memory managed to avoid constant losses by using the Terran ability to lift and then move buildings out of attack range.
Die Entwickler von DeepMind haben es also geschafft, schon in der ersten rudimentären KI den typischen Terraner-Spieler zu modellieren. Das ist immerhin schon Mal ein Anfang.
