Drei Studierende der University of Britisch Columbia (UBC) haben einen Zwei-Spieler-Airhockey-Tisch weiterentwickelt. Der von einer Künstlichen Intelligenz (KI) angesteuerte KI-Spieler ist ausschließlich in einer Simulation trainiert worden, wie sie in einem Paper (PDF) erläutern. Die KI kann auf unerwartete Bedingungen wie etwa unvorhersehbares Abprallverhalten des Pucks reagieren und ist durchschnittlichen menschlichen Spielern überlegen.

Beim vor allem in den USA beliebten Airhockey-Spiel versuchen zwei Spieler, einen Puck auf einem Spieltisch mittels eines runden Schlägers in das gegnerische Tor zu schießen. Der Puck gleitet dabei auf einer glatten oder von Luft durchströmten Oberfläche, die die Reibung möglichst gering hält. Dadurch erreicht der Puck hohe Geschwindigkeiten, denn er wird zusätzlich durch elastische Außenbanden dauerhaft im Spiel gehalten. Gewonnen hat der Spieler, der zuerst sieben Tore und damit sieben Punkte erzielt hat.

Dem KI-Spieler das Mitspielen ermöglichen

Um einen Airhockey-Spieltisch zu entwickeln, der einen KI-Spieler umfasst, sind einige Herausforderungen zu bewältigen. Zunächst muss die Spielsituation erfasst werden. Dies geschieht über eine oberhalb des Tischs angebrachte Kamera, die mit 120 FPS arbeitet. Um die jeweilige Position des Pucks schnell erfassen zu können, verwenden die Studierenden helle LEDs nahe der Linse und ein reflektierendes Klebeband am Puck. Dadurch erhalten sie klare und scharfe Bilder bei extrem kurzen Belichtungszeiten von lediglich 100 ms, sodass die Position des Pucks genau bestimmt werden kann. Das geschieht auf etwa einen Millimeter genau.

Der Schläger des KI-Spielers ist an beweglichen Schienen angebracht, die den Spieltisch in der Hälfte des KI-Spielers bewegungstechnisch in zwei Dimensionen abdecken. Geführt wird der Schläger über Riemen von zwei Gleichstrommotoren, die über einen „STM32 Blue Pill“-Mikroprozessor angesteuert werden. Die dabei hauptsächlich bei schnellen Bewegungen auftretenden Spannungsschwankungen des Steuersignals stabilisieren die Entwickler mit einem Superkondensator, einem Kondensator, der eine höhere Energiedichte aufweist als herkömmliche Kondensatoren.

Einfache Simulation nahe an der Realität

Den physischen Spieltisch überführten die Studierenden in eine Simulationsumgebung, verzichteten jedoch darauf, Physik-Engines wie Unity oder Unreal zu benutzen. Sie wollten das Training so einfach wie möglich gestalten und setzen auf eine eigene Simulationsumgebung, in der sie die Soft-Actor-Critic-Trainingsmethode anwendeten. Dabei handelt es sich um einen Deep-Reinforcement-Lernalgorithmus, der für das Erlernen von Entscheidungs- und Steuerungsstrategien in komplexen Systemen mit kontinuierlichen Aktionsräumen entwickelt wurde.

In der Simulation werden die Puck- und Schlägerbewegungen simuliert. Beim Aufprall des Pucks auf die virtuelle Bande wird ein neuronales Netzwerk mit lediglich 112 Parametern verwendet, um die Abprallgeschwindigkeit und den Abprallwinkel sowie die Unsicherheit vorherzusagen. Der Simulator benutzt die ermittelte Unsicherheitsverteilung zufällig, sodass die errechneten Abpraller für das Training nicht perfekt ausfallen. Das kommt realen Gegebenheiten näher. Denn der Puck und die Bande haben in der Realität kleine Abweichungen in ihrer Form und sind nie perfekt.

Die Studierenden führten die Simulation auf einem Notebook mit Intel i5-Prozessor durch. Sie läuft dort rund 230-mal schneller als in Echtzeit, sodass ein Training in adäquater Zeit erfolgen konnte. Die Trainingsdaten übertrugen die Studierenden dann auf den physischen Airhockey-Tisch. Ein zusätzliches physisches Training, wie es eigentlich üblich ist, erfolgte nicht. Der KI-Spieler zeigt sich trotz des fehlenden Trainings auf dem realen Spieltisch als äußerst leistungsfähig und einem durchschnittlichen Airhockey-Spieler überlegen. Der KI-Spieler funktionierte aber nur deshalb so gut, weil die Entwickler vorab die spezifischen Eigenschaften des Tisches inklusive der durch die Hardware verursachten Latenzen im Code der Simulation weitgehend abgebildet hatten.

Details zu dem Airhockey-KI-Projekt sowie den Code stellen die Entwickler auf GitHub bereit.

(olb)