Wie gehen die KI-gesteuerten NPCs von Ubisoft mit dynamischen Spielerinteraktionen um?
Während der GDC 2024 enthüllte Ubisoft offiziell die NEO NPCs, ihre generative KI-gesteuerte Technologie für Ingame-Gespräche und Spielerinteraktionen mit nicht spielbaren Charakteren. Das NEO NPC-Projekt ist eine Zusammenarbeit zwischen den Entwicklern von Ubisoft und Inworld AI, die das Large Language Model (LLM) für NEO NPCs bereitstellen, damit Entwickler Charaktere mit eigenen Hintergründen, Persönlichkeiten und Einstellungen erstellen und formen können. Auch Nvidia ist beteiligt und stellt seine Audio2Face-Technologie zur Verfügung, um NEO NPCs in Echtzeit zu animieren.
Obwohl die NEO NPC-Technologie noch in einem frühen Stadium ist, gab es während der GDC eine spielbare Demo, um die Technologie in Aktion zu präsentieren. Diese beinhaltete drei separate Szenarien, in denen der Spieler direkt mit einem NEO NPC spricht und mit ihm interagiert, Echtzeitantworten erhält und Aufgaben basierend auf dem Informationsaustausch mit dem NPC erfüllt.
Das erste Szenario beinhaltete das Kennenlernen des Hintergrunds eines Charakters namens Bloom, das Teilen des eigenen Hintergrunds im Rollenspiel-Sinne und das Erhalten von Informationen über die Widerstandsgruppe, der man angehört. Dieses Szenario enthielt auch eine Beziehungsskala, die ich füllen musste, ähnlich wie bei RPGs mit einem sozialen Sim-Element, das reaktiv auf ein Emotionssystem und die relevanten Themen je nach Ingame-Zielen ist. Durch die Open-Source-Spracherkennung, die mit NEO NPCs und Inworlds KI-Engine integriert ist, können sie interpretieren, was man sagt, entsprechend reagieren und sich an das Gesagte erinnern, das später an bestimmten Stellen referenziert werden kann. Ich versuchte, das System zu testen, indem ich ihnen sagte, dass ich übermenschliche Kräfte habe und dass ich früher auf der Seite des Feindes war, und Bloom reagierte mit gemessenen Antworten innerhalb der im Spiel festgelegten Grenzen.
alle Bilder mit freundlicher Genehmigung von Ubisoft
Das zweite Szenario zeigte mir eine Videoaufzeichnung einer ferngesteuerten Drohne zusammen mit Bloom, was die Fähigkeit eines NEO NPCs demonstrierte, auf Geschehnisse in der Spielumgebung zu reagieren und die Möglichkeit des Spielers, gezielt darüber zu sprechen. Es gab Einschränkungen hinsichtlich natürlicher Interaktionen, während der NPC auf eine andere Aufgabe fokussiert war; in diesem Fall konnte der NPC etwas nicht interpretieren, das ihm gesagt wurde.
Die dritte und letzte Phase der Demo beinhaltete die Planung einer Operation zur Infiltration eines Gebäudes zusammen mit einem neuen NPC namens Iron. Das Gespräch mit ihr und das Stellen von Fragen lieferten weitere Einblicke in die Ziele der Operation, waren jedoch strukturierter wie ein traditioneller Dialogbaum: Es gab richtige Antworten für das beste Ergebnis; zum Beispiel war es die optimale Wahl, vorzuschlagen, dass der Hacker des Teams die Kameras deaktiviert anstatt mit Rauchgranaten Deckung zu erzeugen.
Es ist erwähnenswert, dass das Ubisoft-Narrativteam die Parameter für NEO NPCs vorgibt, um innerhalb der Grenzen der Lore und der Geschichte des Erlebnisses zu bleiben, sodass bei der Erstellung von NEO NPCs eine gewisse Kuratierung vorhanden ist. Xavier Manzanares, der zuvor leitender Produzent von Mario + Rabbids: Sparks of Hope war, ist nun Produzent bei dem NEO NPC-Projekt und sprach in einer Präsentation über die Designphilosophie.
"Etwas, woran wir uns erinnern, ist, dass jede neue Technologie, die auf unserem Tisch liegt, keine Spiele von alleine erstellen kann. Sie muss mit Design und Innovation im Einklang sein. Es ist wirklich wichtig, dass GenAI genau das gleiche ist", sagte Manzanares. Er fuhr fort: "GenAI ist ein Werkzeug, es ist Technologie. Es erstellt keine Spiele, es muss mit Design verbunden sein und es muss mit einem Team verbunden sein, das wirklich etwas mit dieser Technologie vorantreiben will. Die Fragen, die wir im Team immer hatten, waren: 'Was haben die Kreativen davon? Was haben die Spieler davon?'"
NEO-NPCs fördern
Das Ausfüllen von NPC-Sprachausgaben oder das haben von reaktionsfreudigeren NPCs basierend auf dem GenAI-Modell ist nur eine Möglichkeit, wie es verwendet wird. Es ist offensichtlich ein Werkzeug für Schreibteams, über das Narrative Director Virginie Mosser in einem Post-Demo-Panel sprach. "Also, meine Rolle ist es, sie [NEO-NPCs] zu pflegen, um die Hintergrundgeschichte, den Fluss, die Qualitäten, die Umgangssprache aufzubauen, weil es für den Dialogstil wichtig ist. Es braucht viel Inhalt, damit sie kohärenter sind, eine echte Persönlichkeit haben und einen echten Fokus auf Emotionen haben," sagte Mosser, als sie gefragt wurde, wie die Technologie ihre Arbeitsweise verändert hat. Sie erwähnte auch, dass sie anfangs Bedenken hatte, in das Projekt einzusteigen.
Kylan Gibbs, CEO und Mitbegründer von Inworld AI, sprach über die Grenzen, die Designer für NPCs festlegen können, und sagte: "Wir durchlaufen eine Vielzahl von Schritten, nicht nur um etwas zu erkennen, was unsicher sein könnte in dem, was der Spieler sagt, sondern auch sicherzustellen, dass das Modell das nie sieht, dann Themen zu erkennen, die unsicher sein könnten, und durch eine Vielzahl von Sicherheitsfiltern zu gehen." Er fuhr fort: "Dann gibt es die narrativen Kontrollen, um sicherzustellen, dass man nicht außerhalb des beabsichtigten Bereichs der Welt geht." Gibbs betonte, dass die Tools es Entwicklern auch ermöglichen, das Verhalten von NEO-NPCs auf den Informationen zu verankern, die das Narrativteam bereitstellt.
Derzeit umfasst das NEO-NPC-Projekt die Ubisoft-Studios in Paris, Montpellier und Montreal, die ein Team von ungefähr 30 Mitarbeitern bilden, so Manzanares. Dazu gehören auch die leitende Datenwissenschaftlerin Mélanie Lopez Malet und der wissenschaftliche Leiter David Louapre, die das Projekt ebenfalls leiten. Derzeit sind keine bekannten Anwendungen von NEO-NPCs in kommenden Ubisoft-Spielen bekannt.
Game Developer und Game Developers Conference sind Schwesterorganisationen unter Informa Tech.
