Meer details over Polyphony Digital en de nieuwe technologie van Sony AI – GTPlanet

Polyphony Digital werd onlangs onthuld Gran Turismo Sophieeen nieuw kunstmatige intelligentie-aandrijfsysteem dat zal verschijnen in Gran Turismo 7. De technologie is ontwikkeld in samenwerking met het 25-koppige team van Sony AI, waarbij gebruik is gemaakt van de nieuwste ontwikkelingen op het gebied van machine learning. Het onderzoek van het team is gepubliceerd in natuur En GT Sophy heeft enkele van ’s werelds beste Gran Turismo-coureurs getest (en verslagen!) Live-evenement vorig jaar in Tokio.

De onthulling van GT Sophy riep echter bijna net zoveel vragen op als ze beantwoordde. Hoe werkt de technologie precies? Hoe wordt het eigenlijk geïntegreerd? GT7En wat voor beperkingen zijn er?

Om al deze vragen te beantwoorden, hebben we bestudeerd natuur De publicatie sprak in een exclusief interview met de maker van de Gran Turismo-serie Kazunori Yamauchi en Sony AI America-directeur Peter Wurman. Dit is wat we hebben geleerd.

Hoe werkt Sophie eigenlijk?

Als ‘speler’ ziet Sophie de virtuele Gran Turismo-omgeving als een statische kaart, met de linker-, rechter- en middenlijnen gedefinieerd als 3D-punten. De baan voor de Sophy is verdeeld in 60 op gelijke afstand van elkaar gelegen segmenten, waarbij de lengte van elk segment dynamisch wordt berekend op basis van de snelheid van het voertuig. Elke clip vertegenwoordigt op elk moment ongeveer 6 seconden reizen.

Sophy heeft ook toegang tot bepaalde informatie over wat de auto in zijn omgeving doet, waaronder 3D-snelheid, hoeksnelheid, acceleratie, belasting van elke band en sliphoeken. Het is ook op de hoogte van de voortgang van het voertuig langs de baan, de helling van het baanoppervlak, de richting van het voertuig naar de hartlijn van de baan en de voorranden. Sophy wordt door de game op de hoogte gebracht als het voertuig contact maakt met of buiten de standaardbaangrenzen van de game rijdt.

Wat de bedieningselementen betreft, heeft de Sophy alleen toegang tot acceleratie-, rem- en stuuringangen naar links/rechts. Het kan deze ingangen alleen moduleren met een snelheid van 10 Hz, of ongeveer elke 100 milliseconden. Het heeft geen toegang tot schakelen, tractiecontrole, rembalans of andere parameters die normaal beschikbaar zijn voor menselijke spelers.

Deze omgevingsvariabelen en beperkte input worden voorgelegd aan Sophie, waarna ze aan de slag gaat. Met behulp van geavanceerde “machine learning”-algoritmen, bepaalt het steeds opnieuw het pad. Het wordt “sportief beloond” door in de kortst mogelijke tijd over het circuit te rijden, en “gestraft” – nogmaals, in sportieve termen – als je contact maakt met muren of andere auto’s of buiten de baan gaat.

“GT Sophy is getraind met behulp van versterkingsleer”, legt Sony AI America-directeur Peter Wehrmann uit. “In wezen hebben we haar beloningen gegeven voor het boeken van vooruitgang op het circuit of het passeren van een andere auto, en boetes voor wanneer ze de baan verlaat of tegen andere auto’s aanrijdt. Om ervoor te zorgen dat ze leerde hoe ze moest handelen in competitieve racescenario’s, hebben we de dealer in veel verschillende racesituaties met verschillende soorten tegenstanders. Met voldoende oefening, door vallen en opstaan, kon hij leren omgaan met andere auto’s. Er was een zeer dunne lijn tussen agressief genoeg zijn om je rijlijn te behouden en te agressief en veroorzaakt ongelukken en krijgt boetes”.

Worman beschreef vervolgens de moeilijkste uitdagingen bij het daadwerkelijk verwerken van gegevens. Het moeilijkste was uitzoeken hoe deze informatie op de meest efficiënte manier aan neurale netwerken kon worden gepresenteerd. Met vallen en opstaan ​​ontdekten we bijvoorbeeld dat het coderen van ongeveer 6 seconden aankomend spoor voldoende informatie was voor de GT Sophy om beslissingen te nemen over zijn rijlijnen”, legde hij uit. “Een andere grote uitdaging was het balanceren van beloningen en strafsignalen om een agent die zowel agressief als sportief was.”

Sophy doet dit allemaal in realtime, op de echte PlayStation 4’s met een speciale editie van Gran Turismo Sport die de vereiste positiegegevens rapporteert en besturingsinvoer via een netwerkverbinding accepteert. Sophy-code wordt uitgevoerd door servers die via het netwerk met PlayStations communiceren. Om het proces te versnellen, bestuurt Sophy 20 auto’s die tegelijkertijd over het circuit rijden. Resultaten worden ingevoerd in servers die zijn uitgerust met NVIDIA V100- of A100-chips en GPU’s op serverniveau die zijn ontworpen om AI en machine learning-gegevens te verwerken.

Het is belangrijk op te merken dat dit soort rekenkracht alleen nodig is om Sophy te “creëren”, niet om het uit te voeren. Het machine learning-proces leidt uiteindelijk tot “modellen” die vervolgens op meer bescheiden hardware kunnen worden geïmplementeerd.

“Sophy-leren wordt parallel met computerbronnen in de cloud verwerkt, maar als je alleen een reeds verworven netwerk implementeert, dan is de on-premises PS5 meer dan genoeg”, legt Kazunori Yamauchi uit. “Deze asymmetrie van rekenkracht is een algemeen kenmerk van neurale netwerken.”

Hoe is Sophie anders?

AI in racegames is altijd een soort “black box” geweest. Spelontwikkelaars bespreken zelden hoe het echt werkt, maar het is een belangrijk onderdeel van racegames waar alle spelers mee omgaan. We waren benieuwd naar hoe de AI van Gran Turismo in het verleden heeft gewerkt en wat Sophy zo anders maakt.

Zoals Kazunori Yamauchi ons heeft laten zien, biedt het machine-leerproces Sophy meer gedragsregels dan menselijke programmeurs kunnen bedenken, maar deze strategie heeft ook nadelen.

Yamauchi-san legt uit: “Kunstmatige intelligentie is tot nu toe gebaseerd op regels, dus het werkt in feite als een ‘als-dan’-programma.” Maar hoeveel van dergelijke regels er ook worden toegevoegd, het kan niet omgaan met andere omstandigheden en omgevingen dan die gespecificeerd. Aan de andere kant genereert Sophy een enorme hoeveelheid impliciete regels die mensen niet aankunnen, binnen haar netwerklaag. Hierdoor kunnen ze zich aanpassen aan verschillende omstandigheden en omgevingen. Maar aangezien deze regels impliciet zijn, betekent dit dat het niet mogelijk is om ze een “specifiek gedrag” te laten leren dat eenvoudig zou zijn voor een op regels gebaseerde AI. “

Hoe zou Sophie verschijnen in? Gran Turismo 7

Hoewel Sophy de afgelopen jaren is ontwikkeld met behulp van Gran Turismo SportDe technologie zal voor het eerst in werkelijkheid verschijnen Gran Turismo 7 In een toekomstige update van het spel. Kazunori Yamauchi’s aankondiging was licht op details, dus het was iets waar we hem graag naar vroegen.

“Het is mogelijk dat Sophie in drie vormen voor de speler verschijnt”, legt Yamauchi-san uit. “Als leraar die de spelers lesgeeft, een student die sportiviteit leert van de spelers, en als een vriend die met hem racet. Ik zou de mogelijkheid niet uitsluiten om Spec B in te stellen, waarbij de speler de racedirecteur is en Sophie is de chauffeur.”

Sophy kan ook als hulpmiddel in het spel zelf worden gebruikt. “In principe is het mogelijk om Sophy te gebruiken voor BOP-instellingen”, voegt Yamauchi toe. “Als het alleen maar ging om het op elkaar afstemmen van de rondetijden van de verschillende auto’s, dan kan het nu. Maar aangezien BoP-instellingen niet alleen over rondetijden gaan, laten we het niet allemaal aan Sophie over, maar het zal zeker helpen om BoP’s te creëren .”

Sophie is nog aan het leren

Toen Sophy eenmaal bekend was geworden, waren we benieuwd naar haar beperkingen. Het Sony AI-team is zich volledig bewust van hoe Sophy kan verbeteren en de technologie zelf is nog volop in ontwikkeling.

In de huidige iteratie wordt Sophy bijvoorbeeld getraind op specifieke paden in specifieke omstandigheden, maar het team verwacht dat de technologie zich kan aanpassen. “Deze versies van de GT Sophy zijn getraind op specifieke combinaties van voertuigsporen”, legt Warman uit. “Het verbeteren van de rijprestaties van de dealer en het aanpassen van de prestaties van het voertuig maakt deel uit van ons toekomstige werk. Deze versie van de GT Sophy is ook niet getraind op omgevingsverschillen, maar we verwachten dat de technologieën onder deze omstandigheden blijven werken.”

Toen Sophy debuteerde als een supercoureur die in staat was om ’s werelds beste Gran Turismo-spelers te verslaan, ontstonden er onmiddellijk vragen en zorgen over haar vermogen om zich aan te passen aan minder competitieve menselijke coureurs.

Volgens Peter Wehrmann kan de Sophy zich aanpassen door letterlijk als een nieuwere coureur te rijden in plaats van alleen kunstmatig te vertragen. “Dit maakt ook deel uit van ons toekomstige werk”, legt de directeur van Sony AI America uit. “Ons doel is om een ​​factor te creëren die in een ’trage’ modus rijdt als een minder ervaren bestuurder, in plaats van op de een of andere manier gehandicapt te zijn, zoals willekeurig versnellen of vertragen in strijd met de natuurkunde.”

Het oorspronkelijke doel van Sony AI was om snellere en competitievere AI te ontwikkelen, waarop ze vervolgens konden voortbouwen om een ​​tool voor algemene doeleinden te ontwikkelen die het spel voor iedereen leuker zou maken. “Ons doel met dit project was om te laten zien dat we een agent kunnen creëren die kan racen met de beste spelers ter wereld. Ons uiteindelijke doel is om een ​​agent te creëren die alle soorten spelers een opwindende race-ervaring kan bieden”, benadrukte Warman.

Meer details

Het onderzoek en de ontwikkeling die nodig zijn voor de hedendaagse videogames, met name de Gran Turismo-games, worden meestal beschermd als handelsgeheimen. Dit maakt Sophy’s ontwikkelingstransparantie verfrissender en ongelooflijk cool voor geïnteresseerden.

Als je dieper wilt graven en meer wilt weten over Sophy’s innerlijke werking, kun je het volledige peer-reviewed artikel lezen in het nummer van 10 februari 2022 van natuur Wetenschappelijk tijdschrift. Artikel en samenvatting Te downloaden met abonnement. Gratis toegang tot natuurNeem contact op met uw plaatselijke bibliotheek of universiteit.

We weten vast nog meer over Sophy GT7Het werd uitgebracht op 4 maart 2022. En zoals gewoonlijk houden we elk nieuws nauwlettend in de gaten zodra het wordt onthuld. Blijf kijken!

Bekijk meer artikelen over Gran Turismo Sophy en Kazunori Yamauchi.