OpenAI beloofde 20% van zijn rekenkracht te besteden aan de bestrijding van de gevaarlijkste vormen van AI, maar dat is nooit gelukt

Nu, minder dan een jaar later, is dat team, dat Superalignment heette, ontbonden vanwege het ontslag van werknemers en beschuldigingen dat OpenAI prioriteit geeft aan productlanceringen boven AI-veiligheid. Volgens zes bronnen die bekend zijn met het werk van het OpenAI Superalignment-team, is OpenAI nooit zijn belofte nagekomen om het team van 20% van zijn rekenkracht te voorzien.

In plaats daarvan zag het team volgens bronnen herhaaldelijk dat zijn verzoeken om toegang tot grafische verwerkingseenheden, gespecialiseerde computerchips die nodig zijn om AI-applicaties te trainen en uit te voeren, werden afgewezen door de leiding van OpenAI, ook al kwam het totale computerbudget van het team nooit in de buurt van wat was gevraagd. Er werd een drempel van 20% beloofd.

Deze bevindingen roepen vragen op over hoe serieus OpenAI zijn publieke belofte neemt, en of andere publieke toezeggingen van het bedrijf vertrouwd moeten worden. OpenAI reageerde niet op verzoeken om commentaar op dit verhaal.

Het bedrijf krijgt momenteel te maken met terugslag over het gebruik van stem in zijn op AI gebaseerde spraakgeneratiefuncties die een opvallende gelijkenis vertonen met die van actrice Scarlett Johansson. In dit geval zijn er vragen gerezen over de geloofwaardigheid van de publieke verklaringen van OpenAI dat de gelijkenis tussen de stem van de AI die zij ‘Sky’ noemt en die van Johansson puur toeval is. Johansson zegt dat Sam Altman, mede-oprichter en CEO van OpenAI, afgelopen september contact met haar opnam, toen Sky’s stem debuteerde, en om toestemming vroeg om haar stem te gebruiken. Ik weigerde. Ze zegt dat Altman vorige week opnieuw toestemming heeft gevraagd om haar stem te gebruiken, vlak voor een demonstratie van het nieuwste GPT-4o-model, dat de stem van Sky gebruikt. OpenAI heeft ontkend de stem van Johansson zonder haar toestemming te hebben gebruikt en zegt dat het een professionele actrice heeft betaald, die naar eigen zeggen niet legaal kan worden onthuld, om Sky te creëren. Maar de beweringen van Johansson hebben hier nu twijfel over doen rijzen, waarbij sommigen op sociale media speculeren dat OpenAI daadwerkelijk de stem van Johansson heeft gekloond of misschien op de een of andere manier de stem van een andere actrice met die van Johansson heeft gemengd om Sky te creëren.

Het OpenAI Superalignment-team is opgericht onder leiding van Ilya Sutskever, medeoprichter van OpenAI en voormalig hoofdwetenschapper, wiens vertrek uit het bedrijf vorige week werd aangekondigd. Jan Laecke, een ervaren onderzoeker bij OpenAI, leidde het team mede. Hij kondigde vrijdag zijn ontslag aan, twee dagen na het vertrek van Sutskever. Het bedrijf informeerde vervolgens de overige werknemers van het team, dat ongeveer 25 mensen telde, dat het werd ontbonden en dat zij een nieuwe functie binnen het bedrijf zouden krijgen.

Het was een steile ondergang voor een team wiens werk nog geen jaar geleden door OpenAI van vitaal belang werd geacht voor het bedrijf en belangrijk voor de toekomst van de beschaving. Superintelligentie is het idee van een toekomstig hypothetisch systeem voor kunstmatige intelligentie dat slimmer zal zijn dan alle mensen samen. Het is een technologie die verder gaat dan het gestelde doel van het bedrijf: het creëren van kunstmatige algemene intelligentie, of AGI – een enkel AI-systeem dat net zo slim is als ieder mens.

Superinlichtingen, Inc ‘ zei hij bij de aankondiging van het teamHet zou een existentiële bedreiging voor de mensheid kunnen vormen door te proberen mensen te doden of tot slaaf te maken. “We hebben geen oplossing om potentieel superintelligente AI te begeleiden en te controleren, en te voorkomen dat deze schurkenstaten wordt”, aldus OpenAI in de aankondiging. Het Superalignment-team moest deze oplossingen onderzoeken.

Het was een missie die zo belangrijk was dat het bedrijf in zijn aankondiging zei dat het “20% van de computers die we tot nu toe in de komende vier jaar hebben verworven” hieraan zou besteden.

Maar zes bronnen die bekend waren met het werk van het Superalignment-team zeiden dat dergelijk computergebruik nooit aan de groep was toegewezen. In plaats daarvan ontving het een bedrag dat veel lager was dan het normale budget voor computertoewijzing van het bedrijf, dat elke drie maanden opnieuw wordt geëvalueerd.

Er zijn geen duidelijke meetgegevens over hoe de 20% precies moet worden berekend, waardoor het openstaat voor brede interpretatie, zei een bron die bekend was met het werk van het Superalignment-team. De bron zei bijvoorbeeld dat het team nooit te horen kreeg of de belofte ‘20% per jaar gedurende vier jaar’, ‘5% per jaar gedurende vier jaar’ betekende, of een variabel bedrag dat uiteindelijk ‘1% of 2%’ zou kunnen zijn. .” % voor vier jaar” de eerste drie jaar, daarna het grootste deel van de verbintenis in het vierde jaar. Hoe dan ook, alle bronnen geluk Dit verhaal bevestigde dat het Superalignment-team vanaf juli 2023 nooit in de buurt van 20% van de beveiligde rekenkracht van OpenAI kwam.

OpenAI-onderzoekers kunnen ook verzoeken indienen voor wat bekend staat als ‘elastisch’ computergebruik – toegang tot extra GPU-capaciteit die verder gaat dan begroot – om nieuwe projecten af ​​te handelen tussen de kwartaalvergaderingen over de begroting. Maar deze bronnen zeiden dat flexibele verzoeken van het Superalignment-team routinematig werden afgewezen door hoge functionarissen.

Bob McGraw, vice-president onderzoek bij OpenAI, was de leidinggevende die het team op de hoogte bracht van het afwijzen van deze verzoeken, maar anderen bij het bedrijf, waaronder CTO Mira Moratti, waren betrokken bij het nemen van de beslissingen, aldus de bronnen. Noch McGraw, noch Moratti reageerden op verzoeken om commentaar op dit verhaal.

Terwijl het team wat onderzoek deed, werd het vrijgegeven papier De bron beschrijft zijn ervaringen met het succesvol verkrijgen van een minder krachtig AI-model om een ​​krachtiger model in december 2023 te besturen, zei de bron dat het gebrek aan rekenkracht de ambitieuzere ideeën van het team dwarsboomde.

Na zijn ontslag plaatste Laike vrijdag een reeks berichten op X (voorheen Twitter) waarin hij kritiek uitte op zijn voormalige werkgever en zei: “Veiligheidscultuur en -processen hebben een achterbank ingenomen ten opzichte van glimmende producten.” Hij zei ook: “De afgelopen maanden heeft mijn team tegen de wind in gevaren. Soms hadden we moeite met rekenen en het voltooien van dit belangrijke onderzoek werd steeds moeilijker.

Vijf bronnen die bekend waren met het werk van het Superalignment-team ondersteunden het verhaal van Leike en zeiden dat de problemen met de computertoegang verergerden in de nasleep van de impasse voorafgaand aan Thanksgiving tussen Altman en de raad van bestuur van de non-profitorganisatie OpenAI.

Sutskever, die lid was van het bestuur, had gestemd om Altman te ontslaan en was de door het bestuur gekozen persoon om Altman op de hoogte te stellen van het nieuws. Toen OpenAI-medewerkers in reactie op de beslissing in opstand kwamen, plaatste Sutskever later op X dat hij “diepe spijt” had van zijn betrokkenheid bij het ontslag van Altman. Uiteindelijk werd Altman herbenoemd en stapten Sutskever en verschillende andere bestuursleden die bij zijn ontslag betrokken waren, terug uit het bestuur. Sutskever is nooit meer bij OpenAI gaan werken nadat Altman opnieuw was aangenomen, maar hij verliet het bedrijf pas vorige week officieel.

Eén bron was het niet eens met de werkwijze van de andere bronnen geluk Ze sprak over de computerproblemen waarmee Superalignment werd geconfronteerd en zei dat deze dateren van vóór de betrokkenheid van Sutskever bij de mislukte staatsgreep, die de groep vanaf het begin had geplaagd.

Hoewel er enkele berichten waren dat Sutskever het Superalignment-team op afstand bleef co-leiden, zeiden bronnen die bekend waren met het werk van het team dat dit niet het geval was en dat Sutskever geen toegang had tot het werk van het team en daarna geen rol speelde bij het aansturen van het team. . Dankzegging.

Met het vertrek van Sutskever verloor het Superalignment-team de enige persoon in het team die voldoende politiek kapitaal binnen de organisatie had om met succes te pleiten voor de toe-eigening van de computer, aldus bronnen.

Naast Leike en Sutskever heeft OpenAI de afgelopen maanden zeker zes andere AI-veiligheidsonderzoekers van verschillende teams verloren. Een van de onderzoekers, Daniel Cocotaylo, vertelde de nieuwssite Vox dat hij “geleidelijk het vertrouwen verloor in het leiderschap van OpenAI en hun vermogen om op verantwoorde wijze met AGI om te gaan, dus nam ik ontslag.”

In reactie op de opmerkingen van Leike plaatsten Altman en mede-oprichter Greg Brockman, de president van OpenAI, op [Leike] Voor alles wat hij deed voor OpenAI. De twee schreven verder: “We moeten de lat van ons veiligheidswerk steeds hoger blijven leggen om de risico’s van elk nieuw model op te vangen.”

Vervolgens gaven ze hun visie op de aanpak van het bedrijf ten aanzien van de toekomstige AI-veiligheid, waarbij een veel grotere nadruk zal worden gelegd op het testen van modellen die momenteel in ontwikkeling zijn, in plaats van te proberen theoretische benaderingen te ontwikkelen over hoe toekomstige, krachtigere modellen veilig kunnen worden gemaakt. “We hebben een zeer nauwe feedbackloop nodig, rigoureuze tests, zorgvuldige afweging bij elke stap, beveiliging van wereldklasse en harmonie tussen veiligheid en capaciteiten”, schreven Brockman en Altman, eraan toevoegend dat “ervaringsbegrip kan helpen de weg vooruit te bepalen.”

De mensen met wie ze spraken geluk Ze deden dit anoniem, ofwel omdat ze zeiden dat ze bang waren hun baan te verliezen, ofwel omdat ze bang waren gevestigde aandelen in het bedrijf te verliezen, of beide. Werknemers die OpenAI verlieten werden gedwongen scheidingsovereenkomsten te ondertekenen die een strikte niet-kleinerende clausule bevatten waarin stond dat het bedrijf hun verworven aandelen kon terugkopen als ze het bedrijf publiekelijk bekritiseerden, of zelfs als ze toegaven dat de clausule bestond. Medewerkers is verteld dat iedereen die weigert de scheidingsovereenkomst te ondertekenen, ook zijn aandelen zal verliezen.

Na Vos genoemd Met betrekking tot deze scheidingsvoorwaarden plaatste Altman op X dat hij niet op de hoogte was van deze clausule en zich “echt in verlegenheid bracht” door dit feit. Hij zei dat OpenAI nooit heeft geprobeerd de clausule af te dwingen en verworven aandelen voor wie dan ook terug te vorderen. Hij zei dat het bedrijf bezig was met het bijwerken van de exit-papieren om het probleem ‘op te lossen’ en dat alle voormalige werknemers die zich zorgen maakten over de bepalingen in de exit-papieren die ze hadden ondertekend, rechtstreeks contact met hen konden opnemen over de kwestie en dat ze zouden worden veranderd.