“60 Minutes” deed een behoorlijk vervelende bewering over een Google AI-chatbot

Sinds OpenAI ChatGPT op de wereld heeft losgelaten, hebben we gezien dat het mensen nodig heeft die je niet zou geloven. Sommige mensen hebben beweerd dat chatbots een ontwaakte agenda hebben. De Amerikaanse senator Chris Murphy tweette dat ChatGPT zichzelf geavanceerde scheikunde “heeft geleerd”. Zelfs doorgewinterde techjournalisten hebben verhalen geschreven over hoe het werkt De chatbot werd verliefd op ze. Het lijkt alsof de wereld op dezelfde manier op de AI reageert als holbewoners waarschijnlijk reageerden toen ze voor het eerst vuur zagen: met totale verwarring en onsamenhangend gebabbel.

Een van de meest recente voorbeelden komt uit 60 minuten, die zijn stem in de ring gooide met een nieuwe aflevering gericht op innovaties in kunstmatige intelligentie die werd uitgezonden op CBS Sunday. De aflevering bevatte interviews met onder meer Sundar Pichai, CEO van Google, en bevatte twijfelachtige inhoud Claims over een van de grote taalmodellen (LLM) van het bedrijf.

Het segment gaat over opkomend gedrag, dat een onverwacht neveneffect beschrijft van een AI-systeem dat niet noodzakelijk was bedoeld door de ontwikkelaars van het model. We hebben al opkomend gedrag zien opduiken in andere recente AI-projecten. Onderzoekers hebben bijvoorbeeld onlangs ChatGPT gebruikt om digitale persona’s met doelen en achtergrond te creëren in een studie die vorige week online is gepubliceerd. Ze merken op dat het systeem verschillende opkomende gedragingen uitvoert, zoals het delen van nieuwe informatie van het ene personage naar het andere en zelfs het aangaan van relaties met elkaar – iets wat de auteurs aanvankelijk niet hadden gepland voor het systeem.

Opkomend gedrag is zeker een waardevol onderwerp om te bespreken in een nieuwsprogramma. waar is de 60 minuten De video neemt echter een wending als we horen over beweringen dat de chatbot van Google zichzelf een taal kon leren die hij voorheen niet kende nadat hem in die taal was gevraagd. “Een AI-programma van Google paste zich bijvoorbeeld vanzelf aan nadat hem was opgedragen dit te doen in de taal van Bangladesh, die het niet was opgeleid om te kennen”, zei CBS News-verslaggever Scott Pelley in de video.

AI-experts zeggen dat dit een volwaardige bachelor is. De robot kon niet alleen een vreemde taal niet leren die hij ‘nooit heeft geleerd’, maar hij heeft zichzelf ook nooit een nieuwe vaardigheid aangeleerd. De hele clip zette AI-onderzoekers en -experts ertoe aan kritiek te uiten op de misleidende framing van de nieuwsshow op Twitter.

“Ik hoop zeker dat sommige journalisten het hele @60Minute-segment op Google Bard zullen bekijken als een casestudy over hoe AI *niet* behandeld kan worden”, zegt Melanie Mitchell, een AI-onderzoeker en professor aan het Santa Fe Institute, schreef hij in een tweet.

“Stop met denken over technologie! Het is niet mogelijk voor #AI om in het Bengaals te reageren, tenzij de trainingsgegevens besmet zijn met het Bengaals of zijn getraind in een taal die overlapt met het Bengaals, zoals Assamees, Oriya of Hindi, ” zei mevr. Alex O. onderzoeker aan het Massachusetts Institute of Technology, Toegevoegd in een ander bericht.

Het is niks waard 60 minuten De clip zei niet precies welke AI ze gebruikten. Een CBS-woordvoerder vertelde The Daily Beast dat het segment geen discussie over Bard was, maar een apart programma over kunstmatige intelligentie. De redenen waarom dit deel voor deze experts zo frustrerend is, is echter dat het de realiteit negeert en speelt met de realiteit van wat generatieve AI eigenlijk kan doen. Het kan zichzelf geen taal “leren” als het er in de eerste plaats geen toegang toe heeft. Dit zou hetzelfde zijn als proberen jezelf Mandarijn te leren, maar je hoorde het pas nadat iemand je een keer Mandarijn had gevraagd.

Taal is tenslotte ongelooflijk complex – met nuances en regels die een ongelooflijke mate van context vereisen om te begrijpen en te communiceren. Er is geen manier voor zelfs de meest geavanceerde LLM om dat allemaal met een paar aanwijzingen te verwerken en te leren.

Bovendien is de AI-software mogelijk al getraind om Bengaals, de dominante taal van Bangladesh, te kennen. Margaret Mitchell (geen familie), onderzoeker in het Startup Lab bij AT HuggingFace en voorheen bij Google, legde dit uit in Tweet-onderwerp Geef een argument waarom 60 minuten Het was waarschijnlijk een vergissing.

Mitchell merkte op dat Bard – Google’s onlangs geïntroduceerde openbaar beschikbare chatbot – werk bevat van een vroege iteratie van zijn model genaamd PaLM. In een demonstratie in 2022 liet Google zien dat PaLM kan communiceren en reageren op prompts in het Bengaals. de Papier achter PaLM Het onthulde in een datasheet dat het model daadwerkelijk was getraind in de taal met ongeveer 194 miljoen symbolen in het Bengaalse alfabet.

Hoewel we niet weten wat het afzonderlijke mysterieuze AI-programma was, was het waarschijnlijk gebaseerd op hetzelfde werk van PaLM – wat de aanwezigheid van Bengaals in de dataset zou verklaren.

Het is onduidelijk waarom Pichai, de CEO van Google, ging zitten voor het interview en deze beschuldigingen ongehinderd door liet gaan. (Google reageerde niet op verzoeken om commentaar.) Sinds de uitzending van de aflevering is hij stil gebleven ondanks experts die wezen op de misleidende en valse beweringen in de clip. Op TwitterMargaret Mitchell Voorstel De reden hierachter zou een combinatie kunnen zijn van Google-leiders die niet weten hoe hun producten werken en ook dat het slechte berichtgeving mogelijk maakt om de huidige hype rond generatieve AI aan te pakken.

“Ik verdenk [Google executives] Ik begrijp letterlijk niet hoe het werkt, Mitchell tjilpen. “Wat ik hierboven schreef, is hoogstwaarschijnlijk nieuws voor hen. En ze zijn gemotiveerd om het niet te begrijpen (SPREEK JE OGEN TEGEN DIT GEGEVENSBLAD!!).”

De tweede helft van de video kan ook als problematisch worden beschouwd, aangezien Pichai en Billy een kort verhaal bespreken dat Bard had gemaakt en dat “erg menselijk klonk”, waardoor de twee mannen enigszins geschokt achterbleven.

De waarheid is dat deze producten geen magie zijn. Ze kunnen niet “menselijk” zijn omdat ze geen mens zijn. Het zijn tekstvoorspellers zoals die op je telefoon, getraind om de meest waarschijnlijke woorden en zinnen te bedenken na een reeks woorden in zinnen. Zeggen dat ze bestaan, kan hen een niveau van macht geven dat ongelooflijk gevaarlijk kan zijn.

Gebruikers kunnen deze generatieve AI-systemen immers gebruiken om bijvoorbeeld verkeerde informatie te verspreiden. We hebben al gezien dat dit de gelijkenissen van mensen en zelfs hun stemmen manipuleerde.

Zelfs een chatbot op zichzelf kan schade aanrichten als hij bevooroordeelde resultaten oplevert – iets wat we al hebben gezien bij onder meer ChatGPT en Bard. Wetende dat deze chatbots de neiging hebben om te hallucineren en resultaten te fabriceren, kunnen ze misinformatie verspreiden onder nietsvermoedende gebruikers.

Onderzoek bevestigt dit ook. Een recente studie Geplaatst in Wetenschappelijke rapporten Hij ontdekte dat menselijke reacties op ethische vragen gemakkelijk beïnvloed konden worden door de argumenten van ChatGPT – en zelfs dat gebruikers enorm onderschatten hoeveel invloed bots op hen hadden.

Misleidende beweringen over 60 minuten Het is eigenlijk slechts een symptoom van de grotere behoefte aan digitale geletterdheid in een tijd waarin we die het hardst nodig hebben. Veel AI-experts zeggen dat het nu, meer dan ooit, het moment is waarop mensen zich bewust moeten zijn van wat AI wel en niet kan. Deze basisfeiten over robotica moeten ook effectief worden gecommuniceerd naar het grote publiek.

Dit betekent dat de mensen met de grootste platforms en de luidste stemmen (d.w.z. de media, politici en CEO’s van Big Tech) de meeste verantwoordelijkheid dragen bij het waarborgen van een veiligere en beter opgeleide AI-toekomst. Als we dat niet doen, zouden we kunnen eindigen zoals de eerder genoemde holbewoners, spelend met de magie van vuur – en daarbij verbranden.

Noot van de redactie: een eerdere versie van dit verhaal zei dat de AI die in het 60 Minutes-segment werd besproken, Bard was toen het een afzonderlijke Google AI was.