Unieke visualisaties van neurale netwerken: machinedecoder versus menselijke sensorische herkenning

samenvatting: Een nieuwe studie duikt in de mysterieuze wereld van diepe neurale netwerken en ontdekt dat hoewel deze modellen objecten kunnen herkennen die lijken op menselijke sensorische systemen, hun herkenningsstrategieën verschillen van de menselijke perceptie. Wanneer netwerken wordt gevraagd stimuli te genereren die vergelijkbaar zijn met een bepaalde input, produceren ze vaak onherkenbare of vervormde beelden en geluiden.

Dit suggereert dat neurale netwerken hun eigen specifieke ‘constanten’ cultiveren, die sterk verschillen van menselijke perceptuele patronen. Het onderzoek biedt inzicht in het evalueren van modellen die menselijke zintuiglijke waarnemingen nabootsen.

Belangrijkste feiten:

1. Diepe neurale netwerken produceren bij het genereren van stimuli die lijken op een bepaalde input vaak beelden of geluiden die geen enkele gelijkenis vertonen met het doelwit.
2. Modellen lijken unieke constanten te ontwikkelen, verschillend van menselijke perceptuele systemen, waardoor ze stimuli anders waarnemen dan mensen.
3. Het gebruik van competitieve training kan door modellen gegenereerde stimuli herkenbaarder maken voor mensen, ook al zijn ze niet identiek aan de oorspronkelijke input.

bron: Massachusetts Institute of Technology

Menselijke sensorische systemen zijn erg goed in het herkennen van dingen die we zien of woorden die we horen, zelfs als het object ondersteboven ligt of het woord wordt uitgesproken met een geluid dat we nog nooit eerder hebben gehoord.

Computermodellen die bekend staan ​​als diepe neurale netwerken kunnen worden getraind om hetzelfde te doen: het correct identificeren van een afbeelding van een hond, ongeacht de kleur van zijn vacht, of het identificeren van een woord, ongeacht de toon van de stem van een spreker. Uit een nieuw onderzoek door neurowetenschappers van het MIT blijkt echter dat deze modellen vaak op dezelfde manier reageren op beelden of woorden die anders zijn dan het doelwit.

Wanneer deze neurale netwerken werden gebruikt om een ​​beeld of woord te genereren dat op dezelfde manier reageerde als een specifieke natuurlijke input, zoals een afbeelding van een beer, genereerden de meeste beelden of geluiden die menselijke waarnemers niet konden herkennen. Dit suggereert dat deze modellen hun eigen ‘invarianten’ bouwen, wat betekent dat ze op dezelfde manier reageren op stimuli met zeer verschillende kenmerken.

De bevindingen bieden onderzoekers een nieuwe manier om te evalueren hoe goed deze modellen de organisatie van de menselijke zintuiglijke waarneming nabootsen, zegt Josh McDermott, universitair hoofddocent hersen- en cognitieve wetenschappen bij MIT en lid van het McGovern Institute for Brain Research en MIT’s Center for Brains. . Geesten en machines.

“Dit artikel laat zien dat je deze modellen kunt gebruiken om abnormale signalen te extraheren die uiteindelijk leiden tot een diagnose van de representaties in het model”, zegt McDermott, hoofdauteur van het onderzoek. “Deze test moet onderdeel worden van een reeks tests die we gebruiken als veld om modellen te evalueren.”

Jenelle Feather Ph.D. ’22, nu research fellow bij het Centre for Computational Neuroscience van het Flatiron Institute, is hoofdauteur van het open access paper, dat vandaag verschijnt in Normale neurowetenschappen. Guillaume Leclerc, een afgestudeerde student aan het MIT, en Alexandre Madry, Cadence Professor of Design Systems for Computing aan het MIT, zijn ook auteurs van het artikel.

Verschillende percepties

De afgelopen jaren hebben onderzoekers diepe neurale netwerken getraind die miljoenen input (geluiden of afbeeldingen) kunnen analyseren en gemeenschappelijke kenmerken kunnen leren waarmee ze een doelwoord of object met dezelfde nauwkeurigheid kunnen classificeren als mensen. Deze modellen worden momenteel beschouwd als de toonaangevende modellen van biologische sensorische systemen.

Er wordt gedacht dat wanneer het menselijke sensorische systeem dit soort categorisering uitvoert, het kenmerken leert negeren die geen verband houden met de fundamentele identiteit van het object, zoals de hoeveelheid licht die erop schijnt of de hoek van waaruit het wordt bekeken. Dit staat bekend als invariantie, wat betekent dat objecten als hetzelfde worden waargenomen, zelfs als ze verschillen vertonen in de minder belangrijke kenmerken.

“Klassiek gezien is de manier waarop we over sensorische systemen dachten, dat ze invarianten bouwen voor alle bronnen van variatie die verschillende voorbeelden van hetzelfde kunnen hebben”, zegt Feather. “Het organisme moet waarnemen dat ze hetzelfde zijn, ook al verschijnen ze als totaal verschillende sensorische signalen.”

De onderzoekers vroegen zich af of diepe neurale netwerken die getraind zijn om classificatietaken uit te voeren soortgelijke invarianten zouden kunnen ontwikkelen. Om deze vraag te proberen te beantwoorden, gebruikten ze deze modellen om stimuli te genereren die hetzelfde type reactie binnen het model produceerden als een voorbeeldstimulans die de onderzoekers aan het model gaven.

Ze noemen deze stimuli ‘typische metingen’, waarmee ze een idee uit klassiek perceptieonderzoek nieuw leven inblazen, waarbij stimuli die niet te onderscheiden zijn van een systeem kunnen worden gebruikt om de constanten ervan te diagnosticeren. Het concept van analogieën werd oorspronkelijk ontwikkeld in de studie van de menselijke perceptie om kleuren te beschrijven die identiek lijken, ook al zijn ze samengesteld uit verschillende golflengten van licht.

Tot hun verbazing ontdekten de onderzoekers dat de meeste op deze manier geproduceerde beelden en geluiden niet leken op de voorbeelden die oorspronkelijk door de modellen werden gegeven. De meeste beelden bestonden uit een wirwar van willekeurig ogende pixels, en de geluiden leken op onverstaanbare ruis. Toen de onderzoekers de beelden aan menselijke waarnemers lieten zien, categoriseerden de mensen in de meeste gevallen de door de modellen gesynthetiseerde beelden niet in dezelfde categorie als het oorspronkelijke doelvoorbeeld.

“Ze zijn eigenlijk volkomen onherkenbaar voor mensen. Ze zien er niet natuurlijk uit en klinken niet natuurlijk, en ze hebben geen interpreteerbare kenmerken die iemand zou kunnen gebruiken om een ​​object of woord te classificeren”, zegt Feather.

De resultaten suggereren dat de modellen op de een of andere manier hun eigen constanten hebben ontwikkeld die verschillen van die in menselijke cognitieve systemen. Dit zorgt ervoor dat modellen stimulusparen als hetzelfde waarnemen, ook al zijn ze significant verschillend van mensen.

Jurisprudentiële constanten

De onderzoekers vonden hetzelfde effect bij veel verschillende visie- en gehoorparadigma’s. Elk van deze modellen lijkt echter zijn eigen unieke constanten te ontwikkelen. Toen meters van het ene model aan een ander model werden gepresenteerd, waren de meters in het tweede model niet zo herkenbaar als voor menselijke waarnemers.

“De belangrijkste conclusie hiervan is dat deze modellen zogenaamde karakteristieke invarianten lijken te hebben”, zegt McDermott. “Ze hebben geleerd invariant te zijn voor deze specifieke dimensies van het stimulusveld, dat specifiek is voor een specifiek model, zodat andere modellen niet dezelfde invarianten hebben.”

De onderzoekers ontdekten ook dat ze de metrieken van het model konden stimuleren om herkenbaarder te zijn voor mensen met behulp van een aanpak die vijandige training wordt genoemd. Deze aanpak is oorspronkelijk ontwikkeld om een ​​andere beperking van objectherkenningsmodellen te bestrijden, namelijk dat het introduceren van kleine, bijna onmerkbare veranderingen in een afbeelding ervoor kan zorgen dat het model het verkeerd herkent.

De onderzoekers ontdekten dat competitieve training, waarbij enkele van deze licht gewijzigde afbeeldingen in de trainingsgegevens werden opgenomen, modellen opleverde waarvan de meetgegevens beter herkenbaar waren voor mensen, hoewel ze nog steeds niet zo herkenbaar waren als de oorspronkelijke stimuli. De onderzoekers zeggen dat deze verbetering onafhankelijk lijkt te zijn van het effect van training op het vermogen van de modellen om vijandige aanvallen te weerstaan.

“Dit type training heeft een groot effect, maar we weten niet echt waarom dat effect bestaat”, zegt Feather. “Dit is een gebied voor toekomstig onderzoek.”

Het analyseren van metrieken geproduceerd door computationele modellen zou een nuttig hulpmiddel kunnen zijn om te helpen evalueren hoe nauw een computationeel model de basisorganisatie van menselijke perceptuele systemen nabootst, zeggen de onderzoekers.

“Dit is een gedragstest die je op een bepaald model kunt uitvoeren om te zien of de constanten gedeeld worden tussen het model en menselijke waarnemers”, zegt Feather. “Het kan ook worden gebruikt om te evalueren hoe specifiek de constanten binnen een bepaald model zijn, wat kan helpen potentiële manieren te onthullen om onze modellen in de toekomst te verbeteren.”

Financiering: De National Science Foundation, de National Institutes of Health, het Department of Energy Graduate Fellowship in Computational Science en een Friends of the McGovern Institute Fellowship financierden het onderzoek.

Over kunstmatige intelligentie en cognitie Onderzoeksnieuws

auteur: Sarah McDonnell
bron: Massachusetts Institute of Technology
communicatie: Sarah McDonnell – Massachusetts Institute of Technology
afbeelding: Afbeelding toegeschreven aan Neuroscience News

Originele zoekopdracht: Vrije toegang.
“Typische meetinstrumenten onthullen verschillende invarianten tussen biologische en kunstmatige neurale netwerken“Door Josh McDermott et al. Normale neurowetenschappen

een samenvatting

Typische meetinstrumenten onthullen verschillende invarianten tussen biologische en kunstmatige neurale netwerken

Diepe neurale netwerkmodellen van sensorische systemen worden vaak voorgesteld om representatieve transformaties met invarianties zoals die in de hersenen te leren. Om deze invarianten bloot te leggen, hebben we ‘modelmetrieken’ gecreëerd, dit zijn stimuli waarvan de activeringen binnen de modelfase overeenkomen met die in de natuurlijke stimulus.

Instrumenten voor moderne bewaakte en niet-gecontroleerde neurale netwerkmodellen van zicht en gehoor zijn vaak volledig onherkenbaar voor mensen wanneer ze worden gegenereerd in late modelfasen, wat duidt op verschillen tussen model- en menselijke invarianten. Gerichte modelveranderingen verbeterden de menselijke herkenning van modelmeetinstrumenten, maar elimineerden de algehele discrepantie tussen mens en model niet.

De menselijke herkenbaarheid van modelmetrieken wordt goed voorspeld door hun herkenbaarheid door andere modellen, wat suggereert dat modellen verschillende invarianten bevatten naast de invarianten die voor de taak vereist zijn.

De herkenbaarheid van metameren wordt losgekoppeld van zowel traditionele, op de hersenen gebaseerde als zwak vijandige criteria, waardoor een duidelijke faalwijze van bestaande sensorische modellen wordt onthuld en een aanvullend criterium voor modelevaluatie wordt geboden.