Moet je objecten uit foto’s halen? Welk onderdeel doet precies dat

Deel alles, onlangs uitgebracht door Facebook Research, doet iets dat de meeste mensen die ondergedompeld zijn in computervisie ontmoedigend vinden: betrouwbaar weten welke pixels in een afbeelding bij een object horen. Dit gemakkelijker maken is het doel van het Segment Anything Model (SAM), dat onlangs is uitgebracht onder de Apache 2.0-licentie.

De resultaten zien er geweldig uit en zijn er ook Interactieve presentatie beschikbaar Je kunt spelen met de verschillende manieren waarop SAM werkt. Men kan dingen oppikken door op een afbeelding te wijzen en te klikken, of de afbeeldingen kunnen automatisch worden opgedeeld. Eerlijk gezegd is het indrukwekkend om te zien hoe SAM het maskeren van verschillende objecten in een afbeelding zo moeiteloos lijkt. Wat dit mogelijk maakt, is machine learning, en een deel daarvan is het feit dat het model achter het systeem is getraind op een enorme dataset van hoogwaardige afbeeldingen en maskers, waardoor het uiterst efficiënt is in wat het doet.

Zodra de afbeelding is gesegmenteerd, kunnen deze maskers worden gebruikt om te communiceren met andere systemen, zoals objectdetectie (die identificeert en labelt wat het object is) en andere computervisietoepassingen. Dit systeem werkt krachtiger als ze toch weten waar ze moeten zoeken. dit Blogpost van Meta AI Hij gaat in op wat aanvullende details over wat er mogelijk is met SAM, volledige details in onderzoekspapier.

Dergelijke systemen zijn afhankelijk van datasets van hoge kwaliteit. Er gaat natuurlijk niets boven een heleboel gegevens uit de echte wereld, maar we hebben ook gezien dat het mogelijk is om geautomatiseerde gegevens te genereren die in werkelijkheid niet bestonden en bruikbare resultaten te krijgen.