Apple brengt open source AI-modellen uit die op het apparaat draaien

Apple heeft vandaag verschillende open source large-taalmodellen (LLM's) uitgebracht die zijn ontworpen om op apparaten te draaien in plaats van via cloudservers. LLM-programma's, genaamd OpenELM (Open Source Efficient Language Models), zijn beschikbaar op Het middelpunt van het knuffelende gezichteen community voor het delen van AI-code.

Zoals weergegeven in het witboek [PDF]Er zijn in totaal acht OpenELM-modellen, waarvan er vier vooraf zijn getraind met behulp van de CoreNet-bibliotheek, en vier op instructies afgestemde modellen. Apple gebruikt een laagschalingsstrategie die gericht is op het verbeteren van de nauwkeurigheid en efficiëntie.

Apple heeft code, trainingslogboeken en meerdere versies geleverd in plaats van alleen het uiteindelijke trainingsmodel, en de onderzoekers achter het project hopen dat dit zal leiden tot snellere vooruitgang en “betrouwbaardere resultaten” op het gebied van natuurlijke taal-AI.

OpenELM, een open evoluerend taalmodel. OpenELM maakt gebruik van een laagschalingsstrategie om parameters binnen elke laag van het transformatormodel efficiënt toe te wijzen, wat resulteert in verbeterde nauwkeurigheid. Met een parameterbudget van ongeveer 1 miljard parameters laat OpenELM bijvoorbeeld een verbetering van 2,36% in nauwkeurigheid zien ten opzichte van OLMo, terwijl er twee keer minder tokens nodig zijn om vooraf te trainen.

Onze versie breekt met eerdere praktijken die alleen modelgewichten, gevolgtrekkingscode en pre-training op privé-datasets bieden, en bevat het volledige raamwerk voor het trainen en evalueren van het taalmodel op openbaar beschikbare datasets, inclusief trainingslogboeken, meerdere controlepunten en pre- punten. Trainingsconfiguraties.

Apple zegt dat het OpenELM-modellen lanceert om “de open onderzoeksgemeenschap te versterken en te verrijken” met geavanceerde taalmodellen. Het delen van modellen in open source geeft onderzoekers een manier om risico's, gegevens en modelvooroordelen te onderzoeken. Ontwikkelaars en bedrijven kunnen de sjablonen ongewijzigd gebruiken of er wijzigingen in aanbrengen.

Het openlijk delen van informatie is voor Apple een belangrijk instrument geworden om topingenieurs, wetenschappers en experts te werven, omdat het mogelijkheden biedt voor onderzoekspapers die normaal gesproken niet zouden zijn gepubliceerd onder het vertrouwelijkheidsbeleid van Apple.

Apple heeft dit soort AI-mogelijkheden nog niet naar zijn apparaten gebracht, maar iOS 18 zal naar verwachting een aantal nieuwe AI-functies bevatten, en geruchten suggereren dat Apple van plan is zijn eigen grote taalmodellen op het apparaat te gebruiken voor privacydoeleinden.