Microsoft wil van Windows een AI-aangedreven besturingssysteem maken en lanceert Copilot+ pc’s

Een aankomende terugroepfunctie in Windows 11 zou kunnen “onthouden” welke apps en inhoud een gebruiker weken of zelfs maanden geleden op zijn computer heeft geopend, bijvoorbeeld om hem te helpen een Discord-chat te vinden waarin hij de kleding besprak die hij wilde kopen. Gebruikers kunnen de tijdlijn van Recall gebruiken om “terug te scrollen” om te zien waar ze in het recente verleden aan hebben gewerkt en zich te verdiepen in bestanden zoals PowerPoint-presentaties om informatie te bekijken die relevant kan zijn voor hun zoekopdrachten.

Microsoft zegt dat Recall associaties kan creëren tussen kleuren, afbeeldingen en meer, zodat gebruikers in natuurlijke taal naar vrijwel alles op hun computer kunnen zoeken (vergelijkbaar met de technologie van startup Rewind); Ontwikkelaars kunnen de herinnering verbeteren door contextuele informatie aan hun applicaties toe te voegen. Microsoft beweert dat alle gebruikersgegevens die verband houden met Recall privé blijven en zich op het apparaat bevinden, en niet worden gebruikt om AI-modellen te trainen, wat belangrijk is.

hier meer Van Microsoft: “Uw snapshots zijn van u; ze blijven lokaal op uw computer. U kunt individuele snapshots verwijderen, tijdsbereiken aanpassen en verwijderen in de instellingen, of op elk gewenst moment rechtstreeks pauzeren via het pictogram in het systeemvak op de taakbalk filter apps en websites zodat ze nooit worden opgeslagen.

Beeldbewerking en live vertalingen

Er zit nu meer AI in Windows dan ooit tevoren en een deel ervan is exclusief voor de nieuwe Copilot+ pc’s.

Een nieuwe functie genaamd Supersolution kan oude foto’s herstellen door ze automatisch op te schalen. Copilot kan nu afbeeldingen analyseren om gebruikers ideeën te geven voor creatieve composities. Via een functie genaamd Cocreator kunnen gebruikers afbeeldingen maken en het AI-model ook laten volgen wat ze tekenen om de afbeelding te veranderen of opnieuw te ontwerpen.

Elders vertaalt Live Captions met ondertiteling alle audio die door een computer gaat (of het nu van YouTube of een lokaal bestand is) naar de taal van de keuze van de gebruiker. Live vertalingen ondersteunen in eerste instantie ongeveer 40 talen, waaronder Engels, Spaans, Mandarijn en Russisch.

Een aparte maar gerelateerde nieuwe functie in Microsoft Edge biedt realtime videovertaling op sites als LinkedIn, YouTube, Coursera, Reuters, CNBC, Bloomberg en meer. Deze functie is gepland om in de nabije toekomst beschikbaar te komen en ondersteunt de vertaling van Spaans naar Engels, Engels naar Duits, Hindi, Italiaans, Russisch en Spaans, en vertaalt gesproken inhoud via nasynchronisatie en live ondertiteling.

Co-piloot en accessoires

Team Copilot is de nieuwste uitbreiding van Microsofts groeiende Copilot-portfolio van generatieve AI-technologieën. Het kan worden geïntegreerd met Teams, de app voor videoconferenties van het bedrijf, om vergaderagenda’s te helpen beheren en aantekeningen te maken waar iedereen in de vergadering co-auteur van kan zijn. Het strekt zich uit tot Loop en Planner, de samenwerkings- en planningsplatforms van Microsoft, om taken te creëren en toe te wijzen, deadlines bij te houden en teamleden op de hoogte te stellen wanneer hun inbreng nodig is.

In enigszins gerelateerd Copilot-nieuws heeft Microsoft (in privé preview) Copilot Extensions gelanceerd, waarmee ontwikkelaars GitHub’s eigen codegeneratietool GitHub Copilot kunnen uitbreiden met apps en vaardigheden van derden. Lanceringspartners zijn onder meer DataStax, Docker en LambdaTest; De extensies zullen op de GitHub Marketplace staan, maar ontwikkelaars kunnen ook hun eigen extensies maken om te integreren met hun interne systemen en API’s.

Copilot-runtime in Windows

Mogelijkheden als Recall en Supersolution worden uitgeschakeld door de Windows Copilot Runtime, een verzameling van ongeveer 40 generatieve AI-modellen die deel uitmaken van wat Microsoft beschrijft als een ‘nieuwe laag’ van Windows. Gecombineerd met Semantic Index, een vectorgebaseerd systeem dat eigen is aan een individuele Copilot+ PC, zorgt de Windows Copilot Runtime ervoor dat AI-aangedreven applicaties – inclusief applicaties van derden – kunnen draaien zonder dat er noodzakelijkerwijs een internetverbinding nodig is.

“[The runtime] Bestaat uit kant-en-klare AI API’s zoals Studio Effects, Live Captions, OCR, Recall met gebruikersactiviteit en [more]Davuluri zei dinsdag dat de app in juni beschikbaar zal zijn voor ontwikkelaars.

Microsoft zegt dat CapCut, de populaire video-editor van TikTok-eigenaar ByteDance, de Windows Copilot Runtime en de bijbehorende nieuwe Windows Copilot-bibliotheek, een reeks API’s en AI-ontwikkeltools, zal gebruiken om de AI-functies te versnellen. Meta zal de bovenstaande Studio-effecten aan WhatsApp toevoegen om functies zoals achtergrondvervaging en oogcontact tijdens videogesprekken te bieden.

Upgrade robotbouwers

Azure AI Studio, de reeks tools binnen de Azure OpenAI-service van Microsoft waarmee klanten een AI-model kunnen combineren en een app kunnen maken die over die gegevens ‘denkt’, zal ontwikkelaars binnenkort apps laten bouwen met behulp van ‘pay-as-you-go’-inferentie-API’s – API’s waar ontwikkelaars toegang toe hebben en generatieve AI-modellen die op de Azure-infrastructuur worden gehost, kunnen verfijnen. Microsoft noemt dit het ‘as-a-service-model’ en wordt om te beginnen gelanceerd met modellen van Nixtla en Core42.

In de aangrenzende Copilot Studio-productsuite lanceert Microsoft Copilot Agents, die het bedrijf beschrijft als AI-bots die “autonoom taken kunnen coördineren die zijn afgestemd op specifieke rollen en functies.” (Copilot Studio biedt tools om Copilot voor Microsoft 365, de door AI aangedreven ‘copilot’ in toepassingen als Excel en Word, te verbinden met gegevens van derden.) Door gebruik te maken van geheugen en contextkennis kunnen Copilot-agenten door verschillende soorten zakelijke workflows navigeren, leren van de opmerkingen van gebruikers en om hulp vragen als ze in situaties terechtkomen waarvan ze niet weten hoe ze ermee om moeten gaan.

Leeuwebek-ontwikkelingskit

Er is een nieuwe ontwikkelingskit van Qualcomm bedoeld voor ontwikkelaars die apps maken voor Copilot+ pc’s die zijn uitgerust met Arm-chips

De Snapdragon Dev Kit voor Windows van $ 899,99 (die ongeveer dezelfde breedte, hoogte en lengte meet als de Mac Mini van Apple) bevat Qualcomm’s Snapdragon en een heleboel I/O-bewerkingen. De Dev Kit ondersteunt Wi-Fi 7 en Bluetooth 5.4, en kan via de verschillende USB-C- en HDMI-poorten maximaal drie 4K-schermen tegelijkertijd van stroom voorzien.

PHI-3

Microsoft heeft een toevoeging aangekondigd aan de Phi generatieve AI-modelfamilie, Phi-3-vision, die algemene visuele analyse- en redeneringstaken kan uitvoeren, zoals het beantwoorden van vragen over grafieken en afbeeldingen. Het model kan zowel tekst als afbeeldingen lezen en is efficiënt genoeg om op een mobiel apparaat te draaien.

De Phi-3-vision is beschikbaar als preview, terwijl de eerder aangekondigde tegenhangers van het model met alleen tekst – de Phi-3-mini, Phi-3-small en Phi-3-medium – nu algemeen beschikbaar zijn.

Samenwerking met Khan Academy

Microsoft werkt samen met Khan Academy om toegang tot cloud computing-infrastructuur te doneren, waardoor Khan Academy docenten in de Verenigde Staten gratis toegang kan bieden tot de AI-aangedreven tools van Khan Academy. Microsoft zei dinsdag dat de twee bedrijven ook zullen samenwerken om mogelijkheden te onderzoeken om AI-toepassingen voor wiskundeonderwijs te verbeteren door middel van generatieve AI.

We lanceren een AI-gestuurde nieuwsbrief! abonnement hier Vanaf 5 juni ontvang je ze in je inbox.