Microsoft teasede eerder al een grote onthulling voor vandaag en nu hebben we van alles gehoord over de plannen van het bedrijf om stembediening een groter onderdeel van de Windows 11-ervaring te maken. Daarnaast lijkt AI dus nog een grotere rol te krijgen binnen het besturingssysteem.
De verwachting was eigenlijk ook dat deze aankondiging voornamelijk gefocust zou zijn op AI. Dat was deels dus ook het geval, maar opvallend genoeg is het niet alleen AI voor Copilot+ PC's. Microsoft belooft nu een "nieuwe golf van updates die elke Windows 11-pc een AI-pc maken – met Copilot in het middelpunt van alles".
Laten we het eerst maar eens hebben over de stembediening. Je kan "Hey Copilot" zeggen om de AI op te roepen. De Copilot-microfoon verschijnt dan in beeld en vanaf dat moment kan je opdrachten geven met je stem of een vraag stellen aan de AI. Door "Goodbye" te zeggen of het paneel te sluiten, beëindig je het gesprek automatisch. Er zijn ook speciale geluidjes te horen bij het starten en stoppen van een sessie, zodat het duidelijk is wanneer een sessie actief is.
De nieuwe AI-mogelijkheden
Ten eerste krijgt de Windows 11-taakbalk een 'Ask Copilot'-onderdeel en hier kan je ook met één klik toegang krijgen tot Copilot Voice en Vision via hun iconen (een bril en een microfoon) als je deze functie inschakelt. Deze nieuwe functie moet ook zorgen voor een snellere, betere ervaring met het doorzoeken van Windows. Dat werd ook wel tijd en het is belangrijk om te weten dat je hiervoor geen toestemming aan Copilot hoeft te geven om al je bestanden te kunnen inzien.
Microsoft grootste plan met betrekking tot AI, die binnenkort dus in de testfase komt, is echter wel de introductie van 'Copilot Actions' voor de bestanden op je pc.
Als Copilot Actions je bekend voorkomt, dan kan dat zijn omdat dit iets is dat Microsoft eerder al introduceerde voor het web. De AI kan daarbij online gaan om bepaalde taken voor je uit te voeren, zoals het boeken van een hotelkamer of het kopen van tickets voor een concert.
In een nieuwe 'experimentele modus' binnenin Copilot Labs voor testers zal Microsoft het mogelijk maken om AI-acties uit te laten voeren met bestanden op de lokale schijven van je Windows 11-pc. Dat betekent bijvoorbeeld dat je de AI een map vol met oude foto's kan laten doorzoeken en alle dubbele foto's kan laten verwijderen of dat je iets heel specifieks uit een oud document naar voren kan laten halen.
Je moet hiervoor simpelweg omschrijven wat je wil dat de AI-agent doet (met je stem, als je dat wil) en vervolgens zal deze agent volgens Microsoft proberen om de taak te volbrengen door te interacteren met je desktop en webapplicaties.
Je kan zo'n taak dus overlaten aan de AI, zelf iets anders gaan doen en af en toe even checken of er al vooruitgang is. Natuurlijk bestaat er altijd een kans dat AI fouten maakt en Microsoft geeft daarom ook aan dat het testen van deze ervaring in de praktijk erg belangrijk is. Het bedrijf start daarom ook eerst met wat beperktere opties om langzaamaan te beginnen en te bekijken of alles goed gaat.
Microsoft benadrukt ook het belang van veiligheid hierbij. Er moet namelijk een goede beveiliging zijn tegen nieuwe soorten bedreigingen die dit systeem kan introduceren, zoals aanvallen waarbij externe partijen proberen om de instructies die je aan AI-agents geeft aan te passen en ze andere instructies te geven.
Microsoft zegt dat het nieuwe veiligheids- en privacy-principes zal hanteren bij het introduceren van de nieuwe mogelijkheden voor AI in Windows. Daarbij krijgt AI ook maar beperkte privileges en toestemmingen (voor bestanden waar jij de AI toegang toe geeft).
Naast Copilot Actions is er nu ook een algemene AI-agent voor Windows 11 genaamd Manus. Deze agent kan complexe taken uitvoeren en Microsoft geeft als voorbeeld dat het zelfs een website voor je kan creëren. Als je Manus in Verkenner gebruikt, kan je aan de hand van een selectie van documenten en afbeeldingen in een mapje een website laten bouwen gebaseerd op dit materiaal. Dat klinkt erg indrukwekkend.
Microsoft introduceert verder ook meer opties om Copilot met andere programma's te verbinden, zoals met Gmail. Je kan verschillende diensten in de Copilot-app verbinden en in het geval van Gmail dus bijvoorbeeld aan Copilot vragen hoe je agenda eruitziet. De Copilot-app kan je ook helpen bij het 'fine-tunen' van je pc-instellingen, zoals het bedrijf al eerder had onthuld.
Een grote stap voor AI
Al deze nieuwe mogelijkheden zijn dus nog in ontwikkeling, en nog niet eens in de testfase. Het kan dus ook nog wel even duren voordat veel van deze onderdelen van Copilot zullen verschijnen op jouw pc.
Vooral het idee dat Copilot toegang kan krijgen tot de bestanden op je pc is natuurlijk iets waar Microsoft heel zorgvuldig mee moet omgaan. Het bedrijf geeft niet voor niets zelf ook al aan dat dit natuurlijk veiligheidsrisico's met zich meebrengt.
We moeten daarnaast niet onderschatten wat Microsoft hier van plan is. Het idee van Copilot Actions is natuurlijk dat een AI-agent bepaalde taken van je kan overnemen dankzij toegang tot je bestanden, zicht op je bureaublad en geavanceerde redenering om te kunnen klikken, typen en scrollen zoals een echt persoon dat ook zou doen (maar dan zonder muis en toetsenbord natuurlijk).
Dit is dus waar Microsoft het over heeft als het zegt dat je je muis en toetsenbord minder hoeft te gaan gebruiken. Het gaat niet alleen om stembediening als optie in Windows 11 of vragen stellen via de Copilot-app, maar het gaat vooral om AI die taken voor je uitvoert binnen het besturingssysteem via Voice, Vision én Actions.
Microsoft benadrukt echter wel hoe belangrijk stembediening is en geeft aan dat hoe meer details en context je kan delen met een AI, hoe beter de reacties zullen zijn. Het is veel fijner om dit soort gedetailleerde informatie uit te spreken dan om het uit te typen.
Mehdi stelt dan ook dat het opvalt dat mensen via stembediening "twee keer zoveel" met Copilot interacteren wanneer ze hun stem (kunnen) gebruiken dan wanneer ze tekst gebruiken. De nieuwe 'Hey Copilot'-activeringszin is dus een manier om interactie met Copilot nog eenvoudiger (en laagdrempeliger) te maken op je desktop.
Volgens Mehdi moet deze optie om met AI om te gaan via een gesprek net zo transformatief worden als de introductie van een muis en toetsenbord. Het gaat dan specifiek om de nieuwe mogelijkheden die het biedt aan pc-gebruikers.
Het mag dus duidelijk zijn dat dit een belangrijke aankondiging is voor Windows 11. Tot nu toe voelden de AI-implementaties binnen Windows voor veel mensen nogal teleurstellend, maar deze nieuwe mogelijkheden klinken erg indrukwekkend. En deze mogelijkheden komen dus niet allemaal alleen naar Copilot+ PC's, maar gewoon naar Windows 11-pc's in het algemeen.
