Gemini ora vede il tuo schermo (e giudica i tuoi tab)

Google Gemini AI
(Immagine:: Google)

Google Gemini Live sta finalmente acquisendo la vista. Il colosso di Mountain View ha iniziato silenziosamente a distribuire nuove funzioni che trasformano lo smartphone in un occhio digitale per il suo assistente IA.

A scoprirlo è stato un utente su Reddit, che ha anche condiviso un video delle novità in azione. L’aggiornamento consente a Gemini di osservare ciò che accade sullo schermo o attraverso la fotocamera del telefono. Si tratta, di fatto, del debutto delle capacità annunciate in passato sotto il nome di Project Astra.

Nel video, si vede Gemini analizzare lo schermo in tempo reale grazie a un nuovo pulsante "Condividi schermo con Live". Finora l’assistente era in grado di interpretare solo schermate statiche, ma questa funzione gli permette di seguire in modo continuo ciò che stai facendo sul telefono, per il meglio o per il peggio.

L’altra funzione trasforma invece la fotocamera del dispositivo negli occhi di Gemini. Google ha già mostrato in passato come l’IA possa riconoscere oggetti e colori con precisione, anche se non è ancora chiaro quanto la versione finale sarà vicina a quelle dimostrazioni ideali.

A short demo of Project Astra (Share screen with Live) from r/Bard

La nuova funzione è in arrivo inizialmente per gli abbonati a Gemini Advanced, il piano Google One da 20 dollari al mese che include le funzionalità IA avanzate. Il rollout sembra però piuttosto equo: nel video dell’utente Reddit, ad esempio, la funzione appare su uno smartphone Xiaomi, non su un Pixel o un Galaxy. E questo nonostante Google avesse lasciato intendere che i possessori di Pixel o Galaxy S25 avrebbero avuto accesso prioritario alle novità di Project Astra.

Altri assistenti IA dotati di "vista" esistono già, ma sono legati principalmente ad app di terze parti come Microsoft Copilot, ChatGPT, Grok o l'app HuggingSnap di Hugging Face. Avere invece un assistente integrato in Android con accesso diretto alla fotocamera e allo schermo in tempo reale potrebbe essere un motivo convincente per provare Gemini.

Il tempismo del rilascio non è casuale: Google punta a prendere un vantaggio nella corsa agli assistenti IA. Alexa Plus, l’aggiornamento promesso da Amazon, non è ancora arrivato. Siri, dal canto suo, ha subito diversi rinvii. Questo lascia a Google un margine temporaneo ma reale per distinguersi.

Nonostante i problemi iniziali e il travagliato rebranding (addio Bard), Gemini sta facendo cose che Siri e Alexa al momento non possono replicare. Google ha promesso che Project Astra sarà l'assistente "di nuova generazione" da usare ogni giorno. Quindi occhi aperti (anche quelli di Gemini): nuove funzioni potrebbero arrivare molto presto.

TOPICS

Nato nel 1995 e cresciuto da due genitori nerd, non poteva che essere orientato fin dalla tenera età verso un mondo fatto di videogiochi e nuove tecnologie. Fin da piccolo ha sempre esplorato computer e gadget di ogni tipo, facendo crescere insieme a lui le sue passioni. Dopo aver completato gli studi, ha lavorato con diverse realtà editoriali, cercando sempre di trasmettere qualcosa in più oltre alla semplice informazione. Amante del cioccolato fondente, continua a esplorare nuove frontiere digitali, mantenendo sempre viva la sua curiosità e la sua dedizione al settore.