Che cos’è l’upscaling?

Upscaling
(Immagine:: Samsung)

In tempi non remoti la risoluzione 4K (3.840 x 2.160 pixel) si trovava solo sui migliori televisori, talvolta a prezzi proibitivi. Oggi è lo standard e ha sostituito quasi interamente i TV Full HD.

La lenta ma costante diffusione dei televisori 8K (7.680x4320 pixel) ci fa pensare che a nei prossimi anni questa risoluzione possa fare un percorso simile a quello percorso dal 4K.

Alla base del 4K e dell8K c’è l’upscaling: questa tecnologia incrementa la risoluzione (e di conseguenza la qualità dell’immagine) di un contenuto direttamente sullo schermo del televisore. Garantisce immagini nitide e vivide e permette di correggere eventuali errori o pixel assenti in caso di errori di comunicazione.

A cosa serve l’upscaling?

Potrebbe sembrare una funzionalità astratta o poco utilizzata, ma non è così. Il vostro televisore in 4K o 8K sfrutta spessissimo l’upscaling, a meno che non utilizziate ad un lettore Blu-Ray UltraHD oppure abbiate un abbonamento Premium su Netflix, quindi possiate accedere ad un segnale 4K/8K nativo

Nella quasi totalità dei casi, la qualità di ciò che state guardando è inferiore alla risoluzione dei vostri televisori e questo rende necessaria una rielaborazione delle immagini. Esiste infatti un divario tra la risoluzione della maggior parte dei contenuti video e le capacità di visualizzazione dei televisori. Per quanto siamo saldamente nell'era dei TV 4K, la stragrande maggioranza dei prodotti visivi che guardiamo ogni giorno è antecedente e guardare, ad esempio, un'immagine Full HD su un pannello 4K non la renderà migliore. 

Su uno schermo 4K senza upscaling l’immagine occuperebbe un quarto dello schermo non sfruttandone a pieno le dimensioni e la qualità. L’upscaling invece permette di adattare l’immagine alla risoluzione dello schermo.

Non avrebbe alcun senso utilizzare televisori dagli schermi enormi per poi venire penalizzati dagli orribili bordi neri intorno al contenuto multimediale che state guardando, ma grazie all’upscaling è stato possibile aumentare le dimensioni dei televisori sfruttando a pieno le potenzialità che offrono, talvolta migliorando addirittura la qualità delle immagini. Vediamo come.

Come funziona l’upscaling

I programmatori hanno insegnato ai televisori ad analizzare ed elaborare digitalmente le immagini in tempo reale per riempire o riparare pixel mancanti o danneggiati. Questo migliora non solo la risoluzione, ma permette anche di correggere eventuali errori di comunicazione.

Come in un computer, tutti i calcoli e le elaborazioni vengono svolte nel processore e per l’upscaling in particolare si ricorre a processi interpolatori. L’interpolazione è un metodo matematico tramite il quale è possibile stimare uno o più grandezze matematiche di cui non si hanno informazioni analizzando altri numeri ad essa in qualche modo correlati.

Vi chiederete cosa c’entrino i numeri con i pixel. Ebbene, il televisore dentro di sé associa il colore di un pixel a dei valori numerici. Un televisore (o uno schermo) non sa cosa significhi “rosso”, ma sa che a un determinato numero deve far corrispondere un comportamento specifico del pixel che poi ai nostri occhi apparirà rosso. 

Il meccanismo di interpolazione, come già detto, permette di generare nuovi pixel o correggere quelli già presenti, semplicemente basandosi sulla rappresentazione numerica di quelli circostanti. Il processo è tutt'altro che banale, tant'è che è stato necessario riprogettare il kernel dei televisori, ossia l’interfaccia che mette in collegamento l’hardware e il software del dispositivo. 

Questa riprogettazione ha permesso di integrare nei televisori meccanismi interpolatori che calcolano il colore dei pixel basandosi sui pixel circostanti, secondo delle priorità basate sul colore e sulla vicinanza.

Il kernel più basilare copia e incolla nel pixel mancante il colore del pixel più vicino. Questo metodo fa sì che l'immagine sembri formata da blocchi e talvolta presenta bordi scadenti. Vi sarà capitato di vedere un documento di testo in cui attorno ai caratteri è presente un alone grigio: è molto probabile che per generare tale immagine sia stato utilizzato il meccanismo appena descritto.

Questo grafico mostra il processo per il calcolo di un pixel vuoto (il punto verde "P") in base all'interpolazione bilineare.

Questo grafico mostra il processo per il calcolo di un pixel vuoto (il punto verde "P") in base all'interpolazione bilineare. (Image credit: Public Domain)

Esistono meccanismi interpolatori più raffinati come ad esempio l’interpolazione bilineare. Sfruttando questo meccanismo il pixel vuoto è confrontato con i due pixel più vicini per stabilire un colore che stia nel mezzo tra i due, rendendo l’immagine molto più coerente.

I risultati come potrete immaginare sono migliori, ma talvolta potrebbero essere incoerenti. Per questo motivo, i televisori più recenti e con la migliore qualità d’immagine sfruttano la cosiddetta interpolazione bicubica, la quale utilizza 16 pixel più vicini in tutte le direzioni per generare quello mancante. Sebbene questo metodo abbia più probabilità di ottenere pixel corretti e coerenti con l’immagine, può talvolta generare delle sfocature, soprattutto nei bordi.

Le formule matematiche che abbiamo appena descritto quindi non sono quindi sufficienti: statisticamente producono immagini accurate, ma non hanno modo di valutare esattamente il tipo di immagine che abbiamo al momento sullo schermo e quindi sapere con precisione qual è l’ottimizzazione migliore da applicare.

Non esiste un algoritmo o una funzione matematica in grado di ottenere sempre immagini di qualità adeguata. Le macchine più semplici non colgono queste sfumature e non sono in grado di scegliere quale algoritmo offrirà il risultato migliore ai nostri occhi. Questo perché la percezione umana è (per ora) pressoché impossibile da simulare tramite una macchina, ma con l’intelligenza artificiale ci stiamo avvicinando.

L’IA sviluppata per i televisori Samsung con tecnologia 8K è un interessante esempio.

Il ricorso all’intelligenza artificiale e al machine learning

(Image credit: Samsung)

Samsung ha chiamato la sua arma segreta MLSR (Machine Learning Super Resolution). Utilizzata nei televisori 8K, questo sistema basato sull'intelligenza artificiale scala le immagini a bassa risoluzione per adattarle alle specifiche dello schermo.

Avrete visto quel vecchio e ridicolo trucchetto che si vede nei film polizieschi o d’azione in cui un tecnico informatico ingrandisce e migliora la qualità di un'immagine sfocata con un semplice click. MLSR fa lo stesso, ma lo fa nella realtà e in un tempo infinitesimale, impercettibile a noi comuni osservatori. La tecnologia che prima era un semplice artificio cinematografico è diventata realtà nei nostri salotti.

Per fare questo, Samsung ha analizzato una grande quantità di contenuti video da fonti diverse (stream YouTube di alta e bassa qualità, DVD e Blu-ray, film ed eventi sportivi) e hanno creato due database di immagini, uno per le immagini di bassa qualità, l’altro per quelle di alta qualità.

Hanno poi insegnato all’intelligenza artificiale un processo chiamato degradazione inversa. Innanzitutto è stato effettuato un downgrade a risoluzioni inferiori delle immagini di alta qualità monitorando i dati visivi persi. Quindi hanno addestrato la macchina a recuperare e calcolare i dati mancanti per riportare l’immagine alla condizione originale.

I processori 8K di Samsung contengono un insieme di formule e un database contenente diversi oggetti, come una mela o la lettera "A". Quando il processore riconosce una mela sfocata nella mano di un attore, ripristinerà i bordi della mela, riparerà eventuali artefatti dovuti alla compressione e assicurerà che i pixel vuoti assumano la giusta tonalità di colore in base a come appaiono effettivamente le mele e non in base ad algoritmi basati sulla sola statistica.

Oltre al ripristino di oggetti specifici e per offrire la resa migliore possibile, l'IA regola e adatta il livello di dettaglio, la riduzione del rumore e il ripristino dei bordi in base a ciò che state guardando, sia questo uno sport, un film, una serie o un programma TV.

L’upscaling è quindi una tecnologia tanto rivoluzionaria quanto giovane, e probabilmente è una delle prime a basarsi fortemente sull’intelligenza artificiale a entrare nelle nostre case. Il miglioramento nella qualità delle immagini apre nuove e al momento imprevedibili possibilità , ma sicuramente, grazie all’intelligenza artificiale e al suo utilizzo abbiamo buone possibilità di avere televisori sempre più grandi e con dettagli curati fin nei minimi particolari.