Hai mai pensato a quanto sarebbe bello restaurare una immagine vecchia in bianco e nero, di bassa qualità, rendendola nitida e colorata come fosse una immagine dei giorni d’oggi?
Oggi è possibile grazie agli algoritmi di Intelligenza Artificiale e più specificatamente attraverso una GFP-GAN che andremo ad analizzare in questo articolo, oltre che utilizzare il software messo a disposizione dai ricercatori che la hanno creata.
Il restauro del volto di solito si basa su precedenti immagini, per poter definire la geometria facciale di riferimento, per poi ripristinare i dettagli fisici in maniera realistica e fedele.
Tuttavia, gli input di qualità molto bassa non possono offrire una priorità geometrica accurata mentre i riferimenti di alta qualità sono inaccessibili, limitando quindi l’applicabilità in scenari reali.
In questo articolo parleremo della GFP-GAN che sfrutta a “priori” i ricchi e diversificati input in una generative adversarial network (GAN) per poter restaurare una immagine datata .
Questo Generative Facial Prior (GFP) è incorporato nel processo di ripristino del viso tramite nuovi strati di trasformazione delle caratteristiche spaziali suddivisi in particolari canali, che consentono al nostro metodo di raggiungere un buon equilibrio tra realtà e fedeltà.
Grazie al potente design generativo facciale, il nostro GFP-GAN potrebbe ripristinare congiuntamente i dettagli del viso e migliorare i colori con un solo passaggio, mentre i metodi di inversione GAN richiedono una costosa ottimizzazione specifica dell’immagine all’inferenza.
Esperimenti approfonditi mostrano che il metodo raggiunge prestazioni superiori rispetto all’arte precedente su set di dati sia sintetici che reali.
GFPGAN mira a sviluppare un algoritmo pratico per il ripristino del viso.
Sfrutta precedenti ricchi e diversificati incapsulati in un GAN facciale pre-addestrata (ad es . StyleGAN2) ed è rilasciato sotto licenza Apache versione 2.0.
Per poter installare il software che consenta di svolgere l’algoritmo di GFP-GAN, disponibile su GitHub, occorre disporre all’interno del proprio computer dei seguenti prerequisiti:
- Python >= 3.7 (consiglia di usare Anaconda o Miniconda)
- PyTorch >= 1,7
- GPU NVIDIA + CUDA
- Linux
A questo punto si inizia con l’installazione
git clone https://github.com/TencentARC/GFPGAN.gitcd GFPGAN
Installiamo le dipendenze
# Install basicsr – https://github.com/xinntao/BasicSR# We use BasicSR for both training and inferencepip install basicsr# Install facexlib – https://github.com/xinntao/facexlib# We use face detection and face restoration helper in the facexlib packagepip install facexlibpip install -r requirements.txtpython setup.py develop# If you want to enhance the background (non-face) regions with Real-ESRGAN,# you also need to install the realesrgan packagepip install realesrgan
Scarichiamo i modelli pre-addestrati a questo indirizzo:
wget https://github.com/TencentARC/GFPGAN/releases/download/v0.2.0/GFPGANCleanv1-NoCE-C2.pth -P experiments/pretrained_models
Per utilizzare il sistema occorre inserire la seguente riga di comando:
python inference_gfpgan.py –upscale 2 –test_path inputs/whole_imgs –save_root results
A questo punto è possibile utilizzare il software oltre che analizzarlo in quanto il codice risulta essere disponibile e magari migliorarlo per le proprie esigenze.
Fonte
https://www.redhotcyber.com/wp-content/uploads/attachments/2101.04061.pdf
https://github.com/TencentARC/GFPGAN
https://huggingface.co/spaces/akhaliq/GFPGAN
