Simge Coşkun -
Burdur Mehmet Akif Ersoy University Bucak Zeliha Tolunay Applied Technology and Management Vocational School (TR),
Ali Hakan Işık -
Burdur Mehmet Akif Ersoy University, Faculty of Engineering and Architecture (TR),
Mejora del inpainting de imágenes mediante una arquitectura híbrida que combina CNN, Vision Transformer y GAN
Autores:
Simge Coşkun - Burdur Mehmet Akif Ersoy University Bucak Zeliha Tolunay Applied Technology and Management Vocational School (TR)
Ali Hakan Işık - Burdur Mehmet Akif Ersoy University, Faculty of Engineering and Architecture (TR)
Resumen
El inpainting de imágenes se centra en la reconstrucción de las regiones ausentes de una imagen de manera que se mantengan tanto la continuidad visual como la coherencia semántica con las áreas circundantes.
En este estudio se presenta un modelo híbrido de reconstrucción que integra redes neuronales convolucionales (CNN), un Vision Transformer (ViT) y aprendizaje adversarial con el objetivo de mejorar la calidad de la reconstrucción de imágenes.
Las capas convolucionales se encargan de extraer características estructurales locales, mientras que el componente ViT permite captar relaciones contextuales globales y dependencias de largo alcance dentro de la imagen.
Para optimizar el rendimiento de la reconstrucción, se empleó una función de pérdida combinada que integra pérdidas de reconstrucción, perceptuales, de estilo, de bordes y adversariales.
El enfoque propuesto se evaluó bajo distintas condiciones de enmascaramiento mediante análisis cuantitativos y cualitativos.
Los resultados experimentales muestran que el modelo alcanza un elevado rendimiento de reconstrucción, con valores de PSNR, SSIM y LPIPS de 36,22, 0,9779 y 0,0260, respectivamente.
Los experimentos adicionales de ablación confirman la importancia de cada uno de los componentes de la arquitectura.
En particular, la eliminación del módulo ViT produjo una disminución apreciable del rendimiento medido mediante PSNR, lo que pone de manifiesto la relevancia del modelado del contexto global.
De forma similar, la eliminación de la pérdida perceptual afectó negativamente a la similitud perceptual, al incrementar el valor de LPIPS.
Las evaluaciones visuales mostraron que el componente de aprendizaje adversarial contribuyó a generar reconstrucciones más naturales, visualmente coherentes y perceptualmente realistas.
En conjunto, tanto los resultados numéricos como las evaluaciones visuales confirman que el marco propuesto ofrece una solución equilibrada para preservar los detalles estructurales y, al mismo tiempo, mantener el realismo perceptual en las aplicaciones de inpainting de imágenes.
Udoskonalanie uzupełniania brakujących fragmentów obrazów z wykorzystaniem architektury hybrydowej łączącej CNN, Vision Transformer i GAN
Simge Coşkun – Burdur Mehmet Akif Ersoy University, Bucak Zeliha Tolunay Applied Technology and Management Vocational School (Turcja)
Ali Hakan Işık – Burdur Mehmet Akif Ersoy University, Faculty of Engineering and Architecture (Turcja)
Streszczenie
Uzupełnianie brakujących fragmentów obrazów (image inpainting) koncentruje się na odtwarzaniu brakujących obszarów obrazu w sposób zapewniający zarówno ciągłość wizualną, jak i spójność semantyczną z otaczającymi je regionami. W niniejszym badaniu przedstawiono hybrydowy model rekonstrukcji, integrujący konwolucyjne sieci neuronowe (CNN), transformator wizyjny (Vision Transformer, ViT) oraz uczenie adwersarialne w celu poprawy jakości uzupełniania obrazów.
Warstwy konwolucyjne odpowiadają za wyodrębnianie lokalnych cech strukturalnych, natomiast komponent ViT umożliwia uchwycenie szerszych zależności kontekstowych oraz relacji długozasięgowych w obrębie obrazu. W celu zwiększenia skuteczności rekonstrukcji zastosowano złożoną funkcję straty, obejmującą stratę rekonstrukcji, stratę percepcyjną, stratę stylu, stratę związaną z krawędziami oraz stratę adwersarialną.
Zaproponowane podejście przetestowano w różnych warunkach maskowania, przeprowadzając zarówno analizy ilościowe, jak i jakościowe. Wyniki eksperymentalne wskazują, że model osiąga wysoką skuteczność rekonstrukcji, uzyskując wartości PSNR, SSIM i LPIPS wynoszące odpowiednio 36,22, 0,9779 oraz 0,0260.
Dodatkowe eksperymenty ablacyjne wykazały znaczenie poszczególnych komponentów architektury. W szczególności wyeliminowanie modułu ViT doprowadziło do zauważalnego spadku wartości PSNR, co podkreśla istotną rolę modelowania globalnego kontekstu. Podobnie usunięcie straty percepcyjnej negatywnie wpłynęło na podobieństwo percepcyjne, powodując wzrost wartości wskaźnika LPIPS.
Oceny wizualne wykazały, że komponent uczenia adwersarialnego przyczynił się do generowania rekonstrukcji bardziej naturalnych, spójnych wizualnie i realistycznych pod względem percepcyjnym.
Podsumowując, zarówno wyniki ilościowe, jak i oceny wizualne potwierdzają, że zaproponowana architektura stanowi zrównoważone rozwiązanie, umożliwiające zachowanie szczegółów strukturalnych przy jednoczesnym utrzymaniu realizmu percepcyjnego w zastosowaniach związanych z uzupełnianiem brakujących fragmentów obrazów.
Image inpainting focuses on restoring missing parts of an image in a way that preserves both visual continuity and semantic consistency with the surrounding regions. In this study, a hybrid reconstruction model integrating convolutional neural networks, a Vision Transformer (ViT), and adversarial learning is presented to improve image completion quality. The convolutional layers are responsible for extracting local structural features, whereas the ViT component captures broader contextual relationships and long-range dependencies within the image. To enhance reconstruction performance, a combined loss structure including reconstruction, perceptual, style, edge, and adversarial losses was employed. The proposed approach was tested under various masking conditions through both quantitative and qualitative analyses. The experimental findings indicate that the model achieves strong reconstruction performance, reaching PSNR, SSIM, and LPIPS values of 36.22, 0.9779, and 0.0260, respectively. Additional ablation experiments demonstrate the importance of each architectural component. In particular, excluding the ViT module led to a noticeable decrease in PSNR performance, highlighting the significance of global contextual modeling. Likewise, removing the perceptual loss negatively affected perceptual similarity by increasing the LPIPS score. Visual evaluations indicated that the adversarial learning component contributed to generating more natural, visually coherent, and perceptually realistic reconstructions. Overall, both numerical results and visual evaluations confirm that the proposed framework provides a balanced solution for preserving structural details while maintaining perceptual realism in image inpainting applications.
Academic discipline and sub-disciplines:
Artificial Intelligence; Neuroscience; Education