Neuer Ansatz mit Bildevaluation und Upscaling/Denoising der Quellbilder

Blurdetection-Test

python process.py -i "M:/Gaussian Splatting/250121 Spielfeld/sourceProcessed/" -s results.json -f

Ergebnis: Die meisten Bilder werden als "blurry: true" erkannt. Nur 89 von 1417 Bildern sind scharf.

Verbesserung mit ESRGAN

Ziel: Bilder mit ESRGAN hochskalieren und entrauschen.

Installation & Umgebung einrichten

Pyenv installieren

Pyenv Installation

# Python Version installieren pyenv install 3.7 # Lokale Python-Version setzen pyenv local 3.7

Virtuelle Umgebung mit venv erstellen

Mehr zu venv

# Venv erstellen python -m venv .venv # Aktivieren source .venv/Scripts/activate # Deaktivieren deactivate .venv # Entfernen rm -rf .venv

Conda als Alternative nutzen

Anaconda Download

Conda wird empfohlen, da es sowohl Pakete als auch die Umgebung verwaltet und komplexe Abhängigkeiten (z. B. CUDA) besser handhabt.

Wichtig: Nutze CMD, nicht Bash!

conda create -n esrgan python=3.7 conda activate esrgan

Abhängigkeiten installieren

pip install -r requirements.txt python setup.py develop

CUDA-Version von PyTorch installieren

PyTorch & CUDA-Versionen

conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia

ESRGAN ausführen

Verfügbare Modelle:

1. realesrgan-x4plus (Standard)

2. realesrnet-x4plus

3. realesrgan-x4plus-anime (optimiert für Anime-Bilder, kleinere Modellgröße)

4. realesr-animevideov3 (optimiert für Anime-Videos)

Beispiel-Befehle zur Nutzung von ESRGAN:

realesrnet-x4plus

python inferencerealesrgan.py -n RealESRGANx4plus -i "M:/Gaussian Splatting/250121 Spielfeld/sourceProcessed_testing/" -o "M:/Gaussian Splatting/250121 Spielfeld/sourceProcessedESRGan" --outscale 2 -t 1024

realesrgan-x2plus

python inferencerealesrgan.py -n RealESRGANx2plus -i "M:/Gaussian Splatting/250121 Spielfeld/sourceProcessed/" -o "M:/Gaussian Splatting/250121 Spielfeld/sourceProcessedESRGan" --outscale 1.4

Ergebnisse

ESRGAN_x4plus

Vergleich:

• Normal

• Algorithmisch geschärft

• ESRGAN 4x

Unterschiedskarte einer anderen Region:

Finale Ergebnisse:

Result using RealESRGAN_x4plus

Difference Map:

Algrythmically Sharpened vs 4x Upscale:Blurdetection Fazit am ende des Tages (RealESRGAN_x2plus):

results: 706 out of 1417 sharp