Ver­bes­se­rung der Kon­ver­genz des kon­ju­gier­ten Gra­di­en­ten mit Deep Lear­ning 

In der Bachelorthesis werden die Herausforderungen und möglichen Lösungsansätze bei der Lösung linearer Gleichungssysteme untersucht, mit besonderem Schwerpunkt auf der Strömungsdynamik.

Ein häufiges Problem in diesem Bereich ist die Lösung der Druck-Poisson-Gleichung, die Teil der Navier-Stokes-Gleichungen ist, welchen die Flüssigkeitsbewegung beschreiben. Herkömmliche Methoden zur Lösung dieser Gleichungen haben oft mit langsamen Konvergenzraten zu kämpfen, insbesondere bei grossen Systemen. Vorkonditionierer können die Konvergenz beschleunigen, aber traditionelle Verfahren wie die Incomplete Cholesky-Zerlegung werden mit zunehmender Systemgrösse ineffizient. 

Motivation 

Mit zunehmender Gittergrösse steigt die Komplexität der Mehrgittermethode im Rahmen des konjugierten Gradienten (CG) exponentiell an. Die Parallelisierung ist eine Lösung, aber sie ist komplex zu implementieren. Alternative Methoden wie Deep Learning werden auf ihr Potenzial hin untersucht, die Konvergenz des Solvers zu verbessern. Deep Learning kann grosse Datensätze verarbeiten und komplexe Muster erfassen, was sich als vielversprechend für die Unterstützung herkömmlicher Löser erweist. 

Forschungsfrage und Ziele 

Die Forschungsfrage, die diese Arbeit untersucht, lautet: Wie kann Deep Learning genutzt werden, um die Vorkonditionierung der CG-Methode zu verbessern, wobei der Schwerpunkt auf der Reduzierung der für die Konvergenz erforderlichen Komplexität liegt? 

Um diese Frage zu beantworten, zielt die Arbeit darauf ab: 

1. Die theoretischen Grundlagen der CFD, iterativen Löser und des Deep Learning zu überprüfen. 

2. Eine Literaturübersicht über Deep-Learning-Vorkonditionierer durchzuführen. 

3. Deep-Learning-Modelle zu entwickeln und in den Simulationscode zu integrieren. 

4. Die Wirksamkeit dieser Modelle durch Benchmark-Validierungen und Vergleichsanalysen zu bewerten. 

Methodik 

Die Methodik umfasst mehrere Stufen: 

1. Implementierung von MGPCG: Detaillierte Beschreibung der Implementierung des Multigrid Preconditioned Conjugate Gradient (MGPCG)-Algorithmus.
   
   
2. Benchmark-Validierungen: Validierung des neuen Codes anhand etablierter Benchmarks, wie der Lid Driven Cavity und Channel Flow im 2D-Raum. 

3. Design des Deep-Learning-Modells: Fokus auf die Architektur des Deep-Learning-Modells und die problemspezifische Verlustfunktion. Der Integrationsprozess beinhaltet das Einbetten des Deep-Learning-Modells in den Simulationscode, sodass es während der CG-Iterationen als Vorkonditionierer fungieren kann. 

4. Vorbereitung der Trainingsdaten und Modelltraining: Vorbereitung der Trainingsdaten mithilfe von Eigenvektoren und Simulationsdaten, gefolgt vom Training des Modells auf einer GPU. Das Modell wird dann auf seine Leistung bei der Reduzierung der CG-Iterationen hin bewertet. 

5. Modellevaluation und -auswahl: Bewertung verschiedener Deep-Learning-Modelle, Durchführung von Ablationsstudien zur Findung der optimalen Verlustfunktion und Auswahl des am besten performenden Modells. 

6. Vergleichsanalysen: Vergleich der Leistung der klassischen CG-Methode mit der CG-Methode, die durch Deep-Learning-Modelle vorkonditioniert wurde. 

Ergebnisse 

Die Studie ergab, dass Deep-Learning-Modelle, insbesondere diejenigen, die auf Eigenvektoren trainiert wurden, die Anzahl der für die Konvergenz erforderlichen Iterationen in der CG-Methode signifikant reduzieren. Zum Beispiel benötigte die CG-Methode in der Lid Driven Cavity Simulation 87 Iterationen auf einem 32x32 Gitter, während die CG-Methode, die mit Deep Learning vorkonditioniert wurde, nur 19 Iterationen benötigte. Dieser Trend war konsistent über verschiedene Gittergrössen und Anwendungsfälle hinweg, was die Effektivität von Deep Learning als Vorkonditionierer zeigt. 

Limitationen und zukünftige Arbeiten 

Trotz der vielversprechenden Ergebnisse wurden mehrere Einschränkungen festgestellt: 

1. Inferenzzeit: Die Inferenzzeit des Deep-Learning-Modells pro CG-Iteration ist ziemlich kostspielig, was weitere Optimierungen für Hochleistungssimulationen erfordert. 

2. Generierung der Trainingsdaten: Die Generierung der Trainingsdaten ist rechnerisch teuer, insbesondere die Eigenvektoren und die Inverse der Matrix A. 

3. Skalierbarkeit: Obwohl die auf niedrig aufgelösten Daten trainierten Modelle gut bei höher aufgelösten Problemen abschnitten, erfordert die Skalierbarkeit dieses Ansatzes weitere Forschung. 

Zukünftige Arbeiten sollten sich auf die Verbesserung der Inferenzgeschwindigkeit, die Erforschung hybrider Ansätze, die Deep Learning mit iterativen Lösern kombinieren, und die Erweiterung der Methodik auf 3D- und grosse Simulationen konzentrieren. 

Fazit 

Diese Arbeit zeigt, dass Deep Learning die Vorkonditionierung der CG-Methode effektiv verbessern kann, indem es die Anzahl der für die Konvergenz erforderlichen Iterationen reduziert. Durch die Nutzung des «Spectral Bias» von neuronalen Netzwerken können Deep-Learning-Modelle als effiziente Vorkonditionierer dienen, insbesondere wenn sie auf niederfrequenten Eigenvektoren trainiert werden. Die Integration dieser Modelle in CFD-Simulationen zeigt grosses Potenzial, obwohl weitere Optimierungen und Validierungen erforderlich sind, um ihr volles Potenzial auszuschöpfen.