Beschreibung
Modul 01: Grundlagen neuronaler Netze und Sprachmodellierung
- Kurze Einführung in KI, ML und neuronale Netze
- Von N-Grammen zu neuronalen Sprachmodellen
- Word Embeddings: One-Hot, Word2Vec, GloVe
- Limitierungen klassischer Modelle
Modul 02: Die Transformer-Architektur verstehen
- Das 'Attention is All You Need'-Papier im Überblick
- Self-Attention und seine Bedeutung
- Multi-Head Attention: Struktur, Nutzen, Visualisierung
- Positionale Encodings und warum sie nötig sind
Modul 03: Training großer Sprachmodelle
- Trainingsdaten: Umfang, Vielfalt, Vorverarbeitung
- Phasen des Trainings: Pretraining vs. Finetuning
- Loss-Funktion, Optimierung und Skalierungsstrategien
- Rechenressourcen und Herausforderungen beim LLM-Training
Modul 04: LLMs im Einsatz: ChatGPT und Anwendungen
- Wie ChatGPT Texte verarbeitet: Pipeline von Prompt zu Output
- Tokenisierung und Decoding-Strategien (Greedy, Beam, Sampling)
- Anwendungsbeispiele: Chatbots, Texte, Code, Datenanalyse
- Grenzen, Fehlerquellen und Halluzinationen
Modul 05: Praktischer Teil: Prompts und Kontrolle
- Einführung in Prompt Engineering
- Systemprompts, Few-Shot, Zero-Shot und Chain-of-Thought
- Best Practices: Klarheit, Zieldefinition, Iteration
- Mini-Workshop: Eigene Prompts entwerfen und testen