Advanced ChatGPT & Co. - Programmierung von Use Cases und Umsetzung von KI-Projekten
(TDE-CGP2)
Sprachmodelle wie ChatGPT, Bing AI, Gemini und Llama haben bewiesen, dass sie Quelltext für nahezu jede Programmiersprache erzeugen können. Die Qualität des generierten Codes kann jedoch je nach Aufgabe sehr schwankend zu sein.
Dieser Kurs widmet sich der Fragestellung, welche Aufgaben KI-Modelle gut lösen, wo deren Grenzen liegen und welch weiteren Nutzen diese bringen können. Anhand von verschiedenen Beispielen werden die Stärken und Schwächen von KIs bei deren Nutzung aufgezeigt, so dass man in die Lage versetzt wird, eigene Use Cases professionell umzusetzen.
Das Training, welches Workshop-Charakter hat, basiert maßgeblich auf Hands-on Übungen, so dass man Vorgehensweisen trainiert, mittels derer man eigene Use Cases kreieren kann. Die praktischen Übungen versetzen die Teilnehmer in die Lage KI-Lösungen in Projekten erfolgreich einzusetzen.
Kursinhalt
- Hands-on-Erfahrung mit KI- und ML-Modellen sowie Techniken des Model Tunings
- Typische Bestandteile einer KI-Lösung: Hard- und Software, Datenquellen
- Vergleich der Fähigkeiten von verschiedenen KIs
- Grundlagen zu lokalen KI-Modellen
- Training und Feintuning eines lokalen KI-Modells
- Integration, Nutzung und Feintuning von KI-Modellen
- Design und Erstellung von Projekten sowie Systemen mit KI-Modellen
- Nutzung von KI-Assistenten wie GitHub Copilot zur Code-Generierung
- Analyse, Debugging, Refactoring und Reviewing von Code
- Erzeugung von Grundgerüsten für automatisiertes Testing von spezifischen Codes
- Aktuelle Trends wie ChatGPT, Gemini, Llama, Orca2 und Innovationen
Zielgruppe
Dieser Kurs richtet sich an Programmierer und Softwareentwickler, die KI in ihren Projekten nutzen möchten.
Voraussetzungen
Das Wissen, welches in den Kursen ChatGPT – Programmierung & Problemlösung mit KI-Unterstützung und Machine Learning – Data Science und künstliche Intelligenz vermittelt wird, schafft eine gute Basis für den Kursbesuch.
Inhaltsverzeichnis
1 Einführung zu künstlicher Intelligenz
- 1.1 Intelligenz
- 1.1.1 Definition
- 1.1.2 Eigenschaften der Künstlichen Intelligenz
- 1.1.3 Machine Learning
- 1.1.4 Erklärbarkeit von Künstlicher Intelligenz
- 1.2 KI-Fluch oder Segen?
2 Machine Learning
- 2.1 Generative KIs in weiteren Bereichen
- 2.1.1 Text to Image
- 2.1.2 Text to Video
- 2.2 Neuronale Netze
- 2.2.1 Biologisches vs. künstliches Neuron
- 2.2.2 Mehrschichtige neuronale Netze
- 2.2.3 Training und Backpropagation
- 2.2.4 Entwicklungsschritte zu ChatGPT
- 2.2.5 Rekurrente neuronale Netze (RNN)
- 2.2.6 LSTM & GRU
- 2.2.7 Transformer: Attention-Mechanismus
- 2.2.8 Training und Finetuning
- 2.2.9 Parameter und Hyperparameter
- 2.3 Datenaufbereitung für Machine Learning
- 2.3.1 Data Science
- 2.3.2 Python und Machine Learning
- 2.3.3 NumPy
- 2.3.4 Pandas
- 2.3.5 Matplotlib und seaborn
- 2.4 Beispiel: MNIST
- 2.4.1 Features & Feature Matrix
3 Natürliche Sprachverarbeitung
- 3.1 Übersicht
- 3.2 Sprachmodelle
- 3.2.1 Tokenisierung
- 3.2.2 Normalisierung & Pre-Tokenisierung
- 3.2.3 Subword Encoding
- 3.2.4 Vektorisierung und Embeddings
- 3.2.5 Detailansicht
- 3.3 Transformer
- 3.4 Training von GPT
- 3.4.1 Stufe 1: Pre-Training
- 3.4.2 Stufe 2: Supervised Finetuning
- 3.4.3 Stufe 3 & 4 Reinforcement Learning
4 ChatGPT und OpenAI
- 4.1 ChatGPT API im Überblick
- 4.2 OpenAIs Playground
- 4.3 API Benutzung mit Python
- 4.3.1 Chat via API
- 4.3.2 Reproduzierbarkeit
- 4.3.3 Moderation
- 4.3.4 Erstellung von Assistants über die API
- 4.3.5 Nutzung von Assistants
5 On-Premise KI-Lösungen
- 5.1 Plattformen für KI
- 5.1.1 Hugging Face
- 5.1.2 Kaggle
- 5.1.3 Models & Datasets
- 5.2 Hardwareanforderungen
- 5.2.1 Prozessor (CPU)
- 5.2.2 Grafikkarten (GPUs)
- 5.2.3 Tensor Prozessoren (TPUs)
- 5.2.4 Arbeitsspeicher (RAM)
- 5.2.5 Hauptspeicher
- 5.3 Wichtige Dateiformate für Self-Hosted KI-Modelle
- 5.4 Sicherheitsmechanismen und Guards
- 5.4.1 Angriffe
- 5.5 Retrieval-Augmented-Generation (RAG)
- 5.6 Textgeneration WebUI
- 5.6.1 Model Loader
- 5.6.2 Modell-Tweak Parameter
- 5.7 Monitoring
- 5.8 Quantisierung
- 5.8.1 Vor- und Nachteile