DP-3028 Implement Generative AI engineering with Azure Databricks

Ziele

In dieser 1-tägigen Schulung erhalten die Teilnehmenden eine praxisorientierte Einführung in die Arbeit mit großen Sprachmodellen (Large Language Models, LLMs) in Azure Databricks. Sie lernen, wie generative KI funktioniert, wie LLMs für Aufgaben der natürlichen Sprachverarbeitung (NLP) eingesetzt werden können und wie sich Anwendungen mit Retrieval Augmented Generation (RAG) und mehrstufiger Argumentation umsetzen lassen. Zusätzlich werden Themen wie Feinabstimmung, Bewertung von LLMs, verantwortungsvolle KI sowie der produktive Einsatz von LLMOps behandelt. Anhand praxisnaher Übungen wird das Gelernte direkt im Azure-Databricks-Umfeld angewendet.

Zielgruppe

• Data Scientists
• Machine Learning Engineers
• KI-Entwickler:innen
• Data Engineers mit Interesse an generativer KI
• Technische Projektleitende im KI-Umfeld

Voraussetzungen

• Grundlegende Kenntnisse in Python
• Erste Erfahrungen mit Machine Learning oder NLP von Vorteil
• Grundverständnis von Cloud-Umgebungen (idealerweise Azure)
• Interesse an KI-Anwendungen und Sprachmodellen

Agenda

Erste Schritte mit Sprachmodellen in Azure Databricks

• Grundlegendes zum Thema generative KI
• Grundlegendes zu großen Sprachmodellen (Large Language Models, LLMs)
• Identifizieren wichtiger Komponenten von LLM-Anwendungen
• Verwenden von LLMs für NLP-Aufgaben (Natural Language Processing, Verarbeitung natürlicher Sprache)
• Übung: Erkunden von Sprachmodellen

Implementieren von Retrieval Augmented Generation (RAG) mit Azure Databricks

• Erkunden der wichtigsten Konzepte eines RAG-Workflows
• Vorbereiten Ihrer Daten für RAG
• Ermitteln relevanter Daten mit der Vektorsuche
• Neubewerten der abgerufenen Ergebnisse
• Übung: Einrichten von RAG (Retrieval Augmented Generation)

Implementieren einer mehrstufigen Argumentation in Azure Databricks

• Was sind mehrstufige Argumentationssysteme?
• LangChain erkunden
• Erkunde LlamaIndex
• Erkunden von Haystack
• Erkunden des DSPy-Frameworks
• Übung – Implementieren einer mehrstufigen Begründung mit LangChain

Feinabstimmung von Sprachmodellen mit Azure Databricks

• Was ist Feinabstimmung?
• Aufbereiten von Daten für die Feinabstimmung
• Optimieren eines Azure OpenAI-Modells
• Übung: Optimierung eines Azure OpenAI-Modells

Auswerten von Sprachmodellen mit Azure Databricks

• Vergleichen von LLM-Auswertungen und herkömmlichen ML-Auswertungen
• Auswerten von LLMs und KI-Systemen
• Auswerten von LLMs mit Standardmetriken
• Beschreiben von „LLM-as-a-Judge“ für die Auswertung
• Übung: Auswerten eines Azure OpenAI-Modells

Erläutern der Prinzipien für verantwortungsvolle KI für Sprachmodelle in Azure Databricks

• Was ist verantwortungsvolle KI?
• Identifizieren von Risiken
• Minimieren von Problemen
• Verwenden wichtiger Sicherheitstools zum Schutz Ihrer KI-Systeme
• Übung – Implementieren von verantwortungsvoller KI

Implementieren von LLMOps in Azure Databricks

• Übergang vom herkömmlichen MLOps zu LLMOps
• Grundlegendes zu Modellimplementierungen
• Beschreiben der MLflow-Bereitstellungsfunktionen
• Verwenden von Unity Catalog zum Verwalten von Modellen
• Übung: Implementieren von LLMOps