KI lokal nutzen mit OLLAMA & Co. - Eigene LLMs ohne Cloud betreiben
Classroom Schulung | Deutsch | Anspruch
Schulungsdauer: 2 Tage
Ziele
In dieser 2-tägigen Schulung "KI lokal nutzen mit OLLAMA & Co. – Eigene LLMs ohne Cloud betreiben" erwerben Sie fundierte Kenntnisse über die Grundlagen von Large Language Models (LLMs), deren Funktionsweise sowie die Unterschiede zwischen Cloud- und lokalen LLMs hinsichtlich Datenschutz, Kosten und Performance. Sie lernen die Installation und Nutzung von OLLAMA und erfahren, wie sie verschiedene Frameworks für lokale LLMs einsetzen können.
Durch praxisorientierte Übungen entwickeln die Teilnehmer eigene LLM-gestützte Anwendungen, optimieren Modelle mittels Feintuning und Prompt Engineering und passen Performance- und Speicheranforderungen an verschiedene Hardware-Setups an.
Am Ende des Seminars sind Sie in der Lage, eigene LLM-Projekte zu entwickeln, zu optimieren und produktiv einzusetzen, wobei auch rechtliche und ethische Aspekte berücksichtigt werden.
Zielgruppe
- Entwickler und IT-Professionals, die LLMs in eigene Projekte einbinden möchten
- Data Scientists, die KI-Modelle lokal testen oder optimieren wollen
- Unternehmen, die datenschutzfreundliche Alternativen zu Cloud-LLMs suchen
- Technisch versierte Interessierte, die mit lokalen KI-Modellen experimentieren möchten
Voraussetzungen
- Grundkenntnisse in Python und CLI/Terminal-Nutzung sind von Vorteil, aber keine Voraussetzung
- Basiswissen über Machine Learning und KI sind von Vorteil, aber keine Voraussetzung
Agenda
Grundlagen von LLMs
- Was sind LLMs?
- Wie funktionieren LLMs?
- Wo liegen die Herausforderungen?
LLMs in der Cloud oder lokal nutzen
- Unterschiede zwischen Cloud- und lokalen LLMs: Datenschutz, Kosten, Performance
- Installation und erste Nutzung von OLLAMA auf verschiedenen Betriebssystemen
- Überblick über alternative Frameworks für lokale LLMs (llama.cpp, GPT4All, vLLM, DeepSeek, Mistral AI, etc.)
Praxis – Eigene Anwendungen entwickeln
- Nutzung der OLLAMA API für eigene Projekte
- Modell-Optimierung durch Feintuning
- Modell-Optimierung durch Prompt Engineering
- Auswahl eines Modells und Auswahl der lokalen Hardware
- Workshop: Entwicklung eines ersten eigenen LLM-gestützten Tools
Produktive Nutzung und Optimierung
- Einführung in das Benchmarking von LLMs
- Vergleich von Benchmarking-Methoden und Wechsel auf neuere Modelle
- Rechtliche und ethische Aspekte bei der lokalen KI-Nutzung
Ziele
In dieser 2-tägigen Schulung "KI lokal nutzen mit OLLAMA & Co. – Eigene LLMs ohne Cloud betreiben" erwerben Sie fundierte Kenntnisse über die Grundlagen von Large Language Models (LLMs), deren Funktionsweise sowie die Unterschiede zwischen Cloud- und lokalen LLMs hinsichtlich Datenschutz, Kosten und Performance. Sie lernen die Installation und Nutzung von OLLAMA und erfahren, wie sie verschiedene Frameworks für lokale LLMs einsetzen können.
Durch praxisorientierte Übungen entwickeln die Teilnehmer eigene LLM-gestützte Anwendungen, optimieren Modelle mittels Feintuning und Prompt Engineering und passen Performance- und Speicheranforderungen an verschiedene Hardware-Setups an.
Am Ende des Seminars sind Sie in der Lage, eigene LLM-Projekte zu entwickeln, zu optimieren und produktiv einzusetzen, wobei auch rechtliche und ethische Aspekte berücksichtigt werden.
Zielgruppe
- Entwickler und IT-Professionals, die LLMs in eigene Projekte einbinden möchten
- Data Scientists, die KI-Modelle lokal testen oder optimieren wollen
- Unternehmen, die datenschutzfreundliche Alternativen zu Cloud-LLMs suchen
- Technisch versierte Interessierte, die mit lokalen KI-Modellen experimentieren möchten
Voraussetzungen
- Grundkenntnisse in Python und CLI/Terminal-Nutzung sind von Vorteil, aber keine Voraussetzung
- Basiswissen über Machine Learning und KI sind von Vorteil, aber keine Voraussetzung
Agenda
Grundlagen von LLMs
- Was sind LLMs?
- Wie funktionieren LLMs?
- Wo liegen die Herausforderungen?
LLMs in der Cloud oder lokal nutzen
- Unterschiede zwischen Cloud- und lokalen LLMs: Datenschutz, Kosten, Performance
- Installation und erste Nutzung von OLLAMA auf verschiedenen Betriebssystemen
- Überblick über alternative Frameworks für lokale LLMs (llama.cpp, GPT4All, vLLM, DeepSeek, Mistral AI, etc.)
Praxis – Eigene Anwendungen entwickeln
- Nutzung der OLLAMA API für eigene Projekte
- Modell-Optimierung durch Feintuning
- Modell-Optimierung durch Prompt Engineering
- Auswahl eines Modells und Auswahl der lokalen Hardware
- Workshop: Entwicklung eines ersten eigenen LLM-gestützten Tools
Produktive Nutzung und Optimierung
- Einführung in das Benchmarking von LLMs
- Vergleich von Benchmarking-Methoden und Wechsel auf neuere Modelle
- Rechtliche und ethische Aspekte bei der lokalen KI-Nutzung
