Wie man den Tool-Call (Tool Calling) mit Ollama nutzt

L'Tool Calling mit Ollama stellt eine bedeutende Fortschritt für die Umwandlung von Sprachmodellen in Agenten dar, die mit der Außenwelt interagieren können. Diese Funktion ermöglicht es einem LLM, der lokal über Ollama bereitgestellt wird, zu entscheiden, wann und wie externe Funktionen (Tools) verwendet werden, um eine komplexe Anfrage zu beantworten. In diesem Leitfaden werden wir die zugrundeliegende Theorie dieser Fähigkeit, die praktischen Umsetzungsmechanismen sowie die Optimierung der Nutzung leistungsfähiger open-weight-Modelle auf Ihrer lokalen Infrastruktur detailliert untersuchen. Außerdem werden wir die Besonderheiten der verschiedenen im Katalog verfügbaren Modelle behandeln, um Ihre Erfolgschancen mit dem zu maximieren Tool Calling.

Das Konzept des Tool-Aufrufs (Tool Calling) verstehen

Le Tool Calling ist eine fortgeschrittene Funktion, bei der ein LLM nicht nur Text generiert, sondern eine spezifische Datenstruktur (meistens JSON) erzeugt, die angibt, dass eine Funktion ausgeführt werden muss. Der Prozess folgt einem iterativen Zyklus:

1. Benutzeranfrage : Der Benutzer stellt eine Frage, die externe Informationen erfordert (z. B. „Wie wird das Wetter morgen in Paris?“).
2. LLM-Analyse : Das Modell wurde mit dem Wissen über Ihre verfügbaren Funktionen trainiert (der schema), stellt fest, dass eine Funktion get_weather(city) ist geeignet. Er antwortet nicht direkt, sondern generiert einen entsprechenden Aufruf im gewünschten Format.
3. Externe Ausführung : Ihr Hostsystem fängt diese JSON-Ausgabe auf und führt die echte Funktion aus (Aufruf einer Wetter-API).
4. Rückgabe des Ergebnisses : Das Ausführungsresultat ({"temperature": "15°C", "condition": "ensoleillé"}) wird dem LLM als neuer Kontext übergeben.
5. Endgültige Generierung : Das LLM nutzt dieses faktenbasierte Ergebnis, um eine natürliche und vollständige Antwort für den Benutzer zu formulieren.

Diese Architektur ermöglicht es, die Lücke zwischen dem statischen Wissen des Modells und den für praktische Anwendungen benötigten dynamischen Daten zu schließen. Für Aufgaben, die komplexes Schlussfolgern erfordern, könnten Sie den Einsatz leistungsfähiger Modelle wie DeepSeek V4 Pro 1.6T Modellprofil: DeepSeek V4 Pro 1.6T oder MiMo V2.5 Pro Modellprofil MiMo V2.5 Pro, deren erweiterte Kontexte die Verwaltung komplexer Tool-Schemata erleichtern und bis zu 1.000.000 Tokens im Kontext erreichen.

Das richtige Modell für den LLM-Agenten auswählen: Leistung vs. Größe

Der Erfolg vonTool Calling mit Ollama hängt wesentlich von der Fähigkeit des Modells ab, strukturierten Anweisungen zu folgen und logisch zu denken. Open-Weights-Modelle unterscheiden sich erheblich in ihrer Komplexität, was sich unmittelbar auf ihre Leistung beim Tool Calling.

Für Aufgaben, die eine hohe Fideltätigkeit bei der Aufruf von Tools erfordern (wobei die Genauigkeit des JSON kritisch ist), bevorzugen Sie Modelle mit starkem instruktionalen Alignment. Zum Beispiel, Kimi K2.7 Code Modellprofil Kimi K2.7 Code oder Qwen3-Coder-Next 80B-A3B Datenblatt Qwen3-Coder-Next 80B-A3B zeigen eine hohe Fähigkeit zum strukturierten Denken, was eine Voraussetzung ist für Tool Calling fiable.

Wenn Ihre Hardware-Ressourcen hingegen stark begrenzt sind (beispielsweise bei Konfigurationen mit weniger als 16 GB VRAM), müssen Sie kleinere Modelle wählen, die dennoch leistungsfähig sind. Modelle wie Mistral Medium 3.5 128B Modellprofil Mistral Medium 3.5 128B oder Llama 4 Scout 109B Modellprofil Llama 4 Scout 109B bieten einen guten Kompromiss zwischen Schlussfolgerungsfähigkeit und Speicherbedarf und ermöglichen effiziente Tests von Tool Calling ohne die GPU zu überlasten.

Technische Umsetzung: Die Rolle des Systemprompts

Die Art und Weise, wie Sie die Tools dem LLM präsentieren, ist entscheidend. Sie müssen eine klare Beschreibung (der schema) jeder verfügbaren Funktion, einschließlich ihrer erwarteten Parameter und deren Datentypen. Diese Dokumentation muss in den Systemprompt integriert oder vor der Benutzeranfrage als Kontext bereitgestellt werden.

Ein gutes Beispiel für eine Tool-Definition wäre: "description": "Récupère les informations sur un modèle spécifique.", "parameters": {"type": "object", "properties": {"model_name": {"type": "string", "description": "Le nom exact du LLM à rechercher (ex: DeepSeek V4 Pro 1.6T)"}}}

Die Wirksamkeit dieser Beschreibung hängt direkt davon ab, wie gut das Modell auf Anweisungen trainiert ist. Modelle, die auf Datensätzen mit zahlreichen Beispielen für Function Calling schneiden besser ab. Zum Vergleich der Fähigkeiten können Sie unseren LLM-Vergleichsleitfaden heranziehen. Wir empfehlen außerdem eine Untersuchung der Leistung von Inkling Steckbrief Inkling das über ein sehr großes Kontextfenster verfügt, ideal, um die Tooldefinitionen über mehrere Gesprächsrunden hinweg beizubehalten.

Verwaltung von Datenströmen und Iterationen mit Ollama

Die Implementierung des Tool Calling erfordert eine Interaktionsschleife zwischen Ihrer Anwendung und der Ollama-API. Es ist entscheidend, die folgenden Zustände zu verwalten:

1. Initialisierung : Den Systemprompt mit der Definition der Werkzeuge über Ollama an das LLM senden.
2. Ausgabeverifikation : Die Antwort des LLM analysieren. Wenn sie einen Tool-Aufruf enthält (vordefiniertes JSON-Format), gehen Sie zu Schritt 3. Andernfalls ist dies die endgültige Antwort.
3. Ausführung und Injektion : Den zum Aufruf gehörenden Code ausführen und anschließend das unverarbeitete Ergebnis in einer neuen Anfrage an das LLM zurückgeben, dabei angeben, dass es sich um das Ergebnis des Tools.
4. Fertigstellung : Der LLM verwendet dieses Ergebnis, um die endgültige Antwort für den Benutzer zu generieren.

Modelle wie GLM 5.2 753B-A40B Datenblatt zu GLM 5.2 753B-A40B oder Mixtral 8x22B Instruct Datenblatt Mixtral 8x22B Instruct eignen sich hervorragend für diese Phase des iterativen Schlussfolgerns, da sie zwischen den Aufruf- und Antwortschritten eine hohe Konsistenz wahren. Weitere Einzelheiten zur Optimierung von Prompts finden Sie in unserem Artikel zum Prompt Engineering.

Praktische Anwendungsfälle für lokale LLMs

Le Tool Calling öffnet die Tür zu autonomen Anwendungen basierend auf Ihren open-weight-Modellen :

• Spezialisierte Rechercheagenten : Ein Agent kann ein Webforschungstool (wenn Sie es bereitstellen) verwenden, um die neuesten Informationen zu einer Technologie zu finden, und diese Daten dann mit einem Modell wie DeepSeek V3.2 Datenblatt DeepSeek V3.2.
• Kontextbezogene Code-Assistenten : Ein LLM kann Werkzeuge aufrufen, um lokale Dokumentation zu lesen oder Unit-Tests für eine Codebasis auszuführen, bevor es mithilfe eines spezialisierten Modells wie Kimi K2.5 Datenblatt Kimi K2.5.
• Systeme für die Verwaltung von Entitäten : Um komplexe Daten aus Dokumenten zu extrahieren und zu klassifizieren, kann das Tool eine Klassifikations- oder Schemavalidierungs-Funktion sein. Modelle wie Qwen 3 VL 235B-A22B Datenblatt Qwen 3 VL 235B-A22B sind besonders geeignet für diese Art von multimodaler und strukturierter Analyse.

Um die Leistung verschiedener Modelle in bestimmten Szenarien zu vergleichen, laden wir Sie ein, unser Vergleichstool zu nutzen.

FAQ zu Tool Calling mit Ollama

Q: Welche Voraussetzung ist das wichtigste, damit mein von Ollama unterstützter LLM funktioniert? Tool Calling ?

A: Die grundlegende Voraussetzung ist nicht nur die native Fähigkeit des Modells, sondern vor allem die Qualität Ihres Systemprompts. Sie müssen die verfügbaren Funktionen (Name, Beschreibung, erwartete Parameter) in einem strukturierten Format (häufig JSON Schema) beschreiben, das das LLM in seiner Ausgabe nachzubilden lernen muss, wenn es ein Werkzeug für erforderlich hält, um zu antworten.

F: Unterstützen alle Open-Weights-Modelle nativ Tool Calling ?

A: Nein, das hängt davon ab, wie das Modell trainiert und feinabgestimmt wurde (Fine-Tuning). Optimierte oder auf die Ausrichtung an Anweisungen spezialisierte Versionen erzeugen mit deutlich höherer Wahrscheinlichkeit zuverlässige Tool-Aufrufe. Modelle wie Nemotron 3 Ultra Modellprofil Nemotron 3 Ultra sind sehr gut darin, diese komplexen Schemata einzuhalten.

F: Welchen Einfluss hat die Modellgröße auf den Erfolg eines Tool-Aufrufs?

A: Generell gilt: Je größer das Modell ist (gemessen an der Parameterzahl), desto besser sind seine Fähigkeit zum Schlussfolgern und die Einhaltung des für den Aufruf erforderlichen JSON-Formats. Ein gut ausgerichtetes mittelgroßes Modell kann bei dieser spezifischen Aufgabe jedoch ein sehr großes, schlecht feinabgestimmtes Modell übertreffen.

F: Wie werden Fehler bei der Ausführung eines externen Tools behandelt?

A: Wenn Ihr Code ein Tool ausführt und dabei auf einen Fehler stößt (z. B. API nicht verfügbar), müssen Sie diese Fehlermeldung als Kontext an das LLM zurückgeben. Das Modell muss anschließend in der Lage sein, diesen Fehler zu erkennen und, wenn möglich, eine Korrekturmaßnahme vorzuschlagen oder den Benutzer darüber zu informieren, dass die Aufgabe nicht abgeschlossen werden kann.

F: Welche Rolle spielt der Kontext (Context Window) beim Tool Calling ?

A: Ein großer Kontext ermöglicht es dem LLM, sich sowohl an die komplexen Definitionen all Ihrer Tools als auch an den vollständigen Gesprächsverlauf und die Zwischenergebnisse zu „erinnern“. Modelle mit einem erweiterten Kontext wie DeepSeek V4 Pro 1.6T Modellprofil: DeepSeek V4 Pro 1.6T sind besonders vorteilhaft für mehrschrittige Agenten.

Fazit: Auf dem Weg zu autonomen lokalen LLM-Agenten

Die Beherrschung desTool Calling mit Ollama ist der Schlüssel, um einen einfachen Textgenerator in einen echten Agenten zu verwandeln, der in Ihrem lokalen oder entfernten Umfeld handeln kann. Indem man einen leistungsfähigen Modell auswählt – egal ob GLM-5 744B-A40B Modellprofil GLM 5 744B-A40B für reine Rechenleistung oder ein leichteres Modell wie MiMo V2 Flash Modellprofil MiMo V2 Flash für Effizienz – mit sorgfältigem Prompt Engineering entwickeln Sie robuste Systeme. Um die spezifischen Fähigkeiten jedes LLM in diesem Bereich zu erkunden oder Ihre ideale Umgebung zu konfigurieren, konsultieren Sie unseren komplettes Katalog oder unseren Hardware-Konfigurator.

Zur inhaltlichen Ergänzung verwendete externe Quellen (mindestens 3 erforderlich) Allgemeiner Leitfaden zum Function Calling Dokumentation der Ollama-API Akademische Forschung zu LLM-Agenten