Qwen3-TTS lokal: Sprachsynthese und Stimmen geklont

#Warum Qwen3-TTS statt einer Cloud-Stimme

Online-Sprachsynthesedienste klingen gut, aber jeder Satz, den Sie ihnen anvertrauen, verlässt Ihren Rechner, wird pro Zeichen berechnet und hängt von einem Konto ab, das geschlossen werden kann. Für einen Leser interner Dokumente, einen Hausautomatisierungsassistenten oder einen Anwendungsprototyp beseitigt eine vollständig lokal laufende Stimme diese drei Abhängigkeiten auf einmal.

Im offenen Ökosystem koexistierten bislang zwei Modellfamilien. Auf der einen Seite stehen sehr leichte Modelle wie Piper oder Kokoro: schnell auf dem Prozessor, feste Stimmen, kein Klonen. Auf der anderen Seite gibt es schwerere und ausdrucksstärkere Modelle, die häufig auf Englisch und Chinesisch ausgerichtet sind. Qwen3-TTS liegt dazwischen: kompakte Gewichte, aber eine LLM-ähnliche Architektur, die Stilvorgaben in natürlicher Sprache akzeptiert, sowie eine ausdrückliche Unterstützung für Französisch bereits zum Start.

Die Besonderheit der Familie besteht darin, dass sie in drei Verhaltensweisen statt in ein einziges Alleskönnermodell aufgeteilt ist. Sie laden nur die Variante herunter, die Ihrem Bedarf entspricht – das ist bei einer mit einem Text-LLM geteilten GPU mit 8 oder 12 GB entscheidend.

#Die verfügbaren Modelle: Base, CustomVoice, VoiceDesign

Zum Start umfasst die Familie zwei Modellgrößen, 0,6 und 1,7 Milliarden Parameter, die in drei funktionalen Varianten angeboten werden, sowie einen gemeinsam genutzten Audio-Tokenizer. Die Hugging-Face-Kennungen folgen dem Muster Qwen/Qwen3-TTS-12Hz-<Größe>-<variante>. „12Hz“ bezeichnet die Frequenz des Audio-Codecs: Das Modell erzeugt zwölf akustische Token-Frames pro Sekunde Sprache, was im Vergleich zu dichteren Codecs seinen sparsamen Rechenaufwand erklärt.

CustomVoice

Vordefinierte Stimmen, jede mit einer Klangfarbe und einer Ursprungssprache, die sich mit einer Stilvorgabe steuern lassen („sprechen Sie langsam, in beruhigendem Ton“). Das ist die Variante, die Sie wählen sollten, wenn Sie einen Text vorlesen lassen möchten, ohne sich Gedanken über die Stimme zu machen. Verfügbar in 0,6B und 1,7B.

VoiceDesign

Sie beschreiben die gewünschte Stimme in natürlicher Sprache (Alter, wahrgenommenes Geschlecht, Energie, Akzent, Emotion), und das Modell erfindet sie. Keine Referenzaufnahme, also wird keine reale Person imitiert. Veröffentlicht in 1,7B.

Base

Klonen anhand eines wenige Sekunden langen Audioausschnitts und dessen Transkription. Dies ist die leistungsfähigste Variante und die einzige, bei der sich eine Einwilligungsfrage stellt, die weiter unten behandelt wird. Verfügbar in 0,6B und 1,7B.

Tokenizer-12Hz

Der Audiocodec, der Sprache kodiert und dekodiert. Er wird von den oben genannten Varianten automatisch heruntergeladen; Sie müssen ihn nur bei fortgeschrittener Nutzung selbst handhaben.

Als unterstützte Sprachen werden Chinesisch, Englisch, Japanisch, Koreanisch, Deutsch, Französisch, Russisch, Portugiesisch, Spanisch und Italienisch angegeben, außerdem mehrere chinesische Dialekte. Der Sprachparameter akzeptiert entweder einen expliziten Namen wie „French“ oder „Auto“, damit das Modell die Sprache des Textes erkennen kann. Bei französischen Texten verhindert das Erzwingen des Werts Unsicherheiten bei der Aussprache von Eigennamen und Anglizismen.

#Hardware- und Software-Voraussetzungen

System

Linux x86_64 ist das vom Repository dokumentierte Zielsystem. macOS und Windows sind mit den im entsprechenden Abschnitt beschriebenen Einschränkungen möglich.

GPU

Eine NVIDIA mit CUDA ist der vorgesehene Weg. Eine RTX 3060 mit 12 GB reicht für 1,7B allein völlig aus; die Ausführung auf dem Prozessor funktioniert zum Testen eines Satzes, eignet sich aber nicht für eine interaktive Nutzung.

Python

Das Repository empfiehlt Python 3.12 in einer eigenen virtuellen Umgebung. Vermeiden Sie die Installation in der Systemumgebung oder in der Umgebung eines anderen Audioprojekts: Die vom Paket vorgegebenen PyTorch- und transformers-Versionen können in Konflikt geraten.

Festplattenspeicher

Rechnen Sie mit einigen Gigabyte pro heruntergeladener Variante, im Hugging-Face-Cache (~/.cache/huggingface standardmäßig).

Netzwerk

Nur beim ersten Start, um die Gewichte herunterzuladen. Danach funktioniert alles offline.

Eine letzte Voraussetzung ist nicht technischer Natur: Wenn Sie die Variante Base verwenden möchten, benötigen Sie eine Aufnahme, deren Stimme Sie rechtmäßig nutzen dürfen. Ihre eigene Stimme ist der einfachste und sicherste Fall zum Lernen.

#Schritt 1: Das Paket qwen-tts installieren

Das offizielle Python-Paket heißt auf PyPI qwen-tts und wird unter dem Namen qwen_tts importiert. Es zieht PyTorch und transformers als Abhängigkeiten nach. Die folgende Installation verwendet eine standardmäßige virtuelle Umgebung; conda funktioniert ebenso gut, wenn Sie es gewohnt sind.

# Environnement isolé
python3.12 -m venv ~/qwen3-tts
source ~/qwen3-tts/bin/activate
pip install --upgrade pip

# Paquet officiel
pip install -U qwen-tts

# Lecture et écriture de fichiers audio pour les exemples
pip install soundfile

Das Repository bietet optional FlashAttention 2, um die Inferenz auf neueren GPUs zu beschleunigen. Die Kompilierung dauert lange und schlägt bei manchen CUDA/PyTorch-Kombinationen fehl. Es ist nicht zwingend erforderlich: Ohne dieses Modul verwendet das Modell die standardmäßige Aufmerksamkeit von PyTorch. Installieren Sie es erst, wenn der Rest funktioniert.

pip install -U flash-attn --no-build-isolation

Überprüfen Sie, dass import passe und PyTorch Ihre GPU korrekt erkennen, bevor Sie fortfahren.

python -c "import torch, qwen_tts; print(torch.__version__, torch.cuda.is_available())"

#Schritt 2: Einen ersten Satz auf Französisch mit Qwen3-TTS erzeugen

Die Variante CustomVoice ist für einen ersten Versuch am unkompliziertesten: keine Referenzaufnahme, keine Beschreibung, die Sie verfassen müssen. Sie laden das Modell, wählen eine Stimme aus der Repository-Liste und übergeben Text und Sprache. Beim ersten Aufruf werden die Gewichte von Hugging Face heruntergeladen.

import torch
import soundfile as sf
from qwen_tts import Qwen3TTSModel

model = Qwen3TTSModel.from_pretrained(
    "Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice",
    device_map="cuda:0",
    dtype=torch.bfloat16,
)

wavs, sr = model.generate_custom_voice(
    text="Bonjour, ceci est un test de synthèse vocale locale avec Qwen3-TTS.",
    language="French",
    speaker="Ryan",
    instruct="Ton calme et posé, débit modéré.",
)

sf.write("sortie_custom_voice.wav", wavs[0], sr)
print("Fichier écrit à", sr, "Hz")

Drei Parameter verdienen eine Erklärung. Das Feld speaker bezeichnet eine der vordefinierten Stimmen; die genaue Liste mit der Ursprungssprache und der Beschreibung jeder Klangfarbe finden Sie in der README und im Hugging-Face-Modellblatt von CustomVoice. Alle diese Stimmen können Französisch vorlesen, aber jede behält einen Akzent bei, der zu ihrer Muttersprache passt – eine ästhetische Entscheidung und kein Fehler. Das Feld instruct ist eine Stilvorgabe in natürlicher Sprache: Emotion, Rhythmus, Intention. Es ist optional. Schließlich gibt die Funktion eine Liste von Wellenformen und die Abtastfrequenz zurück, sodass Sie mehrere Texte stapelweise verarbeiten können.

textes = [
    "Première phrase à lire.",
    "Deuxième phrase, avec une intonation différente.",
]
wavs, sr = model.generate_custom_voice(
    text=textes,
    language=["French", "French"],
    speaker=["Ryan", "Serena"],
    instruct=["Neutre.", "Enjouée, un peu plus rapide."],
)
for i, w in enumerate(wavs):
    sf.write(f"lot_{i}.wav", w, sr)

#Schritt 3: Eine Stimme anhand einer Beschreibung entwerfen

VoiceDesign erfüllt einen häufigen Bedarf: Sie möchten eine Stimme, die nicht in der Liste vorhanden ist, ohne jemanden nachzuahmen. Sie beschreiben das Ergebnis in ein oder zwei Sätzen, und das Modell erzeugt eine Klangfarbe, die zur Vorgabe passt. Für ein Produkt ist dies ebenfalls die bevorzugte Variante, da keine reale Stimme reproduziert wird.

import torch
import soundfile as sf
from qwen_tts import Qwen3TTSModel

model = Qwen3TTSModel.from_pretrained(
    "Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign",
    device_map="cuda:0",
    dtype=torch.bfloat16,
)

wavs, sr = model.generate_voice_design(
    text="Votre rendez-vous est confirmé pour demain à quatorze heures.",
    language="French",
    instruct="Voix féminine d'une quarantaine d'années, grave et chaleureuse, "
             "articulation nette, rythme lent, sans emphase.",
)

sf.write("sortie_voice_design.wav", wavs[0], sr)

Die Beschreibung funktioniert besser, wenn sie akustische Merkmale (Tonhöhe, Geschwindigkeit, Energie, Klarheit) beschreibt als Metaphern. „Stimme eines nächtlichen Radiomoderators“ liefert weniger stabile Ergebnisse als „tiefe, langsame, gedämpfte Männerstimme“. Eine so entworfene Stimme ist von einem Aufruf zum nächsten nicht unveränderlich: Wenn Sie dieselbe Stimme für Hunderte von Sätzen benötigen, generieren Sie zunächst einen passenden Ausschnitt und verwenden Sie ihn anschließend mit der Base-Variante als Referenz. Sie klonen dann eine synthetische Stimme, was keine Einwilligungsprobleme aufwirft.

#Schritt 4: Eine Stimme mit Zustimmung ihres Besitzers klonen

Die Base-Variante reproduziert eine Klangfarbe anhand eines kurzen Audioausschnitts und dessen Transkription. Ein paar Sekunden saubere Sprache genügen, um eine erkennbare Stimme zu erhalten. Dies ist die beeindruckendste Funktion der Familie und diejenige, die schon vor dem Schreiben einer einzigen Codezeile die größte Sorgfalt erfordert.

Nehmen Sie für die Referenz einen fünf- bis zehnsekündigen Satz an einem ruhigen Ort auf, ohne Hintergrundmusik oder Nachhall, und sprechen Sie natürlich. Transkribieren Sie ihn Wort für Wort einschließlich der Zeichensetzung: Diesen Text richtet das Modell an der Audiospur aus, um die Klangfarbe zu erlernen. Eine Mono-WAV-Datei ist das sicherste Format.

import torch
import soundfile as sf
from qwen_tts import Qwen3TTSModel

model = Qwen3TTSModel.from_pretrained(
    "Qwen/Qwen3-TTS-12Hz-1.7B-Base",
    device_map="cuda:0",
    dtype=torch.bfloat16,
)

wavs, sr = model.generate_voice_clone(
    text="Voici une phrase que je n'ai jamais prononcée, lue avec ma propre voix.",
    language="French",
    ref_audio="ma_reference.wav",
    ref_text="Bonjour, je m'appelle Thomas et j'enregistre cette phrase pour tester le clonage.",
)

sf.write("sortie_clone.wav", wavs[0], sr)

Das Repository dokumentiert zwei fortgeschrittene, für den Produktionseinsatz nützliche Anwendungsfälle. Erstens die Möglichkeit, den „Fingerabdruck“ der Referenzstimme einmalig vorab zu berechnen und anschließend für jeden Satz wiederzuverwenden, ohne das Audio erneut zu laden: Genau das wird für einen Dokumentenleser oder einen kontinuierlich sprechenden Assistenten benötigt. Zweitens einen Modus, in dem nur der Sprecher-Fingerabdruck ohne Transkription verwendet wird – schneller, aber weniger originalgetreu. Die genauen Namen dieser Parameter stehen in der README; zwischen den ersten Versionen des Pakets haben sie sich geändert, weshalb es wichtig ist, die installierte Dokumentation statt eines veralteten Tutorials zu lesen.

Was das Ergebnis verbessert

Eine saubere Referenz, eine genaue Transkription, eine erzwungene Sprache statt „Auto“ und ein punktuierter Zieltext (das Modell atmet an Kommas und Punkten).

Was die Qualität verschlechtert

Hintergrundgeräusche, eine zu kurze oder zu lange Referenz, ein Flüstern, eine ungenaue Transkription sowie Zahlen, die in mehrdeutigen Fällen als Ziffern statt als Wörter geschrieben sind.

Was dokumentiert werden muss

Wer seine Zustimmung gegeben hat, für welchen Zweck, an welchem Datum und wo die Aufnahme aufbewahrt wird. Für ein persönliches Projekt reicht eine einfache Textdatei neben der Referenz; für eine berufliche Nutzung ist ein echtes Verarbeitungsverzeichnis erforderlich.

#Schritt 5: Weboberfläche und Server

Das Paket installiert eine Gradio-Demo über die Kommandozeile, die praktisch ist, um Stimmen und Anweisungen auszuprobieren, ohne ein Skript zu schreiben. Sie lädt beim Start ein Modell und stellt eine lokale Webseite bereit.

qwen-tts-demo Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice --ip 127.0.0.1 --port 8000

Belassen Sie die Listening-Adresse auf 127.0.0.1, solange der Rechner nicht geschützt ist: Gradio authentifiziert standardmäßig niemanden, und eine über ein Netzwerk erreichbare Oberfläche zum Klonen von Stimmen ist nicht harmlos. Wenn Sie von einem anderen Rechner darauf zugreifen müssen, verwenden Sie einen SSH-Tunnel oder einen Reverse-Proxy mit Authentifizierung, wie bei jedem lokalen Dienst.

Für eine Anwendungsintegration verweist das Team Qwen auf vLLM-Omni, die multimodale Erweiterung von vLLM, mit der sich das Modell über eine HTTP-API und mit Streaming-Ausgabe bereitstellen lässt (die Audioausgabe beginnt, bevor die Generierung abgeschlossen ist). Das ist der Weg, den Sie für einen Sprachassistenten mit niedriger Latenz prüfen sollten; für die Stapelgenerierung von Audiodateien genügt das direkte Python-Skript und erspart Ihnen eine zusätzliche Schicht.

#Apple Silicon und Windows: als solche gekennzeichnete Community-Ansätze

Das offizielle Repository dokumentiert Linux mit CUDA. Auf anderen Plattformen gehört das Folgende zum Community-Ökosystem: Wir haben diese Wege nicht selbst überprüft, und ihr Zustand ändert sich von Monat zu Monat.

Mac mit Apple Silicon

Das offizielle Paket basiert auf PyTorch; Sie können device_map="mps" mit dtype float16 oder float32 ausprobieren (bfloat16 wird von MPS nicht immer unterstützt), sollten aber mit nicht unterstützten Operationen rechnen. Der naheliegendste Weg auf dem Mac ist eine MLX-Portierung: Das Community-Projekt mlx-audio hat Unterstützung für Qwen3-TTS angekündigt. Prüfen Sie in dessen Repository, welche Varianten abgedeckt sind und welchen Reifegrad sie haben, bevor Sie sich darauf festlegen.

Native Windows-Umgebung

PyTorch mit CUDA lässt sich normalerweise installieren, aber FlashAttention ist unter Windows schwierig zu kompilieren: Lassen Sie es weg und verwenden Sie die Standardaufmerksamkeit. Einige Audioabhängigkeiten benötigen System-Binärdateien (zum Beispiel ffmpeg im PATH). Installationsprogramme von Drittanbietern mit „Ein-Klick“-Installation sind im Umlauf; sie enthalten oft eine festgelegte Paketversion, und Sie sollten prüfen, was sie installieren.

Windows über WSL2

Dies ist der Weg, der der offiziellen Dokumentation am nächsten kommt: Eine Ubuntu-Distribution unter WSL2 mit dem aktuellen NVIDIA-Windows-Treiber erkennt die GPU und führt exakt die Befehle aus diesem Leitfaden aus. Der Nachteil ist eine zusätzliche Schicht und ein geringfügig langsamerer Zugriff auf Windows-Dateien.

#Fehlerbehebung

CUDA out of memory beim Laden

Ein anderer Prozess belegt die Karte (Ollama, ein Browser mit Beschleunigung, eine Stable-Diffusion-Sitzung). Prüfen Sie dies mit nvidia-smi, geben Sie Speicher frei oder wechseln Sie zur 0,6B-Variante.

Download unterbrochen oder Repository nicht gefunden

Prüfen Sie die genaue Modellkennung auf der Hugging-Face-Seite der Organisation Qwen; die Namen der Varianten können sich seit der Erstellung geändert haben. Ein unvollständiger Download wird durch einen erneuten Start des Skripts fortgesetzt.

Fehler bei import liée in transformers oder torch

Versionskonflikt mit einem anderen im selben Umfeld installierten Projekt. Erstellen Sie eine saubere virtuelle Umgebung neu und installieren Sie ausschließlich qwen-tts und soundfile.

Ungewöhnliche französische Aussprache

Erzwingen Sie language="French" statt „Auto“, schreiben Sie Zahlen in Buchstaben aus, wenn die Lesung mehrdeutig ist, und setzen Sie Satzzeichen. Abkürzungen werden besser gelesen, wenn sie durch Punkte oder Leerzeichen getrennt sind.

Der Klon klingt nicht wie die Referenz

Nehmen Sie die Referenz in ruhiger Umgebung erneut auf, prüfen Sie die Transkription Wort für Wort und testen Sie 1,7B, wenn Sie zuvor 0,6B verwendet haben. Ein zu langer Ausschnitt hilft nicht: Einige Sekunden klarer Sprache sind besser als eine verrauschte Minute.

Stille oder leere Datei

Vergewissern Sie sich, dass Sie tatsächlich wavs[0] und nicht die gesamte Liste schreiben und dass die vom Modell zurückgegebene Abtastrate der an soundfile übergebenen entspricht.

Extreme Langsamkeit

Das Modell läuft wahrscheinlich auf der CPU. Der Test torch.cuda.is_available() aus Schritt 1 muss True zurückgeben; andernfalls installieren Sie PyTorch mit der CUDA-Version, die zu Ihrem Treiber passt, neu.

#Weiterführende Informationen

Qwen3-TTS deckt den Teil „Sprechen“ einer lokalen Sprachpipeline ab. Für die andere Hälfte, das Verstehen, und zum Vergleich mit leichteren Synthesemodellen behandelt die Website bereits mehrere verwandte Themen. Die in dieser Anleitung genannten Versionen der Pakete und Modelle entsprechen dem QwenLM/Qwen3-TTS-Repository zum Zeitpunkt der Erstellung; bei Abweichungen sind das Repository und die Hugging-Face-Seiten maßgeblich.

Kokoro TTS: Überzeugende lokale Sprachausgabe mit geringem Ressourcenbedarf

Das Modell mit 82 Millionen Parametern, das auf einem Prozessor schneller als in Echtzeit spricht, ohne Klonen. Die richtige Wahl, wenn Sparsamkeit wichtiger ist als Ausdrucksstärke. https://quelllm.fr/guide/kokoro-tts-voix-locale

Zu 100 % lokaler Sprachassistent: Whisper + Ollama + Piper

Die vollständige Kette: zuhören, schlussfolgern, gesprochen antworten. Qwen3-TTS kann bei der Synthese Piper ersetzen, sofern Ihre GPU dies erlaubt. https://quelllm.fr/guide/assistant-vocal-local-whisper-piper

Modellblatt für Voxtral 4B TTS

Das andere aktuelle offene Sprachsynthesemodell aus Europa, um Qwen3-TTS ohne zahlenmäßigen Vergleich in den Kontext einzuordnen. https://quelllm.fr/modele/voxtral-4b-tts