VideoRetalk Videogenerierung
- Audiobetriebene Lippensynchron-Videogenerierung – ersetzt die Lippenbewegungen der Person im Video durch passende Bewegungen zur Zielaudiodatei
- Asynchroner Verarbeitungsmodus; verwenden Sie die zurückgegebene Aufgaben-ID, um das Ergebnis abzufragen
- Generierte Videolinks sind 24 Stunden gültig – bitte rechtzeitig speichern
Typische Anwendungsfälle:
- Mehrsprachige Synchronisation: Lippenbewegungen im Originalvideo durch eine andere Sprache ersetzen
- Virtueller Moderator: Charaktervideo mit TTS-generiertem Audio antreiben
- Werbung: dasselbe Videomaterial schnell in mehrsprachigen Versionen produzieren
- Bildung und Training: Vorlesungsvideos durch Erklärungen in verschiedenen Sprachen ersetzen
Hinweise:
- Eingabe-URLs müssen öffentlich zugänglich sein
- Das Video muss ein menschliches Gesicht enthalten; andernfalls schlägt die Aufgabe fehl
ref_image_urlangeben, wenn mehrere Gesichter im Video vorhanden sind
Autorisierungen
##Alle Endpunkte erfordern eine Bearer-Token-Authentifizierung##
API-Schlüssel abrufen:
Besuchen Sie die API-Schlüsselverwaltungsseite, um Ihren API-Schlüssel zu erhalten
Fügen Sie folgenden Header zu jeder Anfrage hinzu:
Authorization: Bearer YOUR_API_KEYBody
Modellname
videoretalk "videoretalk"
Eingabevideo-URL mit der Person, deren Lippenbewegungen ersetzt werden sollen
Anforderungen:
- Öffentlich zugängliche Video-URL
- Formate: MP4, MOV und andere gängige Formate
- Das Video muss ein klar sichtbares menschliches Gesicht enthalten
- Empfohlene Länge:
2~300Sekunden
"https://example.com/speaker.mp4"
Zielaudio-URL – die Person im Video wird ihre Lippen zu diesem Audio synchronisieren
Anforderungen:
- Öffentlich zugängliche Audio-URL
- Formate: WAV, MP3, M4A und andere gängige Formate
- Empfohlen: menschliche Sprachinhalte
"https://example.com/target-speech.wav"
Referenzgesichtsbild-URL
Wenn das Video mehrere Gesichter enthält, verwenden Sie dieses Bild, um das Zielgesicht anzugeben, dessen Lippenbewegungen ersetzt werden sollen
Anforderungen:
- Das Bild sollte eine klare Frontansicht des Gesichts der Zielperson zeigen
- Nur erforderlich, wenn das Video mehrere Gesichter enthält
"https://example.com/target-person-face.jpg"
Gibt an, ob das Video automatisch auf die Audiolänge erweitert werden soll, wenn das Audio länger als das Video ist
true: Ausgabelänge = Audiolänge (Video wird automatisch erweitert)false: Ausgabelänge = min(Videolänge, Audiolänge)
false
Konfidenzschwellenwert für die Gesichtserkennung
- Bereich:
120~200 - Niedrigere Werte erleichtern die Erkennung (können zu Fehlerkennung führen)
- Höhere Werte sind strenger (können zu fehlgeschlagener Erkennung führen)
- Wenn
Kein passendes Gesicht gefundengemeldet wird, Wert verringern (z. B.140) - Wenn das falsche Gesicht erkannt wird, Wert erhöhen (z. B.
190)
120 <= x <= 200170
HTTPS-Callback-URL, die nach Abschluss der Aufgabe aufgerufen wird
Auslösebedingungen:
- Wird ausgelöst, wenn die Aufgabe abgeschlossen, fehlgeschlagen oder abgebrochen wurde
- Wird nach Abrechnungsbestätigung gesendet
Sicherheitsbeschränkungen:
- Nur HTTPS
- Interne IP-Adressen werden blockiert (127.0.0.1, 10.x.x.x, 172.16-31.x.x, 192.168.x.x usw.)
- URL-Länge darf
2048Zeichen nicht überschreiten
Callback-Verhalten:
- Timeout:
10Sekunden - Bis zu
3Wiederholungsversuche nach Fehlern (nach 1s / 2s / 4s) - Antwortformat entspricht der Aufgaben-Abfrage-API
- HTTP-2xx-Statuscode gilt als Erfolg; andere Codes lösen einen Wiederholungsversuch aus
"https://your-domain.com/webhooks/video-task-completed"
Antwort
Lippensynchron-Videogenerierungsaufgabe erfolgreich erstellt
Zeitstempel der Aufgabenerstellung
1775200000
Aufgaben-ID
"task-unified-1775200000-xyz12345"
Tatsächlich verwendeter Modellname
"videoretalk"
Spezifischer Aufgabentyp
video.generation.task Aufgabenfortschritt in Prozent (0–100)
0 <= x <= 1000
Aufgabenstatus
| Status | Fortschritt | Beschreibung |
|---|---|---|
pending | 0~10 | Wartet auf Verarbeitung |
processing | 10~80 | In Bearbeitung |
completed | 100 | Abgeschlossen |
failed | 0 | Fehlgeschlagen |
pending, processing, completed, failed "pending"
Details zur Videoaufgabe
Ausgabetyp der Aufgabe
video "video"
Nutzungs- und Abrechnungsinformationen