RECHERCHE
Clonage de voix instantané
23 avril 2025
par Anastasiia Herus
Nous sommes ravis de présenter le clonage de voix instantané (IVC), le premier produit basé sur la conversion de voix chantée zero-shot, désormais disponible sur kits.ai. L'IVC offre une ressemblance et une qualité de chant inégalées avec seulement 15 à 30 secondes d'audio de référence et sans aucun temps d'entraînement, ce qui facilite plus que jamais l'exploration instantanée de nouvelles idées vocales.
Entrée
Référence chanteur cible
Sortie
Une avancée majeure dans la similarité des chanteurs
L'un des défis les plus courants de la conversion de voix zero-shot est d'obtenir un niveau de similarité convaincant avec le chanteur de référence sans sacrifier la qualité globale. Grâce à un trio d'innovations clés, l'IVC repousse les limites de la ressemblance tout en faisant progresser la fidélité et le réalisme.
Un ensemble de données plus vaste et mieux structuré de voix enregistrées en studio et sous licence. Nous avons élargi et nettoyé l'ensemble de données afin d'améliorer les performances sur un plus large éventail de styles vocaux et de timbres.
Un module de transformateur de diffusion est utilisé pour obtenir une plus grande fidélité lors de la synthèse, en particulier pour reproduire l'expressivité de la voix de référence.
Un nouveau vocodeur spécifique au chant conçu et entraîné pour reproduire les caractéristiques du chant avec plus de nuance et de réalisme.
Nos recherches antérieures sur la conversion de voix zero-shot constituent le fondement de ces améliorations. Instant Voice Cloning utilise la même approche d'intégration de caractéristiques en trois parties pour démêler la mélodie, le contenu et le style.
Cette architecture permet de transformer l'identité vocale et l'expressivité d'un fichier d'entrée avec une précision impressionnante, le tout à l'aide de seulement quelques secondes d'audio de référence.
Entraîné sur des données sous licence de haute qualité
Comme toujours, nous accordons la priorité à la qualité et au respect des artistes dans tout ce que nous concevons. Le système d'Instant Voice Cloning a été entraîné sur un ensemble de données de voix enregistrées en studio, sous licence directe des artistes. Chaque piste vocale a été traitée à la main par des ingénieurs du son professionnels afin de répondre aux normes de qualité requises pour une diffusion commerciale. Cela garantit que nos modèles ne sont pas seulement puissants sur le plan technique, mais qu'ils sont également respectueux de la création artistique.
Essayez-le dès maintenant
L'IVC est disponible gratuitement pour tous les utilisateurs pendant une durée limitée — essayez-le maintenant.