PESQUISA
Clonagem Instantânea de Voz
23 de abril de 2025
por Anastasiia Herus
Estamos animados em apresentar Clonagem de Voz Instantânea (IVC), o primeiro produto impulsionado pela conversão de voz cantada sem necessidade de amostras, agora disponível em kits.ai. O IVC oferece uma semelhança e qualidade de cantor incomparáveis com apenas 15-30 segundos de áudio de referência e sem tempo de treinamento, tornando mais fácil do que nunca explorar instantaneamente novas ideias vocais.
Entrada
Referência do Cantor Alvo
Saída
Um grande avanço na similaridade de cantores
Um dos desafios mais comuns com conversão de voz zero-shot é atingir um nível convincente de semelhança com o cantor de referência sem sacrificar a qualidade geral. Graças a um trio de inovações-chave, o IVC supera os limites de similaridade, juntamente com avanços em fidelidade e realismo.
Um conjunto de dados maior e mais selecionado de vocais gravados em estúdio, licenciados. Expandimos e limpamos o conjunto de dados para melhorar o desempenho em uma gama mais ampla de estilos e timbres vocais.
Um módulo transformador de difusão é usado para alcançar maior fidelidade durante a síntese, especialmente ao reproduzir a expressividade da voz de referência.
Um novo vocoder específico para canto projetado e treinado para reproduzir características de canto com maior nuance e realismo.
Nosso estudo anterior em conversão de voz zero-shot fornece a base para essas melhorias. A clonagem instantânea de voz utiliza a mesma abordagem de embedamento de características em três partes para desvincular melodia, conteúdo e estilo.
Esta arquitetura torna possível transformar a identidade vocal e a expressividade de um arquivo de entrada com precisão impressionante, tudo com apenas segundos de áudio de referência.
Treinado em dados licenciados de alta qualidade
Como sempre, priorizamos a qualidade e o respeito ao artista em tudo o que construímos. O sistema de Clonagem Instantânea de Voz foi treinado em um conjunto de dados de vocais gravados em estúdio, licenciados diretamente dos artistas. Cada trilha vocal foi processada manualmente por engenheiros de áudio profissionais para atender aos padrões de qualidade de lançamento. Isso garante que nossos modelos não sejam apenas tecnicamente poderosos — eles são artisticamente confiáveis.
Experimente agora
IVC está disponível gratuitamente para todos os usuários por tempo limitado — experimente agora.