AI 노래 음성 훈련 및 맞춤화

Kits에서 제공하는 제 주요 역할 중 하나는 단순한 사운드를 넘어 작업하기에 영감을 주는 탄탄하고 매력적인 데이터셋으로 로열티 프리 모델을 학습시키는 것입니다. 이 과정의 일부는 순전히 기술적인 부분이지만, 모델의 개성을 형성하는 창의적인 선택이 필요한 부분도 있습니다. 오늘은 여러분만의 학습 데이터를 최적화하고 음성 모델에 고유한 개성을 더해줄 수 있는 의도적인 창의적 결정을 내리는 방법을 자세히 설명해 드리고자 합니다. 

지난 몇 주 동안 저는 보다 캐릭터 중심적인 음성을 만드는 제 프로세스와 제가 사용한 독특한 기술들에 대해 다루었습니다. Rock Male (English, Overdriven) 모델을 위해 기타 앰프를 통해 노래를 부르거나, Jazz Female (English, Vintage, Soprano) 모델을 위해 리본 마이크를 사용하여 제 스튜디오 모니터 중 하나를 캡처하는 등, 돋보이는 데이터셋을 만드는 방법은 정말 무궁무진합니다.  

기본 다지기

탄탄한 기본기는 모든 음성 모델을 만드는 데 있어 가장 중요한 부분입니다. 추가하고 싶은 특별한 속성에 관계없이 저는 항상 깨끗한 보컬 캡처로 시작합니다. 이는 에어컨, 냉장고 소음 등 향후 모델의 사운드를 저하시키고 문제를 일으킬 수 있는 모든 배경 소음을 제거하는 것을 의미합니다. 아주 훌륭한 30분짜리 데이터셋을 녹음했는데, 재생할 때 방 안에서는 거의 느끼지 못했던 해상도 낮은 웅웅 거리는 소리가 들린다고 가정해 보겠습니다. 저도 그런 적이 있습니다! 테이크에만 몰두하다가 나중에야 미친 듯이 윙윙거리는 앰프 소리나 배경에서 돌아가는 히터 소리를 알아채곤 하죠. 처음부터 시작하는 분이라면 직접 고품질 보컬을 녹음하는 방법에 대한 가이드를 확인해 보세요.

iZotope RX와 같은 도구를 사용하면 일정한 웅웅 소리와 잡음을 쉽게 해결할 수 있습니다. RX의 Spectral De-noise 모듈을 열고 배경 소음만 있는 오디오 섹션을 선택한 다음 "Learn"을 누르고 오디오를 재생하기만 하면 됩니다. RX가 분석하여 노이즈 감소를 자동으로 조정합니다. Threshold 및 Reduction 페이더를 조정하여 조금 더 미세하게 튜닝할 수도 있지만, RX를 사용하면 성가신 아티팩트들을 아주 간단하게 제거할 수 있습니다. 

게인 레벨의 중요성

적절한 게인 레벨을 설정하는 것 또한 중요합니다. 모델을 만들 때 저는 피크가 -6dB를 넘지 않는 일정한 -12dB 레벨을 목표로 합니다. 이렇게 하면 오디오의 다이내믹을 유지하면서도 머신 러닝이 효과적으로 학습할 수 있는 이상적인 볼륨을 제공할 수 있습니다. 볼륨이 너무 작거나 빨간색으로 클리핑되는 제출물을 흔히 보게 됩니다. 디지털 클리핑은 록 보컬에서 원할 법한 기분 좋은 배음(새츄레이션)을 주지 않으며, 그저 거칠기만 할 뿐이라 머신 러닝 알고리즘 역시 반겨 하지 않습니다. 

캐릭터 만들기

일반적으로 깨끗하고 탄탄한 데이터셋이 DAW로 가져온 후 여러 조작을 하기에 가장 좋은 기본 베이스가 되지만, 때로는 학습 데이터에 직접 특정한 개성을 입혀보는 것도 재미있습니다. 효과가 적용된 사운드를 업로드하면 모델에 해당 특성이 자동으로 반영되므로 나중에 DAW 작업을 따로 거칠 필요가 없습니다. 이는 고음역대와 중음역대를 강조하고 거친 느낌을 더해주는 라디오나 워키토키 효과 같이 특정 보컬 분위기를 원하는 콘텐츠 크리에이터에게 완벽한 방법이 될 수 있습니다. 이 효과를 전체 데이터셋에 적용하면 순식간에 라디오를 통해 나오는 듯한 소리를 내는 나만의 전용 모델을 갖게 됩니다.

아니면 구석에 방치되어 있던 오래된 디스토션 페달의 먼지를 털어내야 할 때일지도 모릅니다! 데이터셋을 페달에 통과시키면 완전히 새로운 수준의 보컬 캐릭터를 더할 수 있습니다.

저는 종종 보컬을 기타 앰프에 연결하여 오버드라이브를 높이고 취향에 맞게 조절하는 것을 좋아합니다. 소유하고 계신 Marshall 하프 스택 앰프로 크게 연주해 보며 사운드를 키워보는 건 어떨까요? 이웃이 경찰에 신고하기까지 얼마나 걸릴지 확인해 보세요!

하지만 소음 민원을 피하고 싶다면 이 작은 배터리 작동식 Marshall 앰프 중 하나를 대신 사용해 볼 수도 있습니다. (참고로 이 소형 앰프들은 스튜디오의 숨은 보물입니다. 절대 과소평가하지 마세요!) 

또 다른 팁은 바로 와우(wah) 페달입니다. 특정 지점에서 와우 페달을 고정해 두면(cocked) 다양한 필터 효과를 낼 수 있습니다. 거창할 필요는 없습니다. 표준적인 Dunlop CryBaby 하나만으로도 충분히 훌륭합니다. 

그리고 릴투릴(reel-to-reel) 테이프 데크 없이도 실감 나는 로파이(lo-fi) 감성을 내고 싶다면 카세트 녹음기를 사용해 보세요. 이 제품은 내장 마이크와 USB 2.0 포트를 탑재하고 있습니다. 내장 마이크를 사용해 스피커의 소리를 카세트에 녹음하면 아름답게 열화된 따뜻한 사운드를 만들어낼 수 있습니다. 저도 실험용으로 하나 장만해야겠네요!

결론

결국 음악을 만드는 것은 즐거워야 하며, 저에게 그것은 본래의 한계를 뛰어넘고 새로운 사운드를 찾는 것을 의미합니다. 첫 번째 업로드 시도가 원하는 대로 흘러가지 않더라도 걱정하지 마세요. 모든 테이크는 프로세스의 일부이며 다음 단계를 위한 밑거름이 됩니다. Kits.AI는 여러분이 영감을 주고 독특한 무언가를 창조할 수 있도록 돕기 위해 여기에 있습니다. 그러니 망설이지 말고 도전하세요. 가능성은 무한합니다!