샘플 30초만 주면 목소리가 복제된다고? — ElevenLabs 클로닝 첫날의 좌절
일요일 밤 열 시. 팟캐스트 기획자 혁은 “이번 화만은 내 목소리 말고 브랜드 보이스 하나 통일하고 싶다”고 결심했다. 6개월 넘게 매 화마다 자신의 목소리가 들쑥날쑥했다. 녹음 상태도 달랐고, 에너지도 달랐다.
ElevenLabs 페이지에서 Voice Clone을 눌렀을 때 혁은 “30초면 된다”는 설명을 봤다. 그러니까 지금 당장 샘플을 하나 만들어 올리면 오늘 밤 배포를 할 수 있다는 계산이 섰다. 혁은 에어팟을 꽂고 핸드폰으로 40초를 녹음했다. 카페에서.
결과를 재생하는 순간 혁은 잠깐 멈췄다. 쉰 듯한, 배경 소음을 품은, 자기 목소리가 나왔다. 원본보다 더 나빴다. 카페 배경음이 “목소리의 일부”처럼 복제된 것이다.
왜 30초 샘플로는 부족한가
Voice Clone이 학습하는 건 음소(phoneme) 단위의 패턴이다. 배경 소음이 있으면 소음도 목소리 패턴의 일부로 인식된다. 30초는 최소 동작 기준이지, 품질 기준이 아니다.
ElevenLabs 공식 가이드는 대략 이렇게 권장한다.
- 마이크와 입 사이 거리를 일정하게 유지
- 조용한 방, 이상적으로는 에코가 적은 공간
- 단조로운 낭독이 아니라 자연스러운 말투로 1~3분
- 숨소리, 입술 소리, 배경음 가능하면 편집 제거
혁에게 그날 밤 그 조건을 맞출 여건이 없었다. 그래서 선택은 두 가지였다. 내일 다시 하거나, 오늘 다른 방법을 찾거나.
프리셋이 구원이 되는 방식
혁은 Voice Clone 탭을 닫고 프리셋 카탈로그를 열었다. ElevenLabs에는 수십 개의 사전 녹음된 음성이 있다. 각각 이름, 언어, 성별, 용도 태그가 붙어 있다.
혁이 찾은 건 “따뜻한 남성, 내레이션, 한국어 가능” 정도의 조건이었다. 세 개를 골라 같은 문장을 TTS로 돌렸다. 세 번째가 가장 자신이 원하는 브랜드 톤에 가까웠다. 에너지가 너무 높지도, 너무 낮지도 않았다.
스크립트를 붙여 넣고, 속도를 0.95배로 살짝 낮추고, 감정 슬라이더를 중간보다 약간 아래로 맞췄다. 오프닝 45초를 만드는 데 추가로 15분이 걸렸다.
TTS를 그냥 쓰면 안 되는 구간
TTS가 잘 못 하는 것이 있다. 강조를 예측해서 넣는 것이다. 인간은 “이건 중요하니까 여기서 살짝 올려야지”를 자연스럽게 한다. TTS는 텍스트만 보고 평평하게 읽는 경향이 있다.
혁이 발견한 방법은 이렇다. 강조가 필요한 단어 앞뒤에 쉼표를 넣거나 줄바꿈을 넣으면 TTS가 자연스럽게 쉬었다 읽는다. “이 제품은 최고입니다”보다 “이 제품은, 최고입니다”가 다르게 들린다. 완벽하진 않지만, 눈치채기 어려울 수준까지는 된다.
동의와 윤리 — 한 줄 원칙
혁은 그날 자신의 목소리만 복제 시도했기 때문에 문제가 없었다. 그런데 팀원의 목소리를 무단으로 복제하거나, 공인의 목소리를 흉내 낸 콘텐츠를 만드는 것은 법적·윤리적으로 다른 이야기다.
브랜드 보이스를 만든다면, 처음부터 가상 페르소나로 설계하는 편이 안전하다. 특정 인물의 목소리를 흉내 내는 것이 아니라, 처음부터 이 캐릭터용으로 만들어진 목소리라는 설정이다. 국가·플랫폼·용도마다 표시 의무도 다르므로, 배포 전에 약관 한 번은 읽는 게 맞다.
끝맺음 — 배포 직전 볼륨 미터
혁은 완성된 오프닝을 이어폰으로 두 번 들었다. “완벽한 복제”는 다음 주 숙제로 넘어갔다. 오늘의 목표는 귀에 거슬리지 않게 오프닝 45초를 끝내는 것이었고, 그건 됐다.
Voice Clone 욕심은 버리지 않았다. 다음 주에 조용한 방에서 제대로 녹음한 3분 샘플을 올릴 계획이다. 오늘은 프리셋이 충분한 대답이었다.
편집 초안(cu). 약관·윤리·플랫폼 표시 정책은 공식 문서 기준.