본문으로 건너뛰기

작동 방식

녹음이 결과가 되기까지 서버에서 이런 순서로 처리해요.

  1. 목소리 분리. 반주가 섞여 있으면 Demucs로 목소리만 꺼내요.
  2. 음정 따라가기. CREPE로 시간마다 어떤 음을 내는지 읽어요.
  3. 음표 나누기. 음정 흐름을 음표로 나누고 긴 음, 비브라토, 음이 흔들린 곳을 찾아요.
  4. 항목별 점수. 음정, 울림, 긴 음 안정, 호흡, 비브라토 같은 항목을 재요.
  5. 프로 판정. HuBERT로 소리의 특징을 뽑아 프로 가수의 노래에 가까운지 봐요. 90점대는 여기를 통과해야 해요.
  6. 노래 닮은꼴. ECAPA-TDNN으로 목소리 특징을 뽑아 가장 가까운 가수를 찾아요.
  7. 결과 정리. 티어, 다음 연습, 문제 구간을 앱으로 보내요.

앱과 서버​

부분쓰는 기술
앱Expo, React Native
분석 서버Python, FastAPI, GPU
목소리 분리Demucs (MIT)
음정CREPE (MIT)
소리 특징HuBERT (torchaudio)
목소리 비교ECAPA-TDNN, SpeechBrain (Apache-2.0)