작동 방식
녹음이 결과가 되기까지 서버에서 이런 순서로 처리해요.
- 목소리 분리. 반주가 섞여 있으면 Demucs로 목소리만 꺼내요.
- 음정 따라가기. CREPE로 시간마다 어떤 음을 내는지 읽어요.
- 음표 나누기. 음정 흐름을 음표로 나누고 긴 음, 비브라토, 음이 흔들린 곳을 찾아요.
- 항목별 점수. 음정, 울림, 긴 음 안정, 호흡, 비브라토 같은 항목을 재요.
- 프로 판정. HuBERT로 소리의 특징을 뽑아 프로 가수의 노래에 가까운지 봐요. 90점대는 여기를 통과해야 해요.
- 노래 닮은꼴. ECAPA-TDNN으로 목소리 특징을 뽑아 가장 가까운 가수를 찾아요.
- 결과 정리. 티어, 다음 연습, 문제 구간을 앱으로 보내요.
앱과 서버
| 부분 | 쓰는 기술 |
|---|---|
| 앱 | Expo, React Native |
| 분석 서버 | Python, FastAPI, GPU |
| 목소리 분리 | Demucs (MIT) |
| 음정 | CREPE (MIT) |
| 소리 특징 | HuBERT (torchaudio) |
| 목소리 비교 | ECAPA-TDNN, SpeechBrain (Apache-2.0) |