MuScriptor: Automatic Multi-instrument Transcription
https://kyutai.org/blog/2026-07-10-muscriptor/
https://muscriptor.kyutai.org/

Audio-MIDI変換（multi-instrument）
ポップ、クラシック、メタル、ジャズなど、どんなジャンルの録音でも、事前にどんな楽器が使われているかを知る必要なく、各楽器の演奏音符をMIDIに変換します。

MuScriptorは、トラックに含まれる楽器の種類に基づいて条件を設定することができます。これには2つの目的があります。1つ目は、出力をカスタマイズできることです。例えば、ピアノとベースのみを採譜するように指定できます。2つ目は、トラック全体を通して楽器の識別を安定させることです。条件を設定しない場合、モデルが「これはどの楽器か」を推測する際、5秒間のセグメントごとに結果が変動する可能性があります。トラックに含まれる楽器の種類を事前に指定することで、この曖昧さを解消できます。

https://github.com/muscriptor/muscriptor
The code in this repository is released under the MIT license.
The model weights, published on HuggingFace, are released under the CC BY-NC 4.0 license (non-commercial use).