DTMプログラマーの憩いの里 in DTM板

どのくらいいらっしゃいますか？

「DTM関連のコンピュータープログラム作ったりしてる方」
プロアマ問わず。

なんとかチューバーとか見てると多い気がしたので、
ここに立てます。情報、意見、主義主張、技術交換しましょ。

DTMやってる人をIT業界に誘うか、その逆になるか？
どっちも素敵。

>>115
実際使ってみたんですが、まあ予想通りと言うか多分音声からピッチ情報を抜き出すアルゴリズム自体にはどれもそれほど大きな差は無いと思いました
もちろん、和音に対応してたり楽器の種別ごとに抜き出したりするならその分複雑なことをやってるはずですが、正直実用レベルには達してないなという感じでした

おそらくどれを使っても、単音や単一楽器の和音程度までなら正確にピッチや和音を抽出することはできるんですが、今回実装した「そこそこ音痴な鼻歌からメロディを生成する」機能を作るって目的ではむしろその抜き出した単音のピッチ情報の配列、ピッチの変化とか流れをどう解釈するかって部分のほうが重要でした
単に音声のピッチを正確に抽出したまま音符に変換するだけだと、音痴な鼻歌のフレーズ出だしや終わりの不安定な声や、隣り合う鍵盤上のピッチの中間あたりを歌ってるような声が細かく分割されたノートになってしまうんです
これは編集して正しいメロディに直すには最悪の状態で、最初からマウスで入力したほうがまだマシなわけです
とりあえずAI任せで最初に実装したのをはじめ、これまでに試したネット上で入手できる全てのアルゴリズムでほぼ同じ結果でした

そういう既存のアルゴリズムにある問題点の解決方法が既にあるかも、詳しい人がいるかもと思って最初は聞いたんですが、結果的にはなんとか自分で作れていい勉強になりました

和音とか音楽まるごとMIDIにするみたいなのは、そのうちAIでもっと段違いにクオリティの高いのがwebサービスとしてでるのかもしれないですね

Cycling '74 Max 9.2 Update
https://cycling74.com/releases/max/9.2.0

>>116
・MIDIファイルから合成された音声データで学習したのがMT3、実際の音楽録音17万件（1万1000時間）で学習したのがMuScriptor
・MuScriptorの学習に鼻声は少ないのでは？
・Basic-Pitchのモデルを自分の声で追加学習するのがいいと思います
・データセットを作るときに、音痴もかなり改善されるかも
・データセットはピッチベンドの扱いを考慮したのを歌い分けておくといいかも

とりあえず機能は完成してて、当初考えていた用途、目的を最低限果たせるだけのクオリティの物はできてるんですよね
まだ多少手を加える予定ですが

音痴を改善と言うよりも、色んな人に使ってもらうのに「多少音痴でも大丈夫」なことが必要で、入力が音痴なら出力も音痴になるのは当然、でも最低限データ入力としてまともに使える形にはしたい（音痴な鼻歌でもノートが不自然に細切れにならない）てのが目標だったわけです
例えば「ドーレードー」と言うメロディを「んーんーんー」と歌って変換した時に出力が「ドーレ#ードー」なのはユーザーとしてはまあ許容範囲なわけです
でも、出力されたノートが細切れのトリルみたいになってたら、例えそれが鼻歌が音痴なせいだったとしても、さすがに「なんだこれ使えねーな」ってなると思うんですよ

それで最初はそういう問題をすでに解決したものが既にあるのかなと思って聞いたけど結局そんなものは無かったわけです

Basic-Pitchもその他のアルゴリズムも、単純に音声データといくつかのパラメータを引数として、単位時間で分割されたピッチの配列データを返してくれるだけのものなので、単音の変換に限って言えばどのアルゴリズムを使おうがクオリティは大差なくて、どれでも十分に正確なピッチ抽出はしてくれます
ただその正確な（つまり音痴なら音痴なままの）ピッチの配列を解釈してノートに変換する処理を自分で用意しないといけないのは何を使おうが変わらないんですよね

それでも何とか問題は解決して実装完了しましたよ、というのが >>113 までの話です

そんで、それとは関係なくMuScriptorはちょっと面白そうだなと思ったので試しにDAW上でちょっといじってみましたが「どんな音楽でも読み込んでMIDIに出来るよ！」という目的に対してはまだまだかなというのが正直なところです
完成度はともかく音楽を読み込ませれば全パートを一度にMIDIデータ化出来て、0から耳コピするよりは早いだろうし、和音からコード名を表示するようなプラグインと併用してコード抽出とか用途によっては使えるシーンもありそうなので「実用に耐えない」とまでは言い過ぎだったかもしれません
これからもっと完成度は上がっていくんだろうと思います

PitchNet
JUCEで構築された軽量ピッチエディター。ニューラルピッチ検出とボコーダー再合成機能を搭載し、リアルタイムプレビューが可能。
(PitchNetは、HachiTuneの貢献者によって開発されたオープンソースプロジェクトであるHachiTuneを改変したものです)
https://github.com/SessionLoops/PitchNet
https://sessionloops.com/pitchnet

AIツール「LiteLLM」にパスワードを盗む不正プログラムが混入
・LiteLLMをインストールした環境でPythonを起動するだけで実行される
・攻撃者が遠隔操作で別のプログラムを実行できる
・問題のバージョン1.107.0は日本時間の2026年10月21日20時39分頃にPyPIで公開され、約2時間後に削除
https://gigazine.net/news/20261022-litellm-backdoor/

LiteLLMパッケージ 再侵害の概要と対策指針
https://blog.flatt.tech/entry/litellm_2nd_compromise

https://youtu.be/acHyW6L9PSk?si=qz6ycQJT4j-uEM5w&t=345
Waveform Pro 14.1 では、AIアシスタント機能を使って独自の音楽プラグインを作成することが可能です

1)AIアシスタントに対し、作りたいエフェクトや楽器について詳しく説明します。
2)AIが自動的にコードを記述し、Waveform内でコンパイルを実行します。
3)もしコンパイル時にエラーが発生した場合、AIがメッセージを読み取り、自動的にコードを修正して正常な状態にします。
4)完成したプラグインはトラック上で使用可能になり、UIやオートメーション可能なパラメータも自動的に生成されます。
5)作成したプラグインはプロジェクト内に保存されるため、後から再利用したり、他の人と共有したりすることも可能です。

https://youtu.be/o0VT_8TRJ_o
・内部で『Cmajor』を使用してDSPコードを記述・コンパイルし、ビルドエラーの修正まで自動で行います
・膨大なプラグインフォルダから目的のものを探す」という手間を省き、制作現場で即座に必要なツールを生み出せる点が、この機能の最大の強みです