超能力で解釈すると

1.HDMIまたはDPで音声出力していたが音量調整が効かなかった
2.モニタには他のソースを入力するのでモニタからスピーカへのライン出力は必須
3.結果モニタとMacのライン出力を分配ケーブルを逆方向で使用しスピーカにミックス入力すればいいと考えた

1 -> デジタル音声出力時mac側で音量調整できないのは普通、劣化するし圧縮フォーマットの場合対応出来ないから
ツール使えばモニタによってはのDDC/CI制御でゲイン/減衰調整できる場合あり>>114等、ただしM1は現状対応してる
ツールがないと思われ(ある？)

3 -> 結論からいうと出来るが...自分は絶対やらない、ラインセレクタのほうがまし