カスタムビューはたぶん自分で作ったUIのことだと思う。
サブコントローラはわかんない。

VST SDKのドキュメントになさそうだけど何かの本かな？
前後の文脈が分かればなにかこたえれるかも。