sceneでマスク素材を作ってrootに呼び出せばいい

マスク対象の動きによるが（動画と仮定して）大雑把でいいなら動画を下敷きにして複数レイヤーを使って図形などに動きをつける

完成したらsceneの下敷き動画だけを削除又は非表示にする
左上の設定でアルファチャンネルを有効にする

rootに戻ってsceneを呼び出し動画の上のレイヤーに配置
動画レイヤーを選択して右クリック→上のオブジェクトでクリッピング

これでマスク部分は抽出できる
後はモザイクとかグローとか