>44

おかしいですね

サイズ変更で、800ｘ600にして、513ｘ384のままというのが、まず、変ですね
拡張編集を一度全部offにしてみたら、どうでしょうか？

ファイルが開けないというのは、他のプレーヤーで再生できないという意味でしょうか？

あとは、元動画をそのままFreeMakeVideoConvertかXMediaRecodeに読ませんて、
MP4、2048kbps、ツーパスでエンコードしてみるとかですかね

基本、aviutlをとおしても、AVI出力で「無圧縮」を選択すれば、元からの画質の劣化はないはずですが、

その辺が、>44さんが、どういう風に使っているのか、わかりませんが、
ADGrecのような、フリーウェアで画面キャプするのもいいかも、
Bandicamというのは、GOMENCODER系のアプリケーションソフトですかね
動画をみるとロゴがでているのが、やや、気になります