わかりやすそうなところで、
BMP画像をJPG画像に変換したことある?
変換設定によっては画質が大幅に劣化する
かといって、画質を上げるとファイルサイズがでかくなる

動画のキャプチャも似たようなもので、
キャプチャの設定によっては画質が大幅に劣化する
画質を上げるとファイルサイズがでかくなる

つまりは、設定しだいだよ
設定をいじれないのなら、どうしようもないが