レスありがとうございます。ようやく仕組みが分かってきました。
原因は先読みとキャッシュがダブってしまうことのようです。

>>12
やはりVRAM消費量変わりません。VRAMは関係なさそうです。
>>13
300枚で試したところ、60GB消費して止まるので、その計算で合っているようです。
1枚　4*5504*8256≒181MB　×300≒54GB
結局原因は、先読みした後に画像を読み込んでいくと、
それがさらにキャッシュされてしまうので、2倍メモリを消費することで
メモリ不足になることでした。
200枚なら、約36GB×2でも72GB程度なので、問題なく読み込みできました。
これだと256GBメモリあっても足りないので、
先読みオン、キャッシュだけオフにできる設定を作ってほしいです。