困ってる現象があるんだけど、どう対処したらいいか教えてください

VLCで視聴する動画は、mp4単体の場合と、
mp4のファイル名と同じファイル名にした字幕ファイル（.srt）をセットで見る場合があります

で、字幕ファイルの必要がないmp4単体の動画を再生したときに、
ファイル名がぜんぜん違う字幕ファイルを一緒に再生（表示）してしまうのが困った現象なんです
（読み込んでしまう字幕ファイルは複数になることもある）

同一フォルダ内に字幕ファイルがあると、ファイル名が合致してなくても勝手に読み込んでしまうのかとも思ったけど、
字幕ファイルが同一フォルダ内にあっても、よその字幕ファイルを全く読み込まずにきちんと再生できているmp4もあるので、
VLC側でなにか設定すれば解決するのか・どう対処したらいいのか全くわからなくて困ってます

字幕ファイルと動画ファイルのファイル名を同じにしておけば、対になるファイルしか一緒に再生されないのかと思ってたけど
この認識が間違ってるんでしょうか？