不貞行為ってのは相当決定的証拠がないと、それ自体はなかなか認定されないよ
ただし、そういう疑わしい関係性だけでも離婚事由にはなり得る
いずれにしても、当事者間で話がついてるなら外野がとやかく言う問題じゃない