たまたま同じライブラリの違うバージョンを参照していて
同じフォルダにまとめて入れたら上書きしちゃった。みたいな？

それはさすがに使ってる人の問題だと思うけど…

対策するならClickOnceやインストーラ使うとか、ILMargeで一つにまとめるとかが楽だろうか。