ハッシュ使うこと前提なら↓みたいな手順でできるかな？
1.スクリプトでHDD1のファイル全部ハッシュ計算してファイルごとに[元ファイル名.md5]みたいにして同じフォルダ構造で作業用フォルダ1に保存
2.HDD20までやったら普通の重複消去ソフトで作業用フォルダ全部を指定して消去
3.スクリプトで消去されてるファイルをHDD側でも消去

1と3はHDD繋げた数だけ並行作業できるはず