ファイルリスト作ってシャッフルして漏れなく、重複なく一個開くというスクリプトを作って一個ずつ再生
ランクによって./A, ./B, ./C, ./Editフォルダに振り分け

ある程度ランク分けが終わったら上記スクリプトのモードを変更して
A4:B1:未分類5くらいの割合で再生

飽きたらB,Cは削除

タグ分類なんてだるいことは基本しない
したけりゃファイル名にハッシュタグを追加