はい、郡道有罪な

その為、一度フォローを外してから再度フォローし直せば 先頭に表示されると思われがちなのですが、実はそうではありません。
フォローを外してからすぐにフォローし直すと、 そのユーザーは先頭に表示されるのではなく 元々表示されていた順番通りに並んでしまいます。
Twitterからの正式なアナウンスがないため真偽は不明ですが、 リムーブから再フォローまでの期間を1ヶ月ほど空けると 以前までの順番を無視して先頭に表示されるようです。
http://snswalker.com/twitter-follow-order/#i-2