たぶん、原因判明。
ウィルス対策ソフトをAvastから検出率の高いAVGに変えたんだ。
AVGってチェックしたメールの尻に
-----
No virus found in this message.
Checked by AVG - www.avg.com
Version: 2012.0.1913 / Virus Database: 2425/5029 - Release Date: 05/28/12

このメッセージにウイルスは検出されませんでした。
AVG によってチェックされました - www.avg.com
バージョン： 2012.0.2177 / ウイルスデータベース：2425/5038 - リリース日：2012/06/01

こんなのを勝手に追加するんだけどこれが原因っぽい。

まだ数通しかチェックしてないけど、これを消したらうまくいくようになった。
他にAVG使ってる人いない？