仕様通りなら、メインボディ内で2つ以上のウインドウを開いてる時に限って表示されてるはず。
1つだけの時は、そもそも閉じるべきウインドウが無い状態な訳だから表示されない。
1つしか開いてないのに閉じるボタンがあるのなら確かに変。というか押すとどうなるのか気になるｗ