しかし、なんであそこの家がただフリの家じゃないって繰り返し主張する必要があるんだろう?

ただフリの家じゃない別人の家だったら、そこだと特定されてても、ただフリには何の影響もないわけだから、必死に否定する必要は全くないはずだが。