>>193のサイトによればlocalhostは127.0.01と::1と名前解決されるが.NET coreでは::1から接続をトライするらしい
サーバーがIPv6に対応していないと応答しないとかで時間をロスするってことかね