告知して対応しない人は参加の可否回答を決めて回答がなければ不参加扱いで良いのでは
来たら来たで参加人数増えるし問題ないかなと割り切るの大事だよいい加減なメンバーにいちいち振り回されてやるこたない