違法じゃないよ
本業に支障が出る場合は会社側は労働者にある程度の拘束権がもてるという例外があるはず
なんか労基にお世話になった時そんな説明受けた覚えが薄っすらと