wikiによると奴隷が襲撃の規模に与える影響は0.75人分らしいね
それよりも奴隷を大量に揃えて最終クエストの直前や最中に処刑しまくって襲撃ポイント減らす効果の方が絶大