自分でも書かれてますけど、メモリ足りてますか？
メインメモリとグラフィックメモリが共用になってると思いますけど、メインメモリが不足してスワップしているかもしれません
あるいはグラフィックメモリ自体が不足していて処理ができなくなっているのかもしれません
もしそのあたりに問題があるならnoxの仮想メモリサイズ・共有メモリサイズ・物理メモリサイズを調整すればどうにかなるかも