A JVM so tem o melhor GC do mundo por conta de necessidade.
Pensa que todo objeto em Java pede alocação na heap.
Tu usa um array, vai para a heap, que guarda objetos, então são muitas indireções e muito overhead