Tienes que revisar varias cosas, puede que lo provoquern muchos factores. Lo primero optimiza, todo lo que puedes referencias en vez de copias, proxis, quita lo que no se ve.
Cuanta Ram tienes.
En los settings de v ray, dynamic memory limit, puedes aumentarlo si tienes suficiente Ram para que te de más tiempo.
Revisa el tamanyo de oja del raycast, Vray settings, max tree depth, y max tree size, Vray organiza la geometría como un árbol, con ramas y ramas el tamanyo de hoja hace que vaya más o menos rápido, pero depende de tu Ram.
Es un poco lioso y hay que probar p[arametros, a mí me ha pasado alguna vez, porque no pasas del Light Caché y le pones brute force? Seguro que no se engancha. Saludos.