Hola, como comenta deloeste, si es por RAM, con 4 Gb y seguramente si estas usando Windows en una versión de 32bits, usar Vray en escenas algo más complejas, puede dar lugar a muchos problemas como ese. Para poder trabajar algo mejor, tendrías que empezar realizando algunos cambios de optimización en tu ordenador, imagino que es un pc doméstico que está bien para un estudiante, de uso casual, pero no pensando en plan workstatión, más para trabajar.
La ventana de frame buffer, la del 3dsmax, luego, Vray tiene una propia, que igual no estas usando, si es el icono, uno de los 3 entre render y render settings. El resto, te lo ha explicado deloeste perfectamente.
No recuerdo si llegamos a crear un hilo donde se explicaba como optimizar un ordenador para render, la arquitectura de 32 y 64bits, el uso de la memoria virtual, discos duros, desactivar el uac, instalar más memoria, optimizar el registro, desinstalar programas innecesarios, como veras es un tema muy amplio si te metes con ello.
Por lo pronto mira ver de que puedes prescindir en tu escena, optimizar, si te quedará tiempo, si buscas un plugin llamado solid rock, hace un ajuste muy fino y automático de los parámetros de render de Vray, dependiendo de lo que quieras obtener. A veces la diferencia de tiempo se va a la mitad, sin perdida alguna de calidad. Suerte, un saludo.