Qué tal laertesrey. El problema puede deberse a otras razones.
o para optimizar recursos trata de trabajar objetos pesados con geometría compleja o que se repitan en la escena con Vray proxy.
o revisa tus parámetros de render puedes encontrar parámetros que no te coman tantos recursos, pero eso depende del tipo de escena, calidad.
o si puedes sube los parámetros e imágenes de tu escena, tal vez sea otra la solución al problema y aquí en el foro te pueden ayudar.
Para la memoria hay una pestaña para configurarla en: render setup o f10, settings, Vray system, dynamic memory limit, en ese espacio puedes colocar la cantidad en Mb de memoria a utilizarce en el proceso.
A ver si logras solucionarlo.