Qué tal? Tratare de responder algunas dudas que veo que aún no te han comentado. En primer lugar si existe el Vray para max2009, de hecho, existe para max2010 así que, por eso no hay problemas y corre excelentemente bien sobre Windows XP 64bits, lo que si te recomiendo es que revises a priori si tus componentes son compatibles con esta versión del sistema operativo, ya que hay algunas piezas de hardware que no tienen drivers para XP y tendrías que cambiarlas.
La memoria Ram te va a dar un salto tremendo en rendimiento, técnicamente no es posible que el sistema operativo de 32bits maneje más de 2 Gb de Ram por aplicación, así que, el hecho de que tengas 4 Gb no te va a mejorar el desempeño, simplemente te va a quedar un poco de reserva para otros programas que se estén ejecutando al mismo tiempo, trata de abrir una escena bien pesada, digamos de unos 12 a 15 millones de polígonos y verás que el programa se cierra porque no puede montar archivos tan pesados en la memoria. Hace un tiempo estuve trabajando en una escena de una finca aquí en mi casa junto con una amiga y en mí máquina (con XP y 6 Gb de Ram) podía trabajar en la escena sin problemas mientras escuchaba música, cuando tratamos de abrir el archivo en su equipo ni siquiera terminaba de abrir cuando ya se había cerrado el programa y era porque no había notado que por la alta cantidad de árboles y otros elementos en la escena, esta ocupaba casi 4 Gb de Ram al abrir el archivo, cosa imposible de hacer en un sistema de 32 bits.
La versión de 3ds Max 8 fue la primera versión oficial de Autodesk, y fue más bien como una especie de transición hasta que salió la versión 9 (en lo personal pienso que ha sido la mejor versión de 3ds Max hasta ahora), la versión 2008 no me pareció un gran avance, la 2009 (que es la que uso ahora) me parece muy estable y completa, incorporando algunas herramientas nuevas y mucha compatibilidad tanto con plugins actuales como con excelentes librerías disponibles tanto a la venta como de manera gratuita. Saludos amigo, espero que esto te sirva y cualquier duda estoy a la orden.
Un usuario feliz de XP 64 bits.