Aparte de que Vray deja mucho que desear en su manejo de recursos (y en general apesta como motor de render), deberías evaluar cómo usas tu máquina.
Se ve que no sólo usas Aero, un voraz devorador de Ram: también tienes otras aplicaciones abiertas y quién sabe que procesos hay corriendo en segundo plano que no dejan icono en la barra de tareas ni en el escritorio. Sólo poner un bitmap de fondo de pantalla te traga memoria ya que Windows lo transforma en bmp para que interactúe con la interface (una captura de mi pantalla en ese formato llega a los 6mb).
Consejo radical: googlea maneras de optimizar tu memoria al máximo, limpiando decoraciones inútiles, corriendo un defragmentador de Ram, quitando procesos del arranque, en fin, hay muchas cosas que en esa captura se ve que no has tenido en cuenta.