Bueno, hay varias opciones.
1ª ¿Qué versión de Vray es? Para eso hace falta que me digas también la versión de tu 3d Studio.
2ª ¿has puesto el archivo vray60.dll en el directorio del 3d Studio?
3ª ¿has comprado el Vray o es ilegal? (en caso de que sea ilegal, nadie de este foro te puede ayudar. Para más información, léete las normas).
Pues creo que eso son los fallos más fundamentales que puede haber.
Por cierto, no ejecutes ningún otro programa o ejecutable, ni siquiera el vrlserver.
Revisa bien, y si no has dado con ello, me meterés más de lleno. Saludos.