Esto tiene pinta de dos cosas que te faltan:
-En los parámetros de Vray:image sampler (antialiasing) cambia de fixed a cualquiera de los otros dos, te recomiendo adaptive subdivisión.
En la pestaña de Vray:Color Mapping activa Clamp Output y sub-pixel mapping.