Qué tal tío? Como supongo que, cualquier persona de este foro te dirá, lo mejor es que pongas los parámetros que utilizas en el render. Pero, aunque yo no soy la persona más adecuada, creo que todo se debe a antialiasing. No sé qué versión de Vray usas, pero en cualquiera de ellas encontraras una pestaña que se llama algo, así como image sampler – Antialiasing, deberás jugar con los valores que más te gusten, pero yo te recomendaría estos valores:
En image sampler – Adaptative subdivisión.
En antialiasing – área (size – Por defecto, creo que 1,5).
Y jugaría con los valores de la otra pestaña que hay a continaución que son los valores del adaptative subdivisión y subiría el mínimo y el máximo, como mínimo a 1 y 2, respectivamente.
Espero que te valga. Saludos.