Creo que es un problema de antialiasing, por defecto algunas versiones del Vray te lo pone en fixed con una subdivisión, la solución es sencilla, cambia el antialiasing a DMC también conocido como Quasi Montecarlo, o a adaptive subdivisión, pero como te decía Jalem, de 1 en 1 hasta que te desaparezca.
Pero mejor que eso sería que te leyeras algún manual de Vray, te aclararía más cosas, ya que este tema del antialias es muy básico y si con esto ya te pierdes, no quiero ni imaginar con otras cosas.