Vaya, tu pregunta es muy amplía. Resumiendo, Vray es un plugin o programa externo que permite trabajar con un tipo de iluminación avanzada denominada iluminación global o GI. Esta iluminación simula muchas de las características físicas de la luz real como es el rebote de luz entre objetos, la fuga de color de unos a otros, las cáusticas, características que el motor de render estándar de max llamado Scanline no tiene en cuenta. Trabajar con GI suele hacer que los resultados sean más realistas con menos esfuerzo de preparación de luces por parte del usuario, aunque el tiempo de render se dispara exponencialmente.
Desde hace algunas versiones, no es necesario adquirir este plugin u otros similares para trabajar con GI en 3dsmax ya que éste incorpora de serie el motor de render Mental Ray que también permite recrear todos esos efectos de la luz. Vray no obstante, tiene una amplísima base de usuarios debido a que su velocidad de cálculo de la imagen es hoy por hoy mayor que la de sus competidores.
Para más información, métete en la página de Vray.
Espero haberte aclarado algo, un saludo.