Es posible que tengas un problema con el canal alfa del (*.png), que no está premultiplicado (es un tema de ciertos formatos, entre ellos el (*.png) y la forma de trabajar de Vray, puedes elegir otro formato de imagen, como el (*.tga), el exr, combinándolo con un filtro duro, tipo Catmull, o Blackman, no suelen dar este problema o al menos lo minimizan, elegir también una buena configuración de a en Vray, usar importante el background de escena, si no tenemos fondo, que sea de color negro, luego aquí es donde alguno se me tirara al cuello con que es un tema de postproducción complicado, premultiplying y unpremult y parafernalias infernales, que, por cierto, Photoshop, no lleva.
Prueba una cosa en Photoshop-> layers–>layer matte–>remove white matte, o elimina la información del canal alfa que lleva tu (*.png), y usa la imagen directamente, que al no tener fondo, puedes seleccionarlo por el color de background y borrarlo, no es un trabajo fino, pero puede servirte para salir del paso, a fin de cuentas, es un problema que se puede solucionar de muchas formas en Photoshop. Otra es renderizar un fondo que, aunque se renderizará aparte, por ejemplo, un canal de vraybackground, casara con el primer plano que va en otro canal, o meter un Vray Sky, y usar algún efecto de halo que se coma los bordes de la imagen, quizá en una capa en modo screen y luego un Gaussian Blur. Un saludo.