Buenas Nacho. Sobre lo del Color Mapping, has probado la última versión del Vray 1.47.05 igual no te da esos problemas.
Sobre lo del fondo, yo dejaría el fondo en negro tiraría el render en tif o (*.tga) para guarda el canal alpha, y luego en Photoshop se lo metería.
Si no te guarda el canal alpha, tienes que tirar el render activando gbufferframe (creo que se llama así), vamos para usar el color corretion, te genera el render por partes y te guarda el canal alfa.
Te adjunto el tutorial ya que el enlace esta jodido ok, espero que te sirva saludos (a esto que te mando creo que solo tienen las versiones 1.47 de Vray si no me equivoco).