Saca el render en secuencia de tif o tga. En channels usa RGB+alpha. En color usa straight(umatted). En format options, si usas (*.tga), activa 32bits p/pixel y desactiva RLE compression. Si usas tif deja todo desactivado.
Importa el resultado del render como secuencia de imágenes en el Vegas y pedile que interprete el alpha (canal de transparencia) como straight.
En el futuro te recomiendo que postes esta clase de dudas en el foro de postproducción y con un título un poco más aclaratorio. Saludo.