Varias cosas. Yo diferenciaria lo que es renderizar por capas y renderizar por pases, o por lo menos es como lo llamo yo, renderizar por capas seria renderizar los distintos elementos de una escena por separado, por un lado los personajes, por el otro el fondo, por el otro algún elemento en primer plano, y renderizar por pases seria renderizar en imágenes distintas las componentes difusa, especular, color, AO, reflejos.
En cuanto a componer, os aconsejaría aprender lo básico de un programa de poesto, ya sea Digital Fusion, Shake o cualquier otro, aunque solo sea cargar las imágenes, multiplicar y mezclar capas y retocar color, ya que trabajas de un modo no destructivo sobre ellas y tienes un control mayor sobre el aspecto final, esto os puede llevar menos de una semana.
No se max, ni Vray, pero para Mental hace poco publicaron un shader que te permite sacar los distintos pases por separado, eligiendo tu los que quieres, en otros renders como el RenderMan es algo más complejo ya que tienes que rescribir los Shaders, aunque aun así es más rápido y eficaz que sacar una a una los distintos pases.