Es complicado explicarlo, es necesario realizar un material compuesto, un vraymtl Wrapper y un override material, además de tocar ciertas cosas que afecta físicamente al objeto y la escena.
Te dejo un archivo donde viene una escena compuesta, ahí puedes aprenderlo todo.
MATTE SHADOW DE VRAY.rar