Dependiendo que es lo que quieres que se te refleje. Lo que puedes hacer es en las opciones del material Raytrace excluir los objetos que no quieres que se reflejen como un entorno de geometría.
(Todo lo anterior sea para Brazil y Scanline) no había leído sobre que estabas con Vray.
Bueno con Vray es sencillo. Pues tengo entendido que en el Vray no se usa matte de shadows.
1: dale click derecho al objeto que quieres que sea la superficie donde quieres que salgan las sombras.
2: Vray properties.
3: en matte options. Activas matte object en alpha distribution le das a 1 y activas en (Direct Light) shadows y affect alpha.
Y listo ya las sombras están con el canal alpha ahí solo te eh podido solucionar una cosa que es que salga la sombra.
Del otro asuntico de la reflexión no me ha salido, a ver si alguien nos da una mano.
Salud:wave.