Te has bajado la escena que publique? Lo veras todo más claro. De todas formas, te explico. Vray para Rhino todavía no tiene matte shadow, así que, lo que hice fue crear una escena normal con un Sky como environment GI (, y cámara física lógicamente) y con un mapa de entorno (Spherical en este caso) para el background.
La escena en si son 4 bolas sobre un plano que hace la función de suelo, simple, el truco está en el material del plano.
El material del plano es un material normal (por defecto) con el difusse mapeado con la misma imagen que hemos usado en el background y por supuesto con el mismo tipo de mapeado que el background, o sea environment>Spherical (todo esto dependiendo de la imagen que uses claro está) y que a su vez tiene mapeado una textura procedural de bulge en la transparecía para que sea transparente por los bordes, pero opaca por el centro (esto hará que el plano se mezcle con el background, dando así la impresión de que no hay plano).
Tendrás que tocar la intensidad de la imagen mapeada en el background para igualarla lo más posible con la imagen del plano.
Lógicamente si tuviéramos un tipo de material que nos permitiese activar la opción matte-shadow no habría necesidad de hacer todo esto, sino que con activar esta opción lo haría el propio material directamente, esperemos que en la siguiente versión de Vray para Rhino este presente. Un saludo.