Modificador VRayDisplacementMod

Creo que no acabas de entender muy bien lo de los canales. Ya sabes, a leer. Olvídate de los canales, de momento. Pincha en el botón bitmap del editor de materiales, y lo arrastras al apartado texmap del modificador. Selecciona instance.

El resultado sólo veras en el render y sólo si renderizas en Vray, así que, no esperes ver nada en el visor ni en el editor de materiales.