Cuando utilizas materiales exclusivos de Mental Ray, debes neceariamente usar el renderizador de Mental Ray, en la ventana principal de render, al final hay una pestaña abajo assing renderer, y ubicas el emntal ray.
Ten en cuenta que algunas cosas son diferentes en Mental Ray, así que, averigua bien cono se usa, yo siempre lo uso para renderizar escenas de arquitectura, para eso da buenos resultados y muy realistas.