Para que no refleje hay que marcarle invisible, arriba del todo, dentro de la luz. Seguira apareciendo como Specular si la superficie tiene Glossy (o tiene Specular).
Para que no proyecte sombras, botón derecho, propiedades del objeto y desmarcas cast shadows.
Editado:
Trasteando acabo de descubrir que si pones a luz invisible y estore with Irradiance Map desaparece también el componente Specular.