Suavizar bordes de textura

Hola tengo un material de piso aplicado a un plano, lo que quiero es suavizar los bordes y no encuentro esa opción, ya probé con blur en propiedades de material difuso, pero no tengo ese resultado que busco, lo que quiero hacer es algo como en After Effects, una vez que creas una máscara puedes suavizar/difuminar los bordes.

Ver más sobre el tema y los comentarios en el foro