No se mucho de esto, pero es similar al Bump map, puede que te sirve esto: Coge la textura y editala en cualquier editor de imágenes y conviertela a escala de grises y le bajas un poco la gama de grises.
Luego la conectas al material y el displace no se verá tan duro.
Mientras menos escala de gisses más suave (el blanco es como saltar y el negro undir).