Render empeora al aumentar los samples Cycles

Buenas gente. Me pasa algo curioso, al aumentar lo samples en Cycles en vez de mejorar la imagen empeora. Siempre he oído eso de que a más samples menos ruido, pero me está pasando todo lo contrario. Con 500 o así se ve mejor que con 1000 o 2000, de hecho, si voy aumentando más (probé hasta con 3000, cosa qué nunca había hecho por no notar apenas diferencia se ve cada vez peor (más ruido).
Tengo activado el denoising con los valores por defecto, una imagen HDRI y un sol sincronizados (haciendo que coincidan las sombras, etc), un poco de ambient Occlusion y la última vez que probé activé el preset de iluminación global (cosa qué tampoco suelo hacer porque tampoco veo diferencia), no sé si algo de eso puede tener que ver.
Aclarar que el ruido está bastante localizado, es sobre todo en objetos con materiales tipo glass, en especial el cristal de una puerta con un cartel de cerrado por detrás, esa parte se ve horrible (al menos con muchos samples porque con 500 se ve más o menos aceptable.
Ya sé que alguno pensará, y bueno, dónde está el problema, si se ve mejor con menos samples pues mejor, así tardará menos Pero es algo que me tiene un poco mosca, normalmente suelo ver bastante diferencia entre 500 y 1000 o 1000 y 2000 (de ahí en adelante ya no tanta) y en este caso no sólo no la veo, si no que algunas partes, como los materiales de cristal o al rededores se ven mucho peor. Así que me parece que algo no anda muy bien.
Aclarar también que todos los materiales de cristal tienen un Lightpath para intentar mitigar el ruido así que, no creo que sea cosa de los materiales, pero bueno, tampoco estoy seguro. Saludos.