Hola, no tengo mucha experiencia en animación, pero la estudié hace algún tiempo en Vray. Por lo que dices calculas el mapa de irradiance en todos los fotogramas. (un poco bestia creo) pero en cualquier caso, ¿cómo calculas los secundary bounces?supongo que, Light Cache. Quizás sea ese el que te esté dando problemas más que el irradiance ya que, como dices esta todo muestreado.
Podrías probar con el secundario en Light Caché hacer el render (como te indico en la captura) y renderizar en los frames que consideres. Después guardas y lo colocas como secundario y el irradiance de primario, a ver qué ta.
No sé si te servirá, espero que sí.
Ya me contaras.
(Bueno activa el Show Calc, phase para ir viéndolo que se me ha olvidado).