También podrías decirle a las partículas que a partir de cierto frame de vida se conviertan en otro objeto, par simular que se llevan trozos de piedra de la casa y con RayFire, hacer la dinámica, pero que los trozos de casa que caigan vayan desapareciendo de la escena. Además, de que todo este embrollo ha de hacerse por capas y archivos separados, luego montando todos los renders de las capas de escombros, FX, particluas etc, en postproducción.
Si estas empeñado en hacerlo todo en una misma escena, sacar el render y apañado, lo llevas claro amigo.