Yo lo único que veo es que estas matando moscas a cañonazos para hacer este sistema (a mí me pasa a menudo). Además, tienes manías en el sistema que deberías intentar quitarte, por ejemplo:
-Poner un object merge para importar un objeto dentro del mismo nivel para poder importar este object merge en otro nivel.
-Poner un add todo initial velocity con el initial velocity a 0 en partículas o mover una geometría con un nodo edit en lugar de un transform.
-Subdividir un box con un nodo divide (es un box, puedes aumentar sus subdivisiones sin usar un divide.
Intenta no tocar ningún parámetro que no sepas para lo que sirve. Al final te ha quedado una escena muy sucia con la que me ha sido muy difícil trabajar para ayudarte, de hecho, en algún momento he tocado un parámetro y el origen de la escena se me ha desplazado y no se sido capaz de dejarlo en 0,0,0.
Parecen chorradas, de hecho, algunas casi lo son, pero pueden generar problemas raros y, además, cuanto menos nodos tengas más claro, limpio y mejor. Yo empezaría la escena de nuevo poniendo cuidado al orden de los nodos y de cada cosa que hago.
No entiendo el problema de la malla subdividida. Si las partículas subdividen la malla de nuevo, no la subdividas al principio y no tendrías problema ¿no?
El delay en las partículas dust es extraño, seguro que su razón tiene, pero es que, yo no lo hubiera hecho así por lo que no hubiera tenido ese problema.
¿Hacia donde quieres que haga las deformaciones de los impactos si no es en dirección a la partícula?
Te he intentado arreglar la escena un poco, mira a ver.