Para evitar líos de máscaras, podrías tirar un render únicamente del canal alpha, que apenas tardaría nada (no hay que calcular luces, ni materiales, ni texturas, a no ser que tengas materiales transparentes), luego utilizar ese alpha a modo de máscara para que te desenfoque lo negro y te deje enfocado lo blanco, o simplemente usarlo como máscara entre una composición enfocada encima, y otra desenfocada debajo, aunque no sí yo que tal iría así.
Yo lo que haría sería un render del alpha de los objetos, y otro render del fondo -el color, no el alpha- (para tener su movimiento). Luego poner la secuencia que ya tienes encima, aplicarle ese alpha, y debajo el fondo nuevo con un Gaussian Blur.
(Antes de lanzar toda la secuencia, prueba con un par de fotogramas sueltos, no sea que tengas problemas con los bordes o similares). Saludos.