No hay cojones (creo). El problema es que el z-buffer no tiene antialias (puedes comprobarlo). Y es más o menos lógico.
Si en el borde de un objeto te metiera un píxel a medio camino entre el objeto y el fondo, que significaría? ¿Que ese píxel esta entre el objeto y el fondo? ¿O qué?
De modo que para tratar eso en serio, es necesario que el propio filtro o efecto o lo que sea lo tenga en cuenta y haga sus propios cálculos con el z, el alpha, los node IDS, etc.
Había por ahí un par de plugins de p**a madre para eso, pero no me acuerdo de cómo se llaman. A ver si los encuentro.