Problema de antialiasing

Acabo de recordar que ese problema me ocurrió también a mí, y es cierto, solo ocurre con las sombras Raytrace. Te diré cómo se soluciona (o como lo solucioné yo y queda perfecto):
Vas al editor de materiales y buscas el/los material/es sobre los cuales se proyecta la sombra (en tu caso, el piso), y activas el muestreado de 3ds Max para el/ellos.

Para más datos es la persiana super muestreo (debajo de parámetros extendidos) y puedes elegir cualquiera de los muestreadores que hay allí (el estrella de max 2.5, que es el que está por defecto, funciona bastante bien).

Posdata: no conviene activarla para más materiales de los que se hallen involucrados con la sombra/s dentada/s ya que retarda el render. Saludos.