Imagino que los dientes de sierra te aparecen en perfiles de los sólidos. Si son sólidos rectilíneos, seguramente será tema de configuración del antialiasing (creo que se escribe así). Tanto en AutoCAD como en el 3ds Max se puede configurar que la aceleración de gráficos sean por software (creo que es la que viene por defecto en los dos, en AutoCAD seguro) o por hardware (es la opción que tengo yo activada en los dos) además de las casillas de antialiasing.
El resultado dependerá de tu tarjeta gráfica.