Debes hacer lo siguiente:
1 – Bajar algún códecpak (recomiendo k-lite códec pack).
2 – Bajar Virtualdub.
3 – Abrir tu archivo de video con Virtualdub, y darle compresión con alguno de los códec (recomiendo Xvid, que ha mi parecer postura la mejor relación peso/calidad).
Eso es trabajar el archivo una vez que ha sido renderizado, porque al parecer se puede configurar desde 3ds Max el códec para crear el archivo avi, pero creo que es mejor renderizar un avi sin compresión (uncompressed), y luego darle formato con un códec.