Cuando realizas un render con algún códec de video, la tarea de un programa 3d es la misma en la base, pero el final no, la imagen de 128 bits (no la que te muestra el visor que es de 32 si no la que está calculada) debe comprimirse. Si usas formato no comprimido de video o secuencias de tga o tif, se hace un promedio de todas las capas y te entrega una fotografía de alta resolución, pero si usas un códec entonces hace un paso más que s.comprimirla y una de las cosas que hace comprimir es suprimir por lo tanto se pierde calidad.
Si el códec que estas usando es de los buenos, tendrás una calidad digital buena, pero el Microsoft video es muy primitivo.
De todas formas. Ante la explicación que nos das (que este problema lo tienes uses el formato que uses), supongo que, habrás probado ya desinstalar e instalar de nuevo max, si lo hiciste y el problema sigue, creo que habrá que buscar el problema en tu hardware. Saludos.