Cómo hago para suavizar la malla y

Exacto. Como bien dice Gorehide, no puedes dejar un agujero así. Además, parece que la abertura es una Spline, ¿no? Yo no sé mucho sobre Splines cuando se mezclan con polígonos, pero estoy seguro de que el problema está ahí.

Haz lo siguiente. Elimina el agujero actual, tanto si es poligonal como si es una Spline. Selecciona el polígono que conforma la tapa, y aplica la herramienta inset (con edit poly/polygon). De este modo, creas un anillo de aristas dentro de la tapa. Modifica los vértices de manera que, obtengas un resultado parecido al que tienes. Y cuando lo tengas, eliminas el polígono que hace de agujero. Tal vez luego tengas que hacer pirulas para que te suavice el agujero como toca, como extruir hacia abajo las aristas que lo conforman, o biselar las mismas un poco. Saludos.

Posdata: si no me explico, dímelo y esta noche te subo una prueba.