Desde el punto de vista técnico un Shadow Map (o depth map) es un mapa que se genera en memoria antes de dibujar el render con información de profundidad desde la fuente de luz hasta su target (es igual a un Z-Depth, pero desde la fuente de luz), esta información se utiliza para determinar hasta que profundidad iluminar y lo demás simplemente no lo procesa (quedando sin luz = en sombra). El tamaño del mapa (siempre cuadrado) esta relacionado con el hotspot de la luz e intuyo que tú problema es que tienes un hotspot gigante y no hay suficientes píxeles para describir la sombra en todos los elementos con la precisión necesaria.
Por cierto, las luces omni/point usan 6 mapas en lugar de 1 (+x, -x, +y, -y, +z, -z) para abarcar la escena, hay que tener cuidado con el tamaño del mapa ya que se multiplica por 6 en memoria y en ciertos casos puede que el ahorro de recursos finalmente no sea tal.
Otra cosa que me gustaría añadir es que en producción hasta el día de hoy hay muchas circunstancias donde las sombras Raytrace no son una opción y las shadow maps se usan extensivamente (pelo, foliage, etc). No están tan enterradas como la gente cree.
Ir ciegamente con Raytrace probablemente va a funcionar, pero no hay que olvidar que es fuerza bruta, creo que es mejor informarse de porque no funcionan las cosas y probablemente podamos dar un uso más inteligente a los recursos que disponemos. Saludos.
Posdata: sobre la recomendación del tamaño para el mapa estoy en absoluto desacuerdo, no entiendo la relación entre el hotspot de la luz y la resolución de salida, es absurdo seguir una regla de ese tipo cuando ambas cosas no están directamente relacionadas.