Bien, una de las maneras de hacer eso en After es usando set matte, en la pila de layers ubicas última a la que vas a usar como máscara (puede ser cualquier cosa, o sea video, secuencias o imágenes fijas o lo que sea).
-Selecciona la layer a la cual quieres aplicar la máscara y desde el menú effect selecciona channels >>sert matte.
-Indica a set matte la layer que quieres usar como máscara.
Si se trata de una escala de grises pura, entonces dile que recorte por lightness, esto provocará un recorte que si la layer tuviese alfa channel.
Si lo que usas como máscara es un video o secuencias o una imagen en color, puedes decirle que recorte por alguna de las demás opciones.
Si estas usando un video el cual tiene una amplia gama del color que quieres usar como matte, puedes ir eliminando los demás colores con aluna ora herramienta o alterando su color y saturación para luego aplicarle el set matte, las combinaciones son innumerables.
Con respecto al segundo mensajes, si lo que deseas es que la máscara siga el movimiento de la layer (obviamente está animada) simplemente tienes que emparentarla, hasta la versión 3.1 de After, existía una utilidad que era fabulosa y que no sé porque motivo ahora no está más (si alguien sabe dónde se encuentra o cuál es su nuevo nombre por favor díganme) y que consistía en que podías decirle a una layer, que siga un píxel de un color en especial de otra layer, recuerdo que está utilidad me dió grandes satisfacciones cuando para un programa infantil tuve que ponerle estrellitas a la varita mágica de un hada que la agitaba hacia todas partes, durante la filmación, le pusimos en la punta de la varita un aplique con un amarillo fosforescente que no se encontraba en ninguna otra parte ni del decorado ni de las vestimentas, con LightWave hice un simple sistema de partículas con los efectos correspondientes y luego en After, le indique que la capa con las estrellas siguiera el píxel amarillo de la layer con el video, y voila, quedo listo el efecto, pero como dije, eso ya no lo encontré más desde la versión 4, quizás cambio de nombre, pero creo que ya no está más, podrá ser sincero tampoco investigue demasiado pero si me llegase a surgir la necesidad de usarlo de nuevo no quisiera tener que buscar e instalar el viejo y querido After 3.1, suerte.