[After Effects] Cómo hacer una mascara para que la imagen se vea tras otra

En ese caso lo que podrías hacer es recortar el árbol y colocar esa capa arriba del todo, luego la capa de la nave espacial (que también deberás recortar de su fondo), y finalmente el vídeo completo sin recortar. De esta forma el árbol tapara a la nave cuando esta pase por detrás.

La forma de realizar esos recortes ya depende de cómo sea el material (tanto la imagen como el video):
En el caso del vídeo, si el árbol tiene pocas ramas, estas no se mueven demasiado y la duración del vídeo es corta, podrías plantearte realizarlo mediante máscaras, animándolas para que se adapten a la forma de las ramas en cada momento. Pero usa la herramienta pluma para ello (y no con formas básicas), ya que así podrás pintar la máscara de una manera más precisa. Pero si las ramas se mueven mucho, es un árbol muy frondoso o el vídeo es muy largo, quizás no te compensé el tiempo que tendrás que gastar para hacerlo.

Otra forma (quizás la más recomendada para este caso) sería seleccionar el cielo con alguna herramienta de selección de color (el plugin keylight que viene incluido en After Effects te podría servir, pero hay otras herramientas igual de válidas para el caso) y eliminarlo. Pero esto dependería de lo despejado que estuviera el cielo (si tiene mucha nube quizás sea complicado hacer una buena selección).

Te dejo un enlace a un videotutorial en el que sustituye el cielo de un vídeo por otro (con un método algo extraño, pero sencillo de hacer y muy efectivo), y creo que te puede servir. Esta en inglés, pero es muy visual, y siguiendo todo lo que hace conseguirás terminar el tutorial, aunque no sepas nada de inglés (que a lo mejor no es tu caso). Son muy buenos los tutoriales de esa web échales un buen vistazo porque merecen la pena.