Color key de una selección se puede

Aver, creo que te estás haciendo un lío con las capas. En Photoshop es exactamente lo mismo, solo que en vez de hacer una máscara lo puedes hacer recortando la imagen y pegándola en una nueva capa.

Te vuelvo a explicar el procedimientos para el programa de postproducción que uses. Aver:
Importas la imagen en cuestión, lo duplicas, por lo que tendrás dos imágenes iguales. En la imagen de arriba haces una máscara en la zona que quieras sacar el color. Si por lo que sea aparte de esa zona quieres otra zona independiente, pues duplicas la imagen que tienes abajo del todo, por lo que tendrás 3 imágenes, 2 normales y 1 con mascara. Dejas una normal a bajo del todo, y la superior duplicada le aplicas otra máscara, que será la segunda selección donde tú quieras sacara el color. Aplicas el efecto y listo, y lo tendrás hecho.

Tans sencillo como esto, si tienes alguna duda, ya sabes. Saludos.