A falta de que la luz de algún experto en el tema nos ilumine, creo que podrías probar con alguno de los códecs que soportan una profundidad de color de millones+ (con la esperanza de que ese + sea el canal alfa).
Buscando más información: selecting millions+ of colors Will include the Alpha Channel created by the filter in the video (en un tutorial de Adobe). La cuestión es que, revisando los tipos de compresión del QuickTime, los únicos que admiten millones de colores+ son: tif, (*.tga), (*.png), Intel Indeo video 4.4 (compresor>opciones>transparency>Alpha Channel), ninguna (no comprime), planar RGB y animación (que no te vale). Salvo los de Intel y animación, en los demás lo que hace realmente es almacenar la secuencia de fotogramas como imágenes independientes, si el video lo vas a utilizar para editar te podrían valer, pero si quieres que se reproduzca con soltura en un equipo normal tendrás que irte a compresión entre fotogramas, y el Intel Indeo 4.4 no es de los mejores códecs. Un saludo.