Edificio de ladrillos irregulares

Tengo en mente hacer una escena en la que aparezca un faro hecho con ladrillos y que es derruido mediante algún motor de física.

Para ello he creado un tubo segmentado de 30º y he repetido este ladrillo 12 veces para crear un círculo de ladrillos, y a continuación he repetido el patrón de ladrillos hacia arriba rotándolos 15º para que queden entrelazados. He conseguido hacer la animación con un motor de física para que los ladrillos vayan cayendo, pero a la hora de texturizar me encuentro con este problema:
Me gustaría que fuera más realista y que los ladrillos no fueran todos iguales, que fuera algo similar a esto:

¿Cómo podría hacer esto sin tener que modelar ladrillo por ladrillo?
Me gustaría que fuese algo que generase pocas caras en los ladrillos para que el motor de física no tarde demasiado en calcular las colisiones.

Ver más sobre el tema y los comentarios en el foro