Le nom du village viendrait du nom gascon de l'âne : ascou. Car, pendant longtemps, si l'on croît les anciens de la vallée, on ne ne pouvait monter dans ce village qu'à dos d'âne.

Le village d'Azet fait parti des villages de la vallée d'Aure qui se sont établis sur une position défensive. Les toits des maisons sont à forte pente et couverts d'ardoises ; elles entourent l'église romane. L'église servait de donjon pour surveiller le col de Peyrefitte. Le village est entouré de pâturages où peuvent séjourner ovins et bovins.