En la Edad de Hierro estuvo habitada por la tribu celta de los lobetanos. Se han encontrado importantes pinturas rupestres epipaleolíticas y neolíticas de estilo levantino, esquemático y semiesquemático en el pinar del rodeno. Durante la época romana se llamó, al parecer, Lobetum, y en tiempos de los visigodos, Santa María de Oriente.

En tiempos de los musulmanes en España, la familia bereber Al-Banu-Razín hizo de estas tierras un pequeño reino taifa de Albarracín. De esta familia le viene el nombre actual.