150 años más tarde, se amplió para convertirse en uno de los edificios más suntuosos de Cataluña. Posteriormente acontecería en un palacio renacentista después de la reforma hecha a finales del siglo XVI.

El castillo era propiedad de los primeros barones de las tierras de l’Albi, Guillem de Timor y su mujer, que ostentaban el título desde el año 1202. En las tierras catalanas, la figura de los barones de l’Albi siempre ha destacado en diferentes aspectos (militar, eclesiástico y literario). Dos barones fueron virreyes en la isla de Cerdeña (s.XV) y en la de Mallorca (s.XVII), tres murieron en batallas: Rubinat (1461), Gaeta (1503) y Solsona (1655). Durante las Guerras Catalanas, los señores del castillo apoyaron las pretensiones reales del Conde Jaume d’Urgell, del Príncipe de Viana, del Archiduque de Austria (Carles III) y de Carles VII.

Actualmente es propiedad del Ayuntamiento que ha invertido más de un millón de euros en una excavación arqueológica exhaustiva y en obras de consolidación y restauración para lograr hacer un centro museográfico y pluricultural que se puede visitar diariamente pidiéndolo al Ayuntamiento (teléfono: 973 17 50 04).