En sus principios fue monasterio dúplice “según el uso primitivo de la orden, canónigos y canónigas, bien que separados por una gruesa pared. Tenía una sola iglesia para los oficios divinos, desde distintos coros…”. Diez años después, en 1164, adoptó la forma de sólo hombres.

En 1439 el Papa Eugenio IV encargó al entonces Arzobispo de Toledo, don Gutierre de Toledo, señor de la villa de Alba, la supresión del Monasterio, por hallarse muy relajada la disciplina, encargándole que pusiese allí frailes jerónimos. Cuenta el P. Sigüenza que fue el mismo Arzobispo quien pidió la expulsión de los premostratenses. El Pontífice la concedió por Bula de Gracia con fecha de 2 diciembre de 1442. Los monjes premostratenses opusieron tal resistencia que hubieron de ser expulsados a la fuerza y conducidos al Monasterio de la Caridad de Ciudad Rodrigo.

En 1446 se solicitó de Roma la confirmación de esta medida. Fue concedida por Nicolás IV mediante Bula que se conserva en el AHN. Así pudo lograrse la entronización del nuevo Abad el día 16 de diciembre de 1447 por el Arcediano de Medina, deputado para ello, y en presencia del Primer Conde de Alba de Tormes, don Fernando Álvarez de Toledo. Se estableció así una relación de bienhechuría entre la Casa de Alba y el Monasterio. Los Duques construyeron la iglesia con retablo y sacristía, dotándola de ornamentos y joyas, mereciendo enterramiento en la Capilla Mayor, aún sin ser patronos por aquel entonces. El Patronato llegaría más tarde: el 1 de agosto de 1620 se aprueba por el Monasterio la escritura del Patronato hecha en Madrid ante Juan de Santillana. Con fecha 7 de septiembre se pide a Roma la confirmación.

Los monjes jerónimos hallaron el convento “en tan mal estado y tan por el suelo que fuera más fácil hacerlo de nuevo”. Se vieron por ello forzados a repetidos trabajos de restauración. En él permanecieron (con el paréntesis de la guerra de 1808-1812, ocupado por las tropas napoleónicas) hasta la infausta Desamortización. Quedó reducido a ruinas y cantera de despojos para cuantos quisieron tomarlos y así se pueden encontrar aún dispersos por los pueblos del entorno. El Monasterio fue pasando por manos de particulares hasta llegar a los actuales propietarios, los Padres Reparadores, Dehonianos.

En estos claustros han vivido varones ilustres por su santidad y su sabiduría, como Fray Hernando de Talavera (aquí novicio y profeso durante cinco años y prior) que fuera luego confesor de Isabel la Católica y primer Arzobispo de Granada tras la reconquista.