En 1590 se edificó en este lugar una casa noble . En el siglo XVII, el duque de Alba adquirió el caserón, junto a otra casa contigua. Aquí residieron los duques hasta bien avanzado el siglo XVIII, cuando se trasladaron al nuevo palacio de Buenavista, junto a la plaza de Cibeles. En Cibeles estuvieron alojados hasta que en la primera parte del siglo XIX se trasladaron al palacio de Liria.
El actual edificio de la calle duque de Alba es un palacio de nueva planta que realizó en 1861 el arquitecto Alejandro Sureda por encargo del duque de Berwick y Alba, que la destina al alquiler, siguiendo los gustos estéticos del Madrid isabelino.
De esa época queda la fachada y algunas pinturas en los techos de la primera planta.
A fines del XIX el edificio se convirtió en viviendas, apareciendo diversas tiendas en la fachada. Una de ellas fue un banco y la otraes el Herbolario Viuda de Patricio Morando, fundado en 1918.
Frente a este edificio, en lo que fueron las caballerizas del duque de Alba se edificó a fines del XVIII un palacio que perteneció tiempo después a la Duquesa de Sueca.
La casa palaciega del duque de Alba se halla en la calle del mismo nombre, en el número 10, cerca de Tirso de Molina.