Oorspronkelijk werd dit gebouw opgetrokken als laboratorium door Albert Van Wezer (1917-1972), ingenieur en apotheker. Het droeg de naam Asperal. Het laboratorium stelde in de bloeiperiode dertig mensen tewerk. Het labo maakte onder andere de zalf Sulfamoruol (‘die brandwonden geneest op de helft van de tijd’). Het laboratorium was gelegen achter apotheek Van Steenkiste (Kapelstraat 12), die uitgebaat werd door de echtgenote van Albert Van Wezer en voorheen als eerste apotheek te Hove gevestigd was aan het Sint-Laureysplein 18.
In 1978 werd het gebouw door de gemeente aangekocht, om na grondige aanpassingswerken accommodatie te verlenen aan de bibliotheek, het Gemeentelijk Atelier voor Plastische en Toegepaste Kunst (nu de Gemeentelijke Kunstacademie) en een aantal vergaderzalen (ruimte voor divers verenigingsleven). Het aangepaste gebouw werd op 4 juni 1983 ingehuldigd. Op dit moment worden er de gemeentelijke openbare bibliotheek en de kunstacademie in gehuisvest en drie zalen ter verhuur aangeboden aan verenigingen.
De naam slaat terug op Baron Van der Haeghen d’Esbeke (1757-1829) die in 1794 onder het Oostenrijks regime markgraaf van het Land van Rijen werd benoemd. In 1803 trad de baron in het huwelijk met jonkvrouw Helene Geelhand. Twee jaar nadat zijn vrouw was overleden en hij hertrouwd was met Maria Therisia Van Male de Ghorain werd hij burgemeester van Hove tot hij definitief naar Brussel verhuisde.
