A mai palota helyén a középkorban három ház állt, amelyek szépen lassan, az évszázadok folyamán összeépültek. A török kiűzetésekor már kétszintes házat gyalult le az ostrom, a békeidők átalakítása a barokk divat szerint történt. Ekkor született a második világháború utáni romtalanításkor felfedett, hátsó homlokzati falfestmény – amelyhez hasonlók csak itáliai és németországi helyszíneken találhatók –, valamint a híresen szép, barokk kapuzat is. A XVIII. század elején Venerio Ceresola mester, a régi budai városháza első építésze tervezte át a házat, hogy megnyílhasson benne Buda városának önálló serfőzdéje. Ugyanezen század végén a város egyik legtehetősebb polgára, Buda bírája és polgármestere, Laszlovszky József birtokolja az ismét kétszintes házat egészen 1818-ban bekövetkezett haláláig.

A XX. században csupa nevezetes embernek ad otthont ez a szép, öreg ház. A század legelején gróf Edelsheim-Gyulai Lipót a tulajdonos, tőle báró Hatvany Lajos, irodalomtörténész, a magyar irodalom két világháború közti patrónusa vette meg a kora barokk rezidenciát, és tette meg első, budavári székhelyéül. Tőle az extravagáns óráiról világszerte ismert francia ékszerész milliomos Louis Cartier vásárolta meg a házat. Cartier 1924-ben vette feleségül Almássy Jaqueline grófnőt, az ő álma volt a budai várban egy palota, és ez az álom 1928-ban teljesült.

Az Almássy–Cartier család 1941-ben valamelyest átalakította az épület homlokzatát, méghozzá – Cartier-től nem meglepő módon – a pesti közönség megdöbbenésére. A barokk ablakok üvegkockáit modern, nagy üveglapokra cserélte ki, és ezzel kivívta kora városvédőinek a haragját. Kár volt a hangos felháborodás, hiszen alig négy év múlva a második világháború bombái porig romboltak mindent – a jámbor ítészek átkozta Cartier ablakaival együtt.

Cartier budavári jelenlétének mégsem a háború vetett végett. A gyönyörű bútorokkal, számtalan műkinccsel, nagy luxussal berendezett palotát 1941-ben, még a „botrányos” ablakcsere évében adta el Louis Cartier, méghozzá áron alul. A sietség oka az volt, hogy Cartier unokahúgának férje, bizonyos Pierre Louis Claudel mint francia ellenálló a Gestapo börtönébe került Strassburg mellett. A németek azonban úgy döntöttek, létezik az a pénz, amiért egy Cartier rokont szabadon lehet engedni. Claudel apja, Franciaország korábbi (többek között) tokiói, illetve washingtoni nagykövete és persze a Cartier család mindent megtett a renitens rokon kiszabadításáért, a váltságdíj előkerítése érdekében adták el a budavári palotát is.

A teljes cikk a Múlt-kor történelmi magazin 2015. ősz számában olvasható.