V jádru gotický dům, doložený kolem pol. 15. století pod názvem U Kamenného beránka, zdobí především honosný raně renesanční portál s balkónem z doby okolo roku 1531. Portál je spojován s okruhem dvorské huti Benedikta Rieda. Nad ním je kamenná deska s poněkud záhadným domovním znamením zobrazujícím zvíře připomínající berana, ovšem pouze s jedním velkým rohem, a vedle něj stojící pannu. Kameník, který v době kolem roku 1530 desku vytesal, možná upravil již existující znamení s beránkem do podoby jednorožce.Lydia Petráňová, Domovní znamení staré Prahy, Panorama, Praha, 1991, s. 72. Jako dům U jednorožce je stavba v pramenech zmiňována od poloviny 16. století, mezi lety 1778–1945 zde sídlila lékárna U Bílého jednorožce.PV [Pavel Vlček], čp. 551/I, in: Pavel Vlček a kol., Umělecké památky Prahy. Staré Město, Josefov, Academia, Praha, 1996, s. 368–369. Vyjma portálu se fasáda domu dochovala v klasicizující podobě. Pamětní deska na domě upozorňuje na to, že Albert Einstein ve zde sídlícím salonu Berty Fantové v letech 1911–1912 hrával na housle a setkával se s přáteli Franzem Kafkou a Maxem Brodem. Působil tehdy jako profesor teoretické fyziky na pražské univerzitě. Ve skutečnosti měla Berta Fantová svůj salon v sousedním domě U Kamenného stolu.http://www.rozhlas.cz/kraje/cesko/_zprava/einstein-poprve-prednesl-svou-teorii-relativity-v-prazskem-dome-u-kamenneho-stolu--1591504 (vyhledáno 1. 8. 2017).

Dům byl podobně jako sousední Štorchův v průběhu povstání zasažen německými útoky, cílenými na staroměstské centrum, především radnici. Jižní fronta náměstí byla jednou z nejpoškozenějších, kvůli útokům od Letné a Pařížské ulice. Dům U Kamenného beránka byl s výjimkou průčelí požárem zcela zničen a musel být po válce vystavěn znovu.Oldřich Mahler, Po stopách květnového povstání v Praze, in: Staletá Praha XIX, Praha bojující, 1989, s. 20.