Pred tým, než bola v roku 1900 postavená súčasná budova, tu stál jednoposchodový meštiansky dom. Keďže bol blízko Kráľovského domu a susedil s Levočským domom, kde bývali mestskí kapitáni, prenajímali aj tento dom na začiatku 17. storočia od jeho majiteľa Eliáša Getziho pre armádu.

Neskôr budova vystriedala niekoľko majiteľov a na prelome 18. a 19. storočia bol v jej prízemí zriadený hostinec. V druhej polovici 19. storočia sa novým majiteľom stal Jozef Schiffbeck, ktorý tu zriadil luxusný hotel. V roku 1927 tu bola zriadená šermiarska škola talianskeho majstra a v 50-tych rokoch istý čas budova slúžila aj ako obchodný dom.

V roku 1982 bola budova vyhlásená za kultúrnu pamiatku a neskôr bola preklasifikovaná na národnú kultúrnu pamiatku. Začiatkom 90. rokov prešla budova rozsiahlou rekonštrukciou, pričom luxusná kaviareň na prízemí i hotelové izby ostali zachované.

Budova sa stala známou aj vďaka hudobnej relácii Slovenskej televízie Kaviareň Slávia, ktorá sa natáčala práve v jej interiéroch.