Původně gotická stavba na úzké parcele byla v renesanci (1556) přestavěna pro váženého měšťana Adama Nožíře dle návrhu významného, původem italského stavitele Ambrože Baliho. Z tohoto období se zachoval kamenný portál se sedátkovými nikami. Nad ním je domovní znamení – plasticky ztvárněný vinný hrozen. Mezi prvním a druhým patrem je akantová kartuše s malbou Madony s dítětem. Atika s jednoduchým barokním štítem získala svou dnešní podobu zřejmě při rekonstrukci střechy v roce 1896. Úpravy v 50. letech 20. století se v exteriéru projevily hlavně výměnou ven otvíravých oken v líci fasády za dvoukřídlá, nedělená, zapuštěná ve špaletě (viz foto před opravou). 

Dnes je dům využíván k bydlení a je doplněn atelierem. Současní majitelé v roce 2011 zahájili celkovou rekonstrukci objektu - po navrácení v líci osazených oken byla opravena střecha a fasáda a to za použití v minulosti obvyklých materiálů a technologických postupů. Ze štuku vymodelované domovní znamení a malba Madony v kartuši byly zrestaurovány již v roce 1998. 

V současnosti je dům U Modrého hroznu jedním z ukázkových příkladů obnovy kulturní památky v městské památkové rezervaci Litoměřice. 

Cena Patrimonium pro futuro