Simor János hercegprímás adományozta a Nagytemplom és Nap utca sarkán elterülő katolikus egyházi telket az Első Bölcsőde Egyletnek, hogy közhasznú épületet emelhessenek rá. Ybl Miklós építőművész tervei alapján 1875 szeptemberében kezdték el az építkezést a király és jómódú polgárok adományaiból. Az épületet 1877-ben szentelték fel, 1879-ben pedig Ybl megtoldotta. A földszintes zártsorú sarokház neoreneszánsz stílusban épült meg, két oszlop és timpanon hangsúlyozta kapukkal, a környék általános beépítési formájától eltérően előkerttel. Az épület teljes területén boltozott alagsor épült. A Nagytemplom utca 3. szám alatti kapualj jobb oldali falán egy emléktáblát helyeztek el emlékül az utókornak, amelyen feltüntették, hogy kiknek köszönhette a szegény nép az új bölcsődét.

A Nap utcai épületrészben a XX. század elején bölcsőde, óvoda, majd elemi leányiskola működött, de mint katolikus leányárvaház, árva gyerekeket is befogadtak. A Szent Vince irgalmas nővérek felügyelete mellett folyt a nevelő munka. Az alapítóra emlékezve Simor Intézet volt a neve. Az épület szerencsésen átvészelte a főváros ostromát, majd sokféle célra hasznosították. 1948-ban, az iskolák államosítása idején 5 osztályú általános iskola és óvoda volt benne.

Az ötvenes évek elején itt működött a Katonai Kiegészítő Parancsnokság, ezt követően általános, majd kisegítő iskolaként funkcionált egészen 1989-ig. A Józsefvárosi Zeneiskola 1992. október 26-án költözött a zeneoktatás céljára felújított épületbe.

A látogatók ma is megcsodálják a ház szépségeit, a hangversenyeknek, rendezvényeknek helyet adó díszterem harmóniáját, a boltíves termeket, a még eredeti míves korlátokat. Az épület varázsa mindenkit elbűvöl. A hangulatos kertben tavasszal koncerteket is hallgathatnak az érdeklődők.