Teško je zamisliti da je na prostoru današnjeg Trga Svetog Trojstva nekada tekao rukavac rečice Mostonge preko koga se mostom stizalo na livadu. Pored Mostonge nalazio se kaštel nekadašnjeg grofa i kapetana Jovana Brankovića, sinovca i zakonitog naslednika nesuđenog srpskog despota i grofa Đorđa Brankovića. Na temeljima tog kaštela 1842. godine sagrađena je Gradska kuća, po mnogima jedno od najreprezentativnijih zdanja i arhitektonski simbol Sombora.
Svoj kaštel, grof Jovan Branković gradi 1718. godine, godinu dana nakon što je imenovan za kapetana somborskog vojnog Šanca. Nakon smrti grofa, njegova udovica je 1749. godine, kaštel prodala za 500 forinti prvoizabranoj Gradskoj upravi tek proglašenog slobodnog i kraljevskog Grada Sombora, za sedište Magistrata.
Nepun vek kasnije, sagrađena je Gradska kuća. Sadašnji izgled dobila je 1840. godine, a dve godine kasnije dograđena su nova krila i toranj po projektu Franca Gfelera. Imala je kvadratnu osnovu, a pročelje je sa istočne premešteno na zapadnu stranu gde se nalazi toranj pod kojim je balkon i Svečana sala. Prema projektu Milana Grgurova, toranj je dograđen 1892. godine.
Zdanje je izgrađeno u stilu neoklasicizma. U Svečanoj sali su održavani sastanci Magistrata, u prizmelju su se nalazili dućani, a jedno vreme u Gradskoj kući je bio smešten Arhiv grada i Gradska biblioteka.
Nakon Prvog svetskog rata, novembra 1918. godine i posle Drugog svetskog rata, oktobra 1944. godine, u Gradskoj kući izvršena je primopredaja grada između okupatorske i oslobodilačke vojske.
Od 1948. godine, ovaj prepoznatljivi objekat Sombora, i po mnogima, dragulj u urbanističkoj fizionomiji grada, ima status zaštićenog spomenika kulture, a od 1991. godine status kulturnog dobra od velikog značaja.
Konzervatorski radovi na ovom zdanju izvođeni su 1968. i 1991. godine.
