Tento původně měšťanský dům, byl roku 1512 goticko renesančně přestavěn na nový panský dům. Z něj se dochovaly cenné portály v jižním průjezdu a místnosti za nimi spolu s arkádovým nádvořím. Barokní přístavba byla provedena na přelomu 17. a 18. století pro Dominika Ondřeje Kounice. Autorem projektu byl proslulý italský architekt Domenico Martinelli. Poslední komplexní rekonstrukce byla provedena v sedmdesátých letech 20. století, kdy byly půdní prostory upraveny pro základní uměleckou školu. Renesanční sloupy arkádového nádvoří jsou nahrazeny kopiemi (původní sloupy byly subtilnější, s jemnější profilací).

Panský dům slouží dnes jako víceúčelová budova pro kulturní a společenské potřeby města. Nachází se zde obřadní síň, galerie výtvarných umění, gotická kaple Kouniců, knihovna a základní umělecká škola.