Zámek leží na místě původního hradu, který nechal vybudovat Přemysl Otakar II. na moravsko-uherském pomezí na ochranu významné obchodní cesty z Uher do Prahy někdy po roce 1260. Z hradu se dochovala pouze obytná věž ze 13. století, která zůstala i jádrem dnešního zámku. V roce 1511 získal ostrožské panství Smil Kuna z Kunštátu, který jej postoupil Janu z Kunovic. Za něj začala důležitá a rozhodující přestavba hradu v pohodlný renesanční zámek, která pokračovala až do konce století. Ve dvou následujících fázích zastavěl obě dosud volné strany v západní polovině objektu. Severozápadní křídlo mělo drobný rizalit. Druhá stavební etapa započala po roce 1560, ale dokončení interiérů se protáhlo do počátku 17. století. Po přestavbě získala budova tvar nepravidelného čtyřúhelníku s nádvořím uprostřed, které je na severní, východní a západní straně obestavěno arkádami. Na severozápadě byla vybudována čtyřboká věž. Jihozápadní křídlo bylo prodlouženo až k nároží staré hradby a jeho šířka byla zvětšena do dnešních rozměrů. Ve východním traktu je zámecká kaple a přilehlý velký sál. Po třicetileté válce koupil Ostroh jako konfiskát Gundakar z Liechtensteina. Ten zřejmě nechal dokončit štukovou výzdobu plochých stropů geometrickými profilovanými rámy s jemným perlovcem. Jako lichtenštejnský majetek přestal být zámek v Ostrohu šlechtickým sídlem, čímž jeho význam značně poklesl. Severovýchodně od zámku přistavěli nezbytné hospodářské zázemí - čtverec stájí s vnitřním dvorem a areál pivovaru. Zámek pak zůstal pouze střediskem správy panství. Po roce 1850 byl přeměněn na kanceláře velkostatků a byty úředníků. Vlastnictvím Liechtensteinů zůstal zámek až do roku 1945, kdy byl vyvlastněn. Ze zámeckých interiérů vyniká velký sál a bývalá kaple. Jihovýchodní a severozápadní trakt je dvoupodlažní, ostatní trakty mají poschodí tři. V interiérech se dodnes dochovaly renesanční ostění dveří a oken, část místností má gotické a renesanční klenby. Po celkové rekonstrukci slouží objekt kulturním potřebám města a nachází se zde Městský úřad, knihovna, zámecká galerie, společenský sál a obřadní síň.