Františkáni přišli do Uherského Hradiště roku 1491 z podnětu biskupa Jana Filipce, který se do města dostal poprvé jako kancléř Matyáše Korvína při diplomatických jednáních. Stavba kláštera a kostela Zvěstování Panny Marie byla provázena mnoha nesnázemi. Mniši, přinuceni  v polovině 16. století město na čas opustit, pokračovali v stavbě s pomocí donátorů až počátkem dalšího století.  V roce 1646 a 1681 byl klášter zasažen požárem ve městě a v roku 1647 poškozen vichřicí. Dostavět klášter i kostel se františkánům podařilo až v první čtvrtině 18. století.  Původní gotický sloh vystřídaly barokní prvky.
Klášter je vystavěný na čtvercovém půdorysu s rajským dvorem, uprostřed s nejstarší studnou na území města.  Celému  souboru dominuje vysoká klášterní  věž  zastřešená barokizující bání.  V přízemí je umístěna pamětní deska připomínající zbořenou kapli sv. Rozálie. Hlavní vchod je orámován portálkem, v jehož tympanonu se nachází boltcová kartuše se znakem uherské františkánské provincie. Celé přízemí je zaklenuto barokními lunetovými klenbami.

Refektář, v němž se mniši scházeli ke společnému stolování i rozjímání, je jednou ze dvou klášterních místností s ojedinělou výzdobou. Bohatá štuková výzdoba refektáře je dílem italského barokního sochaře Baltassara Fontany,  který se podílel i na výzdobě buchlovického zámku a velehradské baziliky. Reliéfní ornamentální pásy  člení jednotlivé výtvarné náměty, ovocné a květinové závěsy zdobí  okna nebo rámují medailony s postavičkami andílků a polopostavami světců. Plocha klenby je zaplněna těžkým palmetovým ovocným a květinovým štukem.  Nástěnnými malbami technikou fresco-secco opatřil klenbu Fontanův umělecký partner malíř Christophore Monti. Zatímco figurám andělů jsou vymezeny klenební výseče, ústřední výzdobu tvoří čtyři  štuková oválná  „zrcadla“ se sakrálními náměty (zvěstování Panny Marie, svatá Anna vyučuje Pannu Marii, strážce neporušené víry sv. Amand  a zakladatel řádu sv. František z Assisi, vznášející se v oblacích na ohnivém voze taženém dvojspřežím).
Čtyři lunety nad lavicemi na západní straně refektáře  vyzdobil neznámý autor olejomalbami s postavami františkánských světců sv. Jana Kapisrána, sv. Bonaventury, sv. Antonína Paduánského a sv. Františka z Assisi. Do dřevěného polychromovaného obložení podél stěn jsou zasazeny deskové obrazy líčící tragické chvíle  mnichů - mučedníků na jejich misiích ve 13. - 17. století.  Čelní stěně refektáře dominuje krucifix na pozadí bohaté zlaté paprskovité svatozáře, na který navazuje deskový obraz s námětem Poslední večeře Páně.
Mimořádně cenné je i barokní vybavení refektáře – kredenční skříně, dřevěné lavice nebo mramorové patrové lavabo, nad kterým dva andílci odhalují kartuši se znakem Amanda Ferdinanda Petřvalského, jednoho z nejvýznamnějších donátorů kláštera.