У подножия Вигнанской горы высятся древние стены — остатки некогда могучего Чертковского замка. Построен он в конце XIV — начале XV вв. по инициативе первого владельца этих земель Ежи Чартковського. Сначала он был деревянным и имел назначение сдерживать нападения турок и татар на город. В 1522 году, когда по магдебургскому праву Чертков стал городом, а замком завладел Станислав Гольского, замок после разрушения турками был перестроен в каменный. На то время это была прочно укрепленая феодальная, а затем и казацкая крепость. Пятистороннего профиля, с башнями на «рогах» и воротами, она являлась характерным сооружением переходного типа. Двор вмещал дворцовый и хозяйственный корпуса, а внешние стены служили одновременно оборонными стенами и бойницами. Г. Лонгвин, выдающийся знаток древних художественных памятников, отмечает, что древние фрески рассказывают о том, что дворец в замке был расписан интересными, на светские темы, рисунками. В 1610 году двор украсили каменные здания с аркадными галереями. Первый этаж перекрывался крестовыми и полуарочными сводами. Башни выступали за линию оборонительных стен. В плане они были четырех- или пятигранными. Толщина замковых стен достигала от полутора до двух метров, высота шести-двенадцати метров. В 1640 году замок уже пятый раз подвергся значительному разрушению от нападения на город турецких войск, но снова был восстановлен. Ему суждено было сыграть значительную роль в освободительном движении украинского народа в первой половине XVII в. В 1648 году здесь размещались три казацких полка под предводительством полковника Максима Кривоноса.
Совместными усилиями жителей города, которых возглавил городской скорняк Северин Настольный, и казаками был штурмом взят замок и захвачены в плен много польских шляхтичей во главе с графом Павлом Потоцким. Многие чертковчане тогда влилось в войска Богдана Хмельницкого. Федор Лизогуб позже стал одним из помощников соратника Хмельницкого полковника Лаврентия Капусты, который был у гетмана начальником разведки. Чертковчане с казаками Кривоноса принимали активное участие в боях за Бучач и в других битвах освободительной войны.
В следующем году один из казацких отрядов снова освободил Чертков, но после Зборовского мира здесь снова воцарились польские захватчики. А в 1672 году захватили эти земли турки, которые господствовали 11 лет. Замок стал резиденцией субпаши Подольского пашалыка. Но объединенные силы европейских государств, разгромив турок под Веной в 1683 году, заставили их покинуть эти земли. Польша вновь утвердила свое господство, которое продолжалось вплоть до первого ее раздела в 1772 году, после чего Чертков вошел в состав Австрийской империи. Какова же дальнейшая судьба была уготована замку? Его владельцы Садовские сдавали в аренду то под военные клады, а то и под торговые еврейским купцам. В 1863 году была здесь тюрьма, где находились арестованные польские повстанцы. В конце XIX века последний наследник Садовских — Гиерон передал свои владения и замок польскому женскому монастырю сестер-кармелиток, которые продолжали сдавать его под склады товаров местным купцам.
