История замка тесно связана с историей самого поселения Мир. По некоторым сведениям, оно впервые упоминается в 1395 г., когда крестоносцы во главе с гроссмейстером Тевтонского ордена Конрадом фон Юнгингемом, не взяв Новогрудка, напали на Лиду и Мир и опустошили их. В 1434 г. великий князь литовский Сигизмунд Кейстутович подарил Мир боярину Сеньку Гедыгольдовичу, от которого он перешел в 1490 г. к роду князей Ильиничей, уроженцев Могилевщины.

В XVI в. городские укрепления уже радзивилловского Мира имели вид земляного вала с деревянным «парканом» и четырьмя деревянными въездными брамами, позднее замененными каменными. Один из местных каменщиков -- «муляр Мартин Заборовский» в 1594 г. «оправлял муром» укрепления Мира.

Городские брамы, открывавшие из города выезд в четыре стороны, имели собственные названия: Виленская, Меновая, Замковая и Слонимская. Последняя иногда в документах XVII в. называется еще «брама Аюцевичская». Перед валом шел сухой оборонительный ров. В каждой воротной башне имелся подъемный мост. В те времена было написано много летописаний и лирических стихов о Мирском замке.

В городе имелось ополчение мещан, разделенное на десятки и сотни. На вооружении у них в 60--80-х годах XVII в. были гаковницы «в простой осаде», мушкеты, фитильные осаженные самопалы, пики, бердыши, булавы, «оббитые железом», и пушки. Всеми работами по ремонту и досмотру городских укреплений руководил местный городничий.

В 80-е годы XVII в., после разрушительной русско-польской войны, в Мире работало две бригады строителей, имена которых известны. Это плотники -- «мастер теслярский Гарута, тесли Миколай, Юрка, Чурский, Лаврын Степура, Дударчик, а также каменщики -- муляры -- старший мастер Мартин, мастера Хабар, Станислав, Петрок и помощники Дудка, Федор, Горбач, Сашка».

Городские укрепления в Мире, судя по всему, в XVIII в. имели вид бастионной фортификации. Она просуществовала до конца XVIII в., а Виленская брама последний раз упоминается в 1794 г. Затем укрепление срыли. До сих пор уцелел лишь комплекс Мирского замка.

Мирский замок в свое время был мощным военным сооружением, где нашли применение почти все известные элементы средневековой фортификации и местные традиции замкового зодчества. Строил его несомненно талантливый архитектор-строитель. Скорее всего им был народный мастер, который обладал богатым художественным вкусом и чувством пропорций, был хорошо знаком с архитектурой соседних народов. Не имея хороших инструментов, он не смог сделать точной разбивки как планов, так и фасадов.