Касимовская архитектура – запоминающаяся, и, несомненно, одними из самых ярких являются татарские памятники XV-XVII веков. Мечеть с минаретом и усыпальницы Шах-Али хана и Афган Мухаммед султана – это то немногое, что сохранилось со времен существования Касимовского царства. На самом деле, наряду с уже известными нам сооружениями был отстроен и Ханский дворец.

По своему прямому назначению двор служил до конца XVII века – там в 1681 году скончалась его последняя жительница Фатима-Султан. В середине XVIII века эта земля принадлежала полковнику Дмитрию Симонову, с чьим именем связывают утрату значительной части некогда существовавших построек – по его желанию сломали и использовали в качестве строительного материала остатки ханского дворца: колонны, фрагменты ворот с надписями отправили в печь для обжига известняка. По его же приказу разбирали и мечеть, и, по всей вероятности, другие магометанские здания ждала та же участь, но своим указом Екатерина II помешала планам находчивого военного, и уничтожение построек прекратилось.