Местами проживания татар в Касимове были Татарская слобода и Старый Посад, находящийся на окраине города. Здесь селились выходцы из Казани, Астрахани, Крыма, Сибири, казахских и ногайских орд. Центром слободы являлась Ханская мечеть – памятник федерального значения. Датой основания минарета и мечети принято считать 1467 год – тогда она была построена по указанию первого правителя ханства – Касима. Однако записи Кадыр-Али бия – придворного летописца хана Ураз-Мухаммеда – гласят, что она была выстроена в XVI веке при Шах-Али хане. В мечети происходил обряд возведения на престол касимовских ханов, отсюда и название – Ханская мечеть. Это каменное двухэтажное здание с куполом в стиле классицизма, соединённое с минаретом. Минарет похож на Большой и Малый минареты в Булгаре, его высота 22 метра. Старая татарская (она же Ханская) мечеть XVIII—XIX веков - одна из древнейших мечетей Российской Федерации.
До 1681 году минарет выполнял и функцию смотровой военной вышки. После ликвидации Касимовского ханства храм стал соборной мечетью мусульман Касимова. С этим памятником связана легенда, относящаяся к посещению города императором Петром I, - говорят, что по его приказу мечеть чуть было не разрушили до основания.
От первоначальной постройки сохранился лишь минарет и основание мечети. Сама мечеть к XVIII веку сильно обветшала. В 1768 году, учитывая просьбы касимовских татар, императрица Екатерина II повелела «построить в том городе татарам для молитвы их мечеть…» - на старом основании была построена одноэтажная мечеть, сложенная из камня. Остатки этой древней кладки и сейчас видны в нижней части первого этажа мечети.
В середине 1830-х годов был надстроен второй кирпичный этаж, стены внутри были отделаны мрамором, огромная заслуга в этом принадлежит представителям рода Шакуловых.