В конце 60-х годов 18 века в наш город прибывает немецкий учёный-энциклопедист, путешественник на русской службе Петер Паллас. Человек, чьим именем названы не только улицы в разных городах мира, но и действующий вулкан, кратер на видимой стороне луны, горы, растения и животные, оставил, пожалуй, одно из первых подробных описаний Касимова того времени.

Петер Симон, исколесивший почти всю страну, исследуя все отрасли естественной истории, отзывается о Касимове, как «о худо выстроенном», удивляясь тому, что при наличии известнякового камня «превосходного на строение», весь город по русскому обыкновению выстроен из бревен, а улицы мощены досками. Что же касается построенных церквей (а к тому моменту их было уже минимум 5), то они «складены из худого кирпича, деланного из такой глины, которая сперва попалась не рассуждая о ея доброты».
Максимально подробно описана Татарская слобода со всеми постройками: из этого рассказа видно, что к XIХ веку от дворцов касимовских правителей мало что осталось, «и от прежнего каменного строения пребыли до новейших времен большия многими готским фигурами и арабскими надписями украшенные ворота, также продолговатый четырехугольный дом, и таким же образом обнесенное кладбище знатных татар, от коего недалеко находится и кладбище простолюдинов…». Перед приездом Палласа были уничтожены остатки ханского дома и ворот, а сам он наблюдал только остатки «особливо кровельные резные подзоры и теремочки. Ханский дом также сломали, и оставили только основание футов пять вышиною для построения на оном деревянных жилых покоев».