Это здание именуют по-разному: дом Скорнякова, «Воеводский дом», дом Львовых.

Усадебное место в данном квартале изначально принадлежало именитому горожанину Касимова – И.С. Полежаеву, затем было куплено Н.М. Скорняковым. Здесь был построен большой 2-х этажный дом, имеющий два флигеля, балконы на верхнем и нижнем этажах.
«Воеводский дом» называли потому, что там стоял трон Касимовского воеводы, который был перенесен сюда после упразднения должности воеводы в 1775 году. Для трона было выделено место как для царского места в старых соборах, с сенью на тонких колонках и государственным гербом наверху. Трон здесь стоял до тех пор, пока члены Рязанской Ученой Архивной комиссии не перевезли его в свой музей. К сожалению, до наших дней не сохранился.
Сам дом переходил по наследству к потомкам по женской линии: Губаревым, Виноградовым. Последние владельцы дома, перед революцией, внуки Виноградовой – Львовы.