В 1862 году здание с высочайшего соизволения было передано в распоряжение военного ведомства. В бывшем дворце до 1882 года размещалась вначале Гвардейская Берейторская школа, а затем гвардейский полевой полуэскадрон.

В советское время в здании был надстроен третий этаж, оно стало жилым домом. В последующие годы в бывшем дворце пытались создать дом отдыха, но попытки оказались безуспешными, строение стало постепенно приходить в упадок.

В середине 2000-х годов здание вместе с земельным участком было продано на торгах частному лицу с условием со стороны комитета по охране памятников запрета на новое строительство на прилегающей территории. Сейчас руины дворца приходят в упадок, но тем не менее представляют исторический интерес.