Пустомытовские владения постоянно переходили из рук в руки. В итоги этот кусок земли вообще был разделен на более мелкие участки, поэтому в 1939 г. от бывшего имения остался лишь дворец с парком. Кто построил дворец, когда — неизвестно.
Историки высказывают предположение что строение было возведено в конце XVIII — начало XIX ст. Хотя возможно, что данное сооружение более позднего времени.
Здание было перестроено в 1920-х гг., после чего потеряло много из своего прежнего легкого и элегантного силуэта. Именно тогда появились львы перед входом.
Интерьеры тоже были изменены — кроме, вероятно, двух восьмисторонних залов на первом и втором этажах.
Сегодня — это прямоугольное удлиненное здание начала XIX ст., одноэтажное с мансардой. Выстроенное из кирпича, оштукатуренное. Крыша барочная, крытая железом, с заломом. Главный фасад украшен ризалитом с фронтоном.
Парковый фасад имеет граненый ризалит, построенный на террасе. За дворцом — остатки пейзажного парка. По архитектуре — дворец в Пустомытах относится к типичным образцам эпохи классицизма, имевшие также распространения в Беларуси.
Английский или ландшафтный парк, окружавший дворец (сейчас является частью городского парка) был небольшим, но симпатичным, с большим количеством старых деревьев.
В наши дни во дворце Пустомыт расположены местная райгосадминистрация и еще с полдесятка чиновничьих учреждений.
