Koncom 18. st. sa majiteľom Svidníka a okolitých dedín stal zemepán Sirmai, ktorý dal v roku 1795 vybudovať klasicistický kaštieľ na mieste, kde stála kúria. Koncom 18.storočia bol neskorobarokovo upravený.
Kaštieľ má dvojtraktovú dispozíciu, obdĺžnikový pôdorys, je jednopodlažný s podkrovím a čiastočným podpivničením. Strešnú konštrukciu tvorí manzardový krov.
Dnes sa v objekte nachádza Galéria Dezidera Millyho s expozíciou rusínskej kultúry.
Kaštieľ Svidník je súčasťou Šarišske hradnej cesty