Pozostałości wczesnogotyckiego zamku królewskiego znajdują się na grzbiecie wzniesienia Jazvečí kopec (Zámčisko, 618 m n.p.m.) nad popularnym wąwozem Lačnovská tiesňava. Zamek po raz pierwszy był wzmiankowany w 1262 roku, kiedy to został zbudowany przez króla Andrzeja II. Budowla miała funkcję obronną. Zamek uległ zniszczeniu w 1265 roku, ale wkrótce został odbudowany i od XIV wieku należał do rodu Abów, którzy w tym czasie kontrolowali prawie cały obszar dzisiejszej wschodniej Słowacji. Zamek został zburzony pod koniec wojen z kurucami w 1591 roku. Później kilkakrotnie przechodził z rąk do rąk, a na początku XVIII wieku popadł w ruinę.
Pierwotnie zamek miał strzec szlaku handlowego z Preszowa do Lewoczy, prowadzącego przez łatwiej dostępną przełęcz Lačnovské sedlo, a jego głównym zadaniem było zapewnienie bezpieczeństwa na drogach z Szarysza na Spisz lub odwrotnie. Znajdował się w strategicznym miejscu na końcu wąskiego skalistego występu pasma Branisko.
Choć ruiny Zamku Lipovskiego są mało znane, jest on interesujący nie tylko ze względu na wysoką kamienną wieżę z ładnym punktem widokowym, z którego można podziwiać popularny wąwóz, ale także ze względu na pozostałości murów zamkowych. Choć zachowały się one jedynie w szczątkowej postaci, nadal jest to interesujący obiekt, w dodatku atrakcyjnie usytuowany na skalistym wzniesieniu. Na szczycie warto spojrzeć w lewo, gdzie wyraźnie widać dawną fosę zamkową; po prawej stronie z kolei znajdują się strome zbocza, w niektórych miejscach schodzące aż do wąwozu. Nieco dalej wzdłuż grzbietu, w pobliżu innych fragmentów zamku, znajduje się punkt widokowy, z którego można zobaczyć wąwóz, Kamienną Babę i Kolumnę Mojżesza.
Zamek Lipovský leży na Szaryskim Szlaku Zamkowym.
