Zamek Lipovec znajduje się w zachodniej części Gór Slańskich, na zalesionym stromym wzniesieniu znanym jako Varhoška.
Zamek stanowił centrum administracyjne posiadłości Lipovec istniejącej już w 1229 roku. Pierwsza pisemna wzmianka o nim pochodzi z 1282 roku – pojawia się pod nazwą Ostry Kamień (słow. Ostrý Kameň). W 1543 roku zamek został zdobyty i zniszczony. Podczas obrony zginął jego właściciel, Ambróz Kecer z rodu Abów. Zamek został odbudowany przez jego syna, ale już w 1567 roku dowiadujemy się o jego zburzeniu. W 1591 roku zamek został całkowicie zniszczony przez popleczników Jana Zápolyi.
Zamek Lipovec ma około 35 metrów długości i 8–15 metrów szerokości. Dolny pas fortyfikacji chronił go tylko z trzech stron, ponieważ północne zbocze od strony potoku jest bardzo strome. Zamek otoczony jest dolnym murem o długości około 110 metrów i 60 metrów.
Na szczycie wzniesienia znajduje się okrągłe zagłębienie w ziemi. Prawdopodobnie stała tu wieża obronna połączona z mostem zamkowym, która chroniła budowlę od wschodu. Można też zauważyć dawny podział na dziedzińce oraz fosę z zewnętrznym wałem, która chroniła zamek z trzech stron.
Zamek Lipovec leży na Szaryskim Szlaku Zamkowym.
