Brezovica leży w dolinie Torysa pod wschodnimi szczytami Wzgórz Lewockich. Miejscowość rozwinęła się przy starej drodze prowadzącej z Szarisza na Spisz, która w materiałach źródłowych określana jest jako "via magna" - wielka droga. Później, po utworzeniu wsi Tichý Potok i Blažov z sąsiednimi osadami Dolina, Čertež i Ždiar, we wsi powstało skrzyżowanie dróg, które pomogło Brezovicom rozwinąć się jako osada targowa. Mieszkańcy zajmowali się kołodziejstwem, stolarstwem i produkcją drewnianych narzędzi. W miejscowości znajdowało się 7 dworów i renesansowy dwór z XVII wieku, a także synagoga. Był to drewniany budynek z bali, który najwyraźniej został zbudowany po wydaniu edyktu tolerancyjnego przez Józefa II. Dokładny rok budowy i zniszczenia synagogi nie jest znany, ale prawdopodobnie stała ona na przełomie XVIII i XIX wieku. Zniknęła krótko po II wojnie światowej, kiedy to była jeszcze krótko wykorzystywana jako stodoła do przechowywania siana. Wcześniej wieś była również domem dla dużej społeczności żydowskiej, o czym świadczy stosunkowo duży cmentarz żydowski. Żydzi przybyli tu w drugiej połowie XVIII wieku z polskiego Halicza. Wzrost ich populacji był dość szybki. Brezovica stała się siedzibą żydowskiego rabinatu. W 1904 r. w Brezovicy mieszkało około 216 Żydów, a mniejsze społeczności odnotowano także w Blažovie, Dolinie, Tichym Potoku, Niżnym Slavkovie, Vysokiej i Brezovicy. Sława synagogi, oprócz istniejącej jesziwy, którą ukończyło wielu wybitnych rabinów, była szerzona przez praktykę skupiającą się na wybranych rzemiosłach.
