Zamek, położony na wysokim wzgórzu (463 m n.p.m.) na prawym brzegu Popradu, na północ od wsi Sucha Struga (obecnie w jej granicach administracyjnych), został zbudowany prawdopodobnie na przełomie XIII i XIV wieku; niektórzy XIX-wieczni autorzy sugerowali, że początki najstarszej części budowli, czyli kamiennej wieży, mogą sięgać XII wieku; obecnie datuje się ją na XIII wiek.
W dokumentach źródłowych nie ma informacji, kto zbudował zamek. Pierwsza wzmianka pochodzi z przywileju Władysława Łokietka z 17 kwietnia 1312 roku, który pozwolił zakonowi klarysek ze Starego Sącza na pobieranie cła "pod zamkiem Ritter" (łac. prope castrum Ritter). Wzmianka o zamku w Rytrze pojawia się również w dyplomie Władysława Łokietka z 1331 roku, który nadał mieszczanom sądeckim las (łac. silvam) "obok zamku Rither" (łac. ultra Rither castrum sitam). W XV wieku zamek w Rytrze stanowił rezydencję starostów sądeckich i został przebudowany.
Zamek już od XIII wieku należał z pewnością do domeny królewskiej. Pozostawał w rękach tenutariuszy: Jakusza z Boturzyna herbu Czewoja, rodu Toporczyków herbu Topór, którzy przyjęli nazwisko Ryterskich; w XVI wieku administratorem został Piotr Kmita. Wkrótce potem zamek popadł w ruinę, o czym świadczy relacja Marcina Bielskiego oraz lustracje z lat 1616-1617. Według lokalnych podań uległ zniszczeniu w 1657 roku w czasie najazdu Jerzego Rakoczego.
Z zamku zachowały się ruiny wieży i resztki muru, prawdopodobnie budynku mieszkalnego
