W Rytrze działała komora celna. Już w 1312 r. przywrócono prawa poboru cła przy zamku ryterskim klasztorowi Starego Sącza. Zamek wzniesiono w średniowieczu, najpewniej w XIII w., aby nadzorował trakt oraz drogę rzeczną na Popradzie oraz ochraniał komorę celną – brak jednak dowodów na to kto ostatecznie był jego fundatorem. W XVI w. administrował nim Piotr Kmita. W drugiej połowie tego stulecia zaczął popadać w ruinę, tak, że według zapisu z lustracji z lat 1616-1617 zostało z niego ledwie „trochę muru na górze wysokiej”. W ostatnich latach część budowli rekonstruowano.