Zamek, a raczej stanica rycerska, istniał tu już podobno w XIII wieku i należał do rodu Osmorogów (Ośmiorogów) herbu Geraut, wywodzącego się ze Śląska. Według niektórych dawnych badaczy z tego rodu pochodził św. Świerad (Andrzej Żurawek – zm. pomiędzy 1030 a 1034), eremita, który w pobliskim Tropiu, leżącym niegdyś po drugiej stronie Dunajca (dzisiaj po drugiej stronie Jeziora Czchowskiego), miał swoją pustelnię. Pod koniec XIV stulecia w zamku schronił się rycerz Chebda spod Krakowa herbu Starykoń, obłożony kościelną klątwą, m.in. za napady na dobra arcybiskupa gnieźnieńskiego. Jego żoną była Zofia Gierałtówna. Według tradycji potomkowie Chebdy urządzili w zamku zbójeckie gniazdo, rabując na pobliskim trakcie. Nazywano ich wojewódkami. W 1535 roku zamek na polecenie króla został oddany przez Prokopa Chebdę kasztelanowi sandomierskiemu Piotrowi Kmicie. W 1556 roku należał do Gabońskich herbu Janina. W późniejszych latach był własnością ariańskiej rodziny Robkowskich (spokrewnionych po kądzieli z Gierałtami). Pod koniec XVI wieku właścicielami zamku byli Łyczkowie, a w XVII wieku Zborowscy. Warownia była trzykrotnie burzona i odbudowywana. Ostatni raz zburzyli ją Szwedzi w 1655 roku.
Zrujnowana budowla stała się schronieniem zbójów. Podobno by zdobyć ich siedzibę użyto okrutnego podstępu. Oto na Dunajcu pojawiły się tratwy z winem, które rozbójnicy zagarnęli i... jak mieli to w zwyczaju, zaczęli się raczyć trunkiem nie wiedząc, że jest zatruty.
Przez lata Tropsztyn był malowniczą ruiną. Dopiero w roku 1990 została powołana Fundacja Odbudowy Zamku Tropsztyn. W 1996 roku w jego rekonstrukcję zaangażowała się krakowska firma Polincar. Odbudowany zamek udostępniono zwiedzającym.
Ponieważ dokumentacja budowli była niekompletna, zamek odbudowano jako tzw. rekonstrukcję per analogia. W XIV stuleciu składał się z kamiennego muru obwodowego, z usytuowaną od północnego wschodu bramą, okalającego drewnianą zabudowę. Na przełomie XIV/XV wieku od południa powstał murowany gotycki budynek, a niebawem od strony północno-zachodniej pięciokondygnacyjna wieża obronna. W XVI wieku od strony północnej zbudowany został reprezentacyjny budynek mieszkalny, a od zachodu brama. Pod zamkiem zachowały się dwie kondygnacje lochów.
Z zamkiem w Tropsztynie związana jest historia o legendarnym skarbie Inków, podobno ukrytym tutaj (a nie w zamku w Niedzicy) przez inkaską księżniczkę Uminę i jej męża Sebastiana Berzewiczego, którzy schronili się nad Dunajcem opuszczając Peru podczas najazdu Hiszpanów. Potomek tej rodziny, Andrzej Benesz, w 1970 roku przejął na pewien czas ruiny zamku (był wtedy wicemarszałkiem sejmu). W dzieło rekonstrukcji zamku zaangażowali się jego spadkobiercy.