Příslušníci zdejší větve se potom nazývali podle nového sídla "z Dubé". Jejich předkem byl Matouš (syn Beneše z Dubé), který se připomíná v l. 1218 - 1227. Poprvé se podle Dubé psal r. 1283 Ondřej, jenž držel ještě druhý hrad, Kavčí Horu u Leštna (nyní Líšno). Jeden z jeho potomků téhož jména vystavěl kolem r. 1350 na hradě Dubé kapli sv. Klimenta. Při dělení Ondřejových statků mezi jeho tři syny dostal Dubou r. 1367 Vaněk. Po něm držel hrad jeho syn Václav (někde též uváděn jako Vaněk), který se připomíná v zápisech krále Václava IV. s panskou jednotou jako králův přívrženec. Se svými zbrojnoši se aktivně zúčastnil domácí války r. 1339 a patřil mezi známé lapky. Zajatí a oloupení protivníci byli tehdy vězněni na Dubé. Drobná válka s příslušníky panské jednoty trvala ve zdejší krajině až do r. 1403, kdy se Václav IV. vrátil ze zajetí do Čech. Dosavadní Vaňkův stoupenec, Jan Zůl z Ostředka, který v plenění pokračoval, se tehdy zmocnil hradu Dubé a odtud stejně jako ze svého sousedního Hrádku ovládal celé okolí. Konec jeho činnosti učinila teprve r. 1404 zemská hotovost, která dobyla i hrad Dubou. Po smrti Vaňka z Dubé (naposledy se připomíná r. 1416) se majitelé zdejšího zboží častěji střídali. V polovině 15. stol. držel hrad s podhradím Odrancem Kuneš Rozkoš z Dubé, který vlastnil ve zdejším kraji ještě hrad Kostelec nad Sázavou (nyní Zbořený Kostelec). Po jeho smrti připadl hrad Dubá ke Komornímu Hrádku. Zpustl patrně krátce potom, snad v nové domácí válce, kterou vyvolala r. 1467 jednota zelenohorská proti králi Jiřímu z Poděbrad. Už r. 1525 se uvádí hrad Dubá jako pustý.
Z vlastního hradu se dochovaly jen rozvaliny, ale i ty dávají tušit někdejší rozlohu a dispozici hradního komplexu. Přístup do hradu byl možný zřejmě jenom po výšině cestou od jihu nebo západu předhradím; na ostatních stranách to příkrý terén znemožňoval. Obdélníkové předhradí bylo uzavřeno brankou, u níž stála ochranná válcová bašta. Vlastní hradní objekty byly opevněny na jižní straně valem a příkopem, na severní a severozápadní straně mohutným příkopem vytesaným ve skále. Vpravo od vstupní brány, z níž zbylo jen vysoké rumiště, stál hradní palác obdélníkového půdorysu. Asi v polovině úzkého nádvoří se dlouho zachovaly zdi, které byly pozůstatkem hradní kaple sv. Klimenta. Zbývající část hradního areálu vyplňovaly další palácové objekty (dnes většinou v sutinách). Od horního hradu sbíhaly dolů k poříční rovince dvě mohutné hradby, zesílené čtvercovými věžemi. První hradba, která je dosud zřetelně patrná, šla podél vytesaného příkopu kolmo na vrstevnice svahu; zadní hradba směřovala nejprve k potoku vymezujícímu jihovýchodní svah hradiště, pak se lomila a sbíhala rovněž k poříční rovince, kde obě hradby spojovala třetí, souběžná s tokem Sázavy. V nevelkém prostoru zabezpečeném hradbami bylo podhradní sídliště, "městečko" Odranec. Přístup do něho střežila mohutná hranolová věž s branou v jihozápadní hradbě na úpatí hradního kopce. Obvodové zdi jsou dnes částečně pobořeny, brána však stále stojí.