Les membres de la famille ici présente s’appelaient selon leur nouveau siège « de Duba ». Leur prédécesseur était Matous (fils de Benes de Duba) dont les traces écrites datent de 1218 – 1227. Pour la première fois s’intitulait de Duba Ondrej en 1283 qui détenait encore un autre château-fort, Kavci Hora près de Lestno (actuellement Lisno). L’un de ses descendants du même nom construit autour de 1350 au château-fort de Duba la chapelle de St. Kliment. Lors de la répartition des biens d’Ondrej entre ses trois fils, c’est à Vanek que le château a été attribué en 1367. Après lui détenait le château son fils Vaclav (parfois il est mentionné aussi comme Vanek) qui est rappelé dans les registres du Roi Vaclav IV concernant les batailles avec l’union seigneuriale comme un partisan du roi. Lui, avec ses goujats, participa activement dans la guerre locale en 1339 et il appartenait entre des malandrins réputés. Les adversaires pris et volés étaient à cette époque-là emprisonnés à Duba. La petite guerre avec l’union seigneuriale durait dans cette région jusqu’à 1403, quand Vaclav IV est revenu en Bohème de son captivité. Le partisan de Vanek jusqu’à ce moment, Jan Zul d’Ostredek, qui continuait à piller, s’est emparé du château-fort de Duba et d’ici, ainsi que de Hradek voisin il contrôlait toute la région. La garnison du pays a mis fin à ses activités, quand elle a conquit également de château de Duba. Après la mort de Vanek de Duba (qui est pour la dernière fois rappelé en 1416) les propriétaires suivants changeaient très souvent. Au milieu du 15e siècle le château était détenu avec d’autres biens qui appartenaient au château par Odranec Kunes Rozkos de Duba à qui appartenait encore dans cette région le château-fort Kostelec nad Sazavou (actuellement Zboreny Kostelec). Après sa mort le château-fort de Duba a été réuni avec Komorni Hradek. Il est devenu désert probablement peu de temps après, quand peut être au cours de la nouvelle guerre locale qui a été déclenchée en 1467 par l’union de Zelena Hora contre le Roi Jiri de Podebrady. Déjà en 1525 le château de Duba est mentionné comme désert.
Du château-fort proprement dit n’ont été conservées que des ruines qui quand-même laissent à comprendre la disposition et l’étendue du complexe du château de l’époque. L’accès au château était probablement possible à partir de la colline par le chemin de sud ou depuis l’ouest par les fortifications devant le château-même. Le terrain abrupt rendait l’accès à partir d’autres côtés impossible. La partie d’avant-château se fermait par une petite porte à proximité de laquelle se trouvait un bastion cylindrique de protection. Les parties propres du château ont été fortifiées du côté sud par des remparts et par un fossé et des côtes nord et nord-ouest par une grande fosse creusée dans le rocher. A droite de la porte d’entrée de laquelle n’a été conservé qui du remblai très haut, se trouvât le palais du château au plan rectangulaire. Dans la moitié d’une cour étroite était longtemps conservés des murs qui étaient des résidus de la chapelle du château de St. Kliment. Dans les autres parties du site de château étaient disposés des autres palais (en général du remblai à l’époque actuelle). Depuis le château descendaient vers le bas vers la petite plaine le long de la rivière encore deux remparts massifs qui étaient renforcés par des tours carrées. Le premier rempart qui est encore à nos jours visible de manière nette, passait le long de la fosse creusée dans le rocher perpendiculairement sur des axes horizontaux du château. Le rempart d’arrière se dirigea d’abord vers le ruisseau qui délimitait la pente qui-est de la forteresse, mais après il se brisait et finalement descendait aussi vers la petite plaine le long de la rivière, où les deux remparts ont été réunis par un troisième rempart, parallèle au flux de la Sazava. Dans une espace pas trop grande et sécurisée par des remparts se trouvait un petit village de dessous du château, « petite ville » Odranec. Son accès était contrôlé par une Grande tour rectangulaire avec une porte dans les remparts sud-ouest sur les pentes de la colline du château. Les murs périphériques sont aujourd’hui en partie en ruines, mais la porte tient toujours.