Na Karlštejně byly uloženy v Kapli svatého Kříže říšské klenoty. Byly v druhém patře 56 metrů vysoké Velké věže, která měla zdi silné čtyři až šest metrů, čtvery dubové, železem okuté a mnoha zámky opatřené dveře, jež byly nepřetržitě hlídány stráží. Velká věž měla navíc vlastní opevnění. Podle Karlova nařízení nesměl ve věži nikdo pobývat se žádnou ženou, což bylo omylem vztaženo na celý hrad.

Níže pod Velkou věží byl pětipodlažní Císařský palác a nejníže byly vybudovány provozní části předhradí, Purkrabský dům a Studniční věž. Ta měla 80 metrů hlubokou studnu, z níž se voda čerpala pomocí šlapacího kola, uvnitř kterého chodili lidé. Otáčením se během deseti minut vytahoval či spouštěl okov o obsahu 70 litrů. Studna byla zásobována pomocí podzemní štoly vodou z potoka, který obtékal hradní skálu na západní straně.

Případný dobyvatel měl mizivou šanci hrad dobýt. Například v roce 1422 ho obléhali neúspěšně pět měsíců husité. Na Karlštejn vystřelili přes 10000 střel, mezi nimi i 22 soudků s ohněm a téměř 2000 soudků s obsahem pražských žump, vrhaných na hrad pomocí velkých praků. Vše zbytečně.