Hned po svém příjezdu do českých zemí nalezl království v zuboženém stavu. Pražský hrad byl neobyvatelný, a tak Karel musel bydlet v jednom z měšťanských domů. Nesetkal se ani se svou matkou, ta již před třemi lety zemřela. Karel vykupoval zpět zastavené královské statky, platil otcovy dluhy. Bojoval s loupeživými bandami, přísně trestal všechny zločiny. S papežem sjednal povýšení pražského biskupství na arcibiskupství. Tím omezil vliv německého arcibiskupství na církev v Čechách.
Ještě za života svého otce, roku 1346, byl zvolen římským a českým králem, v roce 1355 se stal císařem. Ihned po královské korunovaci začal uskutečňovat plány na povznesení Čech a zvláště Prahy. Na Pražském hradě nechal opravit opevnění, začal budovat nový královský palác a katedrálu svatého Víta. Oba břehy Vltavy nechal spojit kamenným mostem. V sousedství Starého Města založil Nové Město pražské.