Václav neměl právě pěkné dětství. V roce 1319 byl jako tříletý natrvalo odloučen od své maminky. Tím se totiž Jan Lucemburský snažil vyřešit své spory s Eliškou Přemyslovnou. První dva měsíce držel synka na hradě Loket ve sklepení, do nějž světlo dopadalo pouze malým otvorem ve dveřích, poté na Křivoklátě a krátce před sedmými narozeninami v roce 1323 ho nechal odvézt na dvůr francouzského krále Karla IV. Sličného. Ten byl jeho švagrem. Po něm malý Václav v roce 1323 převzal jméno Karel.

Jan Lucemburský chtěl tímto odloučením zabránit tomu, aby syn byl Eliškou či předáky panstva zvolen v Čechách protikrálem. Také ho chtěl oženit s Blankou z Valois, členkou vedlejší větve francouzského panovnického rodu. Maminku Karel už nikdy neviděl. Ta žila postupně na Mělníce, na Zbraslavi a v Bavorsku. Zemřela roku 1330, tři roky předtím, než se Karel směl vrátit do Čech. Protože na její pohřeb nepřijel otec Jan Lucemburský, nemohl přijet ani on.

Do Prahy přijel budoucí král Karel IV. roku 1333. Než do ní vstoupil, navštívil hrob své maminky Elišky Přemyslovny na Zbraslavi, aby uctil její památku.