Který mladý muž by si ze dvou nabízených nevěst nevybral tu hezčí? Syn Marie Terezie nebyl výjimkou. O ženy se do doby, než mu matka začala vybírat nevěstu, nijak zvlášť nezajímal. Na výběr měl ne zvlášť hezkou Neapolitánku a opravdovou krasavici Isabelu Parmskou, vnučku francouzského krále Ludvíka XV. Křehká dívenka s jemným obličejem a lesklými havraními vlasy připomínala porcelánovou panenku. Dostalo se jí vzdělání vhodného pro dámy – učila se hrát na klavír, veršovala, ale také četla filosofické spisy, zabývala se mechanikou a řešila složité matematické problémy.

Na svatbu s Josefem si do Vídně přivezla i skryté věno – nechuť k manželství a obecně i mužům. Muži opovrhovala, pokládala je za samolibé tvory, kteří zotročují ženy, aby zakryli svoji méněcennost. Devatenáctiletý Josef na tom byl ovšem podobně. „Bojím se ženitby víc, než kdybych měl jít do bitvy,“ napsal svému důvěrníkovi Salmovi. Bál se, že nebude šťastný. A otcovy rady do manželství ho vylekaly ještě víc.
Josef se do své, o rok mladší okouzlující manželky vášnivě zamiloval. Doslova ji zbožňoval. Trávil s ní romantické večery při hudbě a zpěvu, zahrnoval ji milostnými prosbami. Ona ale nebyla schopna jeho city opětovat. Čím odtažitěji se Isabela chovala, tím na ni Josef vášnivěji naléhal, až ho jeho matka musela krotit. Isabela během tříletého manželství zažila dva těžké porody a tři potraty. Josef se utápěl v iluzi šťastného manželství a vůbec mu nepřišlo na mysl, že by jeho manželka mohla cítit něco jiného.

Isabela manžela nedokázala milovat. Její srdce patřilo někomu jinému. Až po uši se zamilovala do své přítelkyně, Josefovy sestry Marie Kristýny, tedy do své švagrové. Její city našly odezvu. Ve vášnivých dopisech ji něžně oslovovala Mimi. Dámy si vzájemně darovaly nočníky a Isabela doufala, že si na ni při každém použití Mimi vzpomene. Lístek se slovy „Ještě jednou adieu, líbám Tvou rozkošnou prdelku…“, prozrazuje vše.

Josefovo manželské štěstí netrvalo dlouho. Isabela předstírající, že je vše v pořádku, se stále víc propadala do melancholie, uvažovala i o smrti. Osud to vyřešil za ni. Když čekala druhé dítě, propukla ve Vídni epidemie neštovic. Isabela se nakazila a předčasně porodila. Její dcera Kristýna přežila jen pár hodin a dvaadvacetiletá matka zemřela pět dní po ní. Bylo 27. listopadu roku 1763. Josef II. v dopisu svému otci velmi truchlí: „Všechno jsem ztratil. Moje zbožňovaná žena, předmět mé touhy, moje jediná přítelkyně už není. Žádná princezna, žádná žena nebyla jako ona.“ Až do konce života netušil, že žil s lesbičkou. V necelých osmi letech, v lednu 1770 zemřela na zápal plic jeho prvorozená dcera Marie Terezie. Zbyly mu jen vzpomínky a bolest. Ty překonával usilovnou prací.