In de jaren dertig werd prins Karel hartstochtelijk verliefd op Jacqueline Wehrli, een burgermeisje. Toen ze in 1938 het leven schonk aan een dochter, Isabelle, weigerde de prins om zijn kind te adopteren. In plaats daarvan regelde hij voor zijn geliefde een huwelijk met de oude paleisbediende Wybo, opdat het kind toch tenminste een naam zou hebben.
De relatie tussen de biseksuele prins Karel en zijn dochter Isabelle is volgens biograaf Gunnar Riebs altijd erg wisselend geweest. In De Morgen: "Soms was ze goed, soms slecht. Soms zagen ze elkaar jaren niet, op andere momenten kwam ze regelmatig bij hem op bezoek. Tijdens een van de slechtere momenten heeft de prins zijn testament opgemaakt. Hij weigerde om haar erin op te nemen. Pas na tussenkomst van een intimus is dat vermeden." Karel overleed in 1983.
Over Isabelle weet Riebs nog te vertellen dat ze weinig op haar vader gelijkt. "Haar vader vond haar te klein van gestalte", zegt Riebs. Ze is een beetje mannelijk ook. Het scherpe gezicht heeft ze wel van haar vader.
Volgens intimi viel Isabelle haar hele leven lang op vrouwen. Haar vader vond dat maar niets en vroeg aan kennissen en vrienden om Isabelle aan te zetten om toch een man te vinden. Tevergeefs.
