Karl Ludwig war das sechste Kind des Erbprinzen Karl Ludwig und seiner Gemahlin Amalie von Hessen-Darmstadt und der einzige Sohn, nachdem ein Bruder in frühem Kindesalter gestorben war.
Obgleich dem Erbprinzenpaar durch Napoleon Mannheim als Residenz zugewiesen war, hielt sich Karl unter dem Vorwand von Regierungsgeschäften vorwiegend in Karlsruhe auf. Hier lebte er weiterhin in seinem altbekannten Kreis von jungen Männern und führte sein lockeres junges Leben fort. Um seine Frau Stephanie kümmerte er sich wenig. Schon in den Flitterwochen, die sie im Lustschloss Favorite verbringen sollten, wendete er sich von ihr ab und fuhr alleine nach Karlsruhe zurück. Unter den Augen seiner Gemahlin hätte er seinen nicht standesgemässen Lebenswandel ändern müssen.