Karl I. Ludwig war mindestens zweimal verheiratet. Am 12./22. Februar 1650 heiratete er in Kassel in erster Ehe Charlotte von Hessen-Kassel (1627-1686), die ihm drei Kinder schenkte: 1. seinen Sohn und Nachfolger Karl (II.), geboren am 10. April 1651, gestorben am 26. Mai 1685; 2. seine Tochter Elisabeth Charlotte (Liselotte von der Pfalz), geboren am 27. Mai 1652, gestorben am 8. Dezember 1722; 3. seinen Sohn Friedrich, geboren am 12. Mai 1653 und gestorben am 13. Mai 1654. Am 6. Januar 1658 heiratete er in zweiter Ehe Louise oder Luise von Degenfeld, die ihm 13 oder 14 Kinder schenkte. Nach ihrem Tod am 18. März 1677 wollte er noch einmal eine standesgemäße Ehe eingehen, aber seine erste Gattin Charlotte willigte immer noch nicht in die Scheidung ein. Vielleicht hoffte er auf ihren Tod. Er ging in der Zwischenzeit eine Beziehung mit der Schweizerin Demoiselle von Berau ein, die ihm einen weiteren Sohn schenkte. Aber ob er mit ihr - wie vielfach behauptet - eine weitere heimliche Ehe zur linken Hand eingegangen ist, ist sehr fraglich. Schließlich hätte er sich hierdurch jede Chance genommen, doch noch einmal eine standesgemäße Braut zu finden.
Über die Ursache seines Todes erzählt uns seine jüngste Schwester Sophie von der Pfalz Folgendes: "I had lost my brother the Elector, who had been carried off by an eight-day fever." (in: Memoirs of Sophia, Electress of Hanover: 1630-1680, id., p. 261). Aber es gibt andere zeitgenössische Quellen, die uns etwas anderes erzählen. Bereits im Frühjahr 1679 waren seine Beine so stark angeschwollen, dass er auf seine geliebten Spaziergänge an der frischen Luft verzichten musste. Mitte August 1680 diktierte er schließlich seinen letzten Brief an seine Schwester Sophie: "Ich versuche, meinen Körper soviel als möglich mit frischer Luft zu verwöhnen, ehe sich die Erde seiner bemächtigen wird, und stelle mir beim Flug der Vögel vor, welch Vergnügen es für meinen Geist sein wird, wenn er des Körpers ledig sein und frei umherfliegen wird. ..." (in: Dirk Van der Cruysse: „Madame sein ist ein ellendes Handwerk“: Liselotte von der Pfalz – eine deutsche Prinzessin am Hof des Sonnenkönigs, S. 278).
"Er [Karl I. Ludiwg] war erschöpft von dem Blutverlust durch die Hämorrhoidalblutungen und spürte nach seinem ersten Schlaganfall, daß sein Ende nahte; am Samstag, dem 28. August [1680] (dem 7. September gemäß dem gregorianischen Kalender), beschloß er, nach Heidelberg zurückzukehren. Die Symptome seiner Krankheit (Magerkeit, stark blutende Hämorrhoiden, durch den Verlust von Blutplasmaproteinen angeschwollende Beine) lassen die Schlußfolgerung zu, daß er an einem Rectosigmoidalkarzinom in fortgeschrittenem Stadium starb." (in: Dirk Van der Cruysse: „Madame sein ist ein ellendes Handwerk“: Liselotte von der Pfalz – eine deutsche Prinzessin am Hof des Sonnenkönigs, S. 278). Und so verschied der Kurfürst auf seinem Weg nach Heidelberg und zwar auf seinen Wunsch hin in einem Garten unter einem Nußbaum die Vögel bei ihrem Fliegen beobachtend an einem Sommerabend des 28. August 1680.