pięciokrotnie żonaty: 1. Ruth Hartman (08.07.1909 - 1923, rozwód), 2 dzieci, m.in. syn Carlyle Jr. (ur. 22.05.1913); 2. Leah Barnato Haxton (1925 - 25.03.1933, rozwód); 3. Avonne Taylor-Manville (1933 - 25.06.1936); 4. Nancy Emmons (1946 - 1947, jej śmierć); 5. Victoria Ann Enoch (od 1948 do jego śmierci)