trzykrotnie żonaty: 1. Iva Margaret Miller (13.10.1913 - 1925, rozwód), 4 dzieci: Gail Margaret (ur. 31.10.1917), James F. (ur. 08.05.1918), Charlotte Marie (ur. 16.09.1919) i Grace Frances (ur. 10.12.1921); 2. Freeda Verona Kirkpatrick (23.11.1925 - 1943, rozwód), 4 synów: Carl Phillip (ur. 01.05.1927), William K., Richard A. i John R. "Jack" (ur. 29.06.1937); 3. Patricia Gladys Evelyn Woodbury (od 02.06.1945 do jego śmierci)