czterokrotnie żonaty: 1. Frances Varone (1925 - 20.10.1932, rozwód); 2. Karen Morley (05.11.1932 - 02.03.1943), syn Michael; 3. Evelyn Keyes (18.03.1944 - 18.05.1945, rozwód); 4. Doris Warner (od 03.11.1945 do jego śmierci), 2 dzieci, m.in. syn Brian