trzykrotnie żonaty: 1. Marguerite Byrd (18.06.1948 - 28.02.1957, rozwód), 2 dzieci, m.in. córka Shari (ur. 22.09.1954); 2. Julie Robinson (08.03.1957 - 2008, rozwód), 2 dzieci: syn David (ur. 30.09.1957) i córka Gina (ur. 08.09.1961); 3. Pamela Frank (od 12.04.2008 do jego śmierci)