pięciokrotnie żonaty: 1. Elizabeth Browning Donner (16.01.1932 - 1933, rozwód), 1 dziecko; 2. Ruth Josephine Googins (22.07.1933 - 1944, rozwód), 3 dzieci; 3. <a href=http://www.filmweb.pl/Person,id=117949>Faye Emerson</a> (03.12.1944 - 1950, rozwód); 4. Minnewa Bell Gray Ross (od 15.03.1951, rozwód); 5. Patricia Peabody Whitehead (od 1960 do jego śmierci), 4 dzieci