pięciokrotnie żonaty: 1. Clara Peter (rozwód), syn Utz; 2. Tatjana Iwanow (rozwód), syn Andreas; 3. Hannelore Görtz (1953 - 1959, rozwód); 4. Beate Bach (1962 - 1968, rozwód); 5. Karin Kuderer-Pistorius (od 1970)
W goldfingerze bardzo przypominał Anthonego Hopkinsa, swoją manierą, sposobem poruszania się oraz bardzo specyficznym sposobem wypowiadania kwestii. Wyglądał jak starszy, obłędny i zły brat Lectera z NSDAP. Świetny aktor i znakomity złol w jednym z najlepszych Bondów.