W okresie od 3 marca 1995 roku do 19 października 1997 roku pełnił funkcję Marszałka Sejmu Rzeczypospolitej Polskiej.
Jest absolwentem Wydziału Prawa poznańskiego Uniwersytetu im. Adama Mickiewicza (na którym to uzyskał również stopień doktora nauk prawnych) z 1966 roku.
Został uhonorowany przez prezydenta Francji Jacques Chirac'a Orderem Wielkiego Oficera (Grand Officier) Legii Honorowej.
W 2009 roku odznaczony został przez Prezydenta RFN Wielkim Krzyżem Zasługi Orderu Zasługi Republiki Federalnej Niemiec za zbliżenia między Polakami i Niemcami.
15 lutego 2006 słuchacze Programu III Polskiego Radia przyznali Józefowi Zychowi nagrodę "Srebrne Usta 2005".
W 1961 r. został skazany na karę 8 miesięcy pozbawienia wolności za "niedopełnienie obowiązków służbowych" w czasie obozu harcerskiego koło Krosna Odrzańskiego.