Urodził się w Osace, wychowywał w Mandżurii, do Japonii wrócił w 1947 roku. Dwa lata później rozpoczął studia prawnicze na Uniwersytecie Tokijskim, gdzie działał w klubie filmowym. Po ukończeniu nauki w 1954 roku zdawał egzaminy w japońskich studiach filmowych Shochiku i Nikkatsu. Dostał się do Nikkatsu, ale z powodu nadwyżki pracowników został odesłany do Shochiku. Początkowo pracował jako asystent takich reżyserów, jak Yuzo Kawashima, Yoshitaro Nomura i Minoru Shibuya. W 1958 roku zaczął też pisać scenariusze dla Nomury i Kazuo Inoue.

W 1961 roku wyreżyserował swój debiutancki film "Nikai no Tanin". W 1969 roku nakręcił obraz "Trudno być mężczyzną", który przerodził się w najdłuższą serię filmową w historii kina. Ta komedia o krętaczu Torajimie zdobyła wielką popularność i reżyser kontynuował ją, kręcąc średnio dwie produkcje z serii rocznie. Yamada wyreżyserował 46 z 48 filmów w serii i każdy z nich, umiejętnie łączący komedię, film drogi i romans, był kasowym hitem.

W 1991 roku nakręcił "Musuko", który w tym czasie uważano za najlepszy film reżysera spoza wspomnianej serii i za który otrzymał wiele nagród, m. in. prestiżową nagrodę Japońskiej Akademii Filmowej. Jeden z jego najnowszych filmów, realistyczna samurajska opowieść "Samuraj - Zmierzch" stał się światowym hitem (nominacja do Oscara i Złotego Niedźwiedzia oraz 11 nagród Japońskiej Akademii Filmowej).