Wilder urodził się w 1933 roku w Milwaukee w rodzinie żydowskich imigrantów z Rosji. Studiował aktorstwo na Uniwersytecie Iowa, następnie w latach 1956-58 kontynuował naukę w Bristol Old Vic Theatre School w Wielkiej Brytanii. Po powrocie do USA pracował w teatrze. Nie występował jednak jako aktor, był kierowcą samochodu i nauczycielem fechtunku.
Karierę aktorską zaczynał na mniejszych scenach Broadwayu, zanim zadebiutował na głównej jego scenie. Najlepszym dla niego rokiem w tym okresie był 1961, gdy za role w przedstawieniach „The Complaisant Lover” i „Roots” otrzymał nagrodę Clarence Derwent. Jego pierwsza rola filmowa to epizod w Mother Courage and Her Children w roku 1964 u boku Anne Bancroft.
Widzowie najbardziej znają autora z ról to Willy'ego Wonki w filmie "Willy Wonka i fabryka czekolady" oraz Leo Blooma w "Producentach".
W latach 70. i 80. XX w. aktor występował w wielu filmach wraz z Richardem Pryorem, tworząc z nim jedną z najbardziej charakterystycznych par komediowych tamtego okresu.