Drożdż urodził się 22 stycznia 1918 roku w Kamienicy koło Bielska, obecnej dzielnicy Bielska-Białej. Tam ukończył Gimnazjum Polskie. Od 1930 roku należał do harcerstwa. W sierpniu 1939 roku został mianowany na komendanta Pogotowia Harcerskiego w hufcach Bielska i Białej Krakowskiej. Kiedy Niemcy 3 września wkroczyli do Bielska i Białej, wycofał się wraz z harcerzami do Krakowa, a następnie do Brzuchowic pod Lwowem.
Adam Cyra przybliżając postać zmarłego powiedział, że po powrocie do Bielska aktywnie działał w harcerskiej organizacji konspiracyjnej, która współpracowała ze Związkiem Walki Zbrojnej (ZWZ). Organizował kolportaż bibuły i pomoc dla rodzin poległych. Pod koniec 1940 roku został za to aresztowany i osadzony w bielskim więzieniu. Po brutalnym śledztwie wraz z kilkudziesięcioma zatrzymanymi został przewieziony do KL Auschwitz. Otrzymał numer 7602. Józef Drożdż po latach wspominał obóz: „Mieszkałem w ciasnej celi z 40 współwięźniami, spałem na zawszonym sienniku. Ale dla mnie to święte miejsce. Ja przeżyłem to piekło, ale straciłem tu brata Jana, który zginął w lipcu 1942 roku. A to, co mnie tu spotkało, odcisnęło piętno na mojej duszy. Wtedy też był straszny mróz."
W lutym 1941 roku Niemcy skierowali Drożdża do więzienia w Raciborzu, a stamtąd kolejno do: Bytomia, Gliwic i Katowic, gdzie był sądzony przed Wyższym Sądem Krajowym. Oskarżony został o zdradę stanu polegającą na „podjęciu prac przygotowawczych działalności wywrotowej celem oderwania należącego do Rzeszy obszaru". Miało to polegać „na zespoleniu mas, zrzeszeniu ich w organizację i jej utrwalenie oraz wywieranie wpływu na szerokie masy przez rozpowszechnienie kolportażu wrogiej wobec Rzeszy propagandy”. Drożdż usłyszał wyrok: 4 lata ciężkiego więzienia. Karę odbył w więzieniu w Brzegu i Sosnowcu, skąd został w grudniu 1944 r. przewieziony do Mysłowic.
W związku ze zbliżaniem się wojsk sowieckich i ewakuacją więzienia mysłowickiego, w styczniu 1945 roku został przewieziony do Mauthausen-Gusen II, a następnie Mauthausen-Gusen I. W tym obozie, jako więzień numer 122 312, doczekał 5 maja wyzwolenia przez Amerykanów. Po powrocie do Bielska od kwietnia 1946 do sierpnia 1948 roku był komendantem połączonych hufców harcerskich Bielska i Białej. Ukończył AWF w Warszawie. W Bielsku-Białej uczył wychowania fizycznego i matematyki. Działał w Polskim Związku Narciarskim i Szkolnych Związkach Sportowych.
Był prezesem bielskiego oddziału Polskiego Związku Byłych Więźniów Politycznych Hitlerowskich Więzień i Obozów Koncentracyjnych. Dzięki jego staraniom odsłonięto na cmentarzu komunalnym w Kamienicy pomnik poświęcony pamięci mieszkańców Podbeskidzia więzionych w obozach koncentracyjnych. W 2003 roku został wpisany do Księgi Zasłużonych dla Bielska Białej, a dwa lata później został kawalerem Orderu Uśmiechu. W 2009 roku został odznaczony Krzyżem Komandorskim Orderu Odrodzenia Polski.eb, pap