Joel urodził się 11 marca 1979 roku w Maryland. Jego ojciec opuścił rodzinę, gdy miał on 16 lat i nigdy później go nie widział, dlatego też Joel zmienił swoje nazwisko "Combs" na nazwisko panieńskie swojej matki "Madden". Tylko matka Joel'a opiekowała się czwórką dzieci. Kiedyś on i jego bliźniaczy brat Benji poszli na koncert Beastie Boys i po jego obejrzeniu postanowili założyć własny zespół muzyczny. Kiedy ukończył studia w 1997 roku, jego mama dała mu i Benji'emu dwa bilety do Kalifornii. Kiedy wrócili, określili się na zawsze. Oni, ich dwaj przyjaciele ze szkoły oraz Billy założyli zespół - Good Charlotte.