Ο Γιόνγκεν γεννήθηκε στη Λιέγη, το 1873. Είχε μεγάλη κλίση στη μουσική και πήρε τα πρώτα μαθήματα μουσικής από τον πατέρα του, Αλφόνσο, κάτοχο της τέχνης, ο οποίος του δίδαξε τα πρώτα βασικά στοιχεία και τον ενθάρρυνε, καθώς και φίλοι μουσικοί κατά τη διάρκεια παραστάσεων που έδινε ο πατέρας του για οικογενειακές γιορτές ή σε κύκλους ερασιτεχνών, στη Λιέγη και στην επαρχία. Έγινε δεκτός στο Ωδείο της βελγικής πόλης σε ηλικία επτά ετών, και πέρασε τα επόμενα δεκαέξι χρόνια εκεί. Κέρδισε το πρώτο βραβείο φούγκας, το 1895, και πήρε δίπλωμα πιάνου και εκκλησιαστικού οργάνου, το 1896. Το 1897, με την καντάτα του Κομάλα κέρδισε το Βελγικό «Βραβείο της Ρώμης», το οποίο τού επέτρεψε να ταξιδέψει στην Ιταλία, τη Γερμανία και τη Γαλλία.[7]
Άρχισε να συνθέτει σε ηλικία 13 ετών και, αμέσως, έδειξε εξαιρετικό ταλέντο σε αυτόν τον τομέα. Μέχρι τη στιγμή που δημοσίευσε το Opus 1 του, είχε ήδη δεκάδες έργα στο ενεργητικό του. Το 1894, συνέθεσε το μακροσκελές Πρώτο Κουαρτέτο εγχόρδων, το οποίο υπέβαλε στον ετήσιο διαγωνισμό για τις καλές τέχνες που θεσμοθέτησε η Βασιλική Ακαδημία του Βελγίου, όπου τού απονεμήθηκε το 1ο βραβείο της επιτροπής. Το 1902, διορίστηκε καθηγητής αρμονίας και αντίστιξης στο παλιό κολλέγιο της Λιέγης. Με το ξέσπασμα του Α’ Παγκοσμίου Πολέμου, αυτός και η οικογένειά του εγκαταστάθηκαν στην Αγγλία, όπου ίδρυσε ένα κουαρτέτο για πιάνο.[8] Όταν τελείωσε ο πόλεμος, επέστρεψε στο Βέλγιο και διορίστηκε καθηγητής φούγκας στο Βασιλικό Ωδείο των Βρυξελλών. Από το 1925 έως το 1939, διετέλεσε διευθυντής αυτού του ιδρύματος· τον διαδέχθηκε ο αδελφός του Λεόν (Léon Jongen). Από το 1919 έως το 1926 διηύθυνε τα «Πνευματικά Κοντσέρτα» των Βρυξελλών.[7] Δεκατέσσερα χρόνια μετά την αποχώρησή του από τη διεύθυνση, ο Γιόζεφ Γιόνγκεν πέθανε στο Σαρ-λε-Σπα του Βελγίου, το 1953.
Από την εφηβική του ηλικία μέχρι τη δεκαετία του '70, ο Γιόνγκεν συνέθεσε πάρα πολλά έργα, όπως συμφωνίες, κοντσέρτα, μουσική και τραγούδια, άλλα με πιάνο και άλλα με ορχήστρα. Ο κατάλογος των με Οpus έργων του, έφτασε τις 241 συνθέσεις, αλλά κατέστρεψε πολλά κομμάτια. Σήμερα, το μόνο μέρος του έργου του που εκτελείται με κάποια κανονικότητα είναι η παραγωγή του για εκκλησιαστικό όργανο. Ειδικά, η Συμφωνία Κοντσερτάντε, του 1926, θεωρείται από πολλούς ως ένα από τα μεγαλύτερα έργα που έχουν γραφεί ποτέ για εκκλησιαστικό όργανο και ορχήστρα.[9]
Πολύ παραγωγικός, «λαμπερός» συνθέτης, ο Γιόνγκεν αγκαλιάζει και δείχνει μεγάλη προτεραιότητα και εφευρετικότητα στη χρήση της πολυφωνίας. Παρόλο που δεν ήταν εντελώς ανεπηρέαστος από τα σπουδαία μουσικά ρεύματα της εποχής του, και ανοικτός σε πειραματισμούς, κατάφερε να δημιουργήσει το δικό του μουσικό ιδίωμα που κατέδειξε την εξαιρετική λυρική του ικανότητα.