Appartenente a una famosa famiglia di organisti, Bossi nacque a Salò (sulle rive del lago di Garda).
Frequentò per due anni (1871-1873) il liceo musicale di Bologna, mentre studiò per i successivi otto al Conservatorio di Milano.
Il decennio di studi non valse, però, al conseguimento del diploma in organo (le ragioni di questo fatto sono da trovarsi nei contrasti con il maestro Polibio Fumagalli): Bossi proseguì all'estero la sua formazione organistica, avendo deciso di sua volontà di non conseguire il titolo in Italia.
Ben presto conseguì un grande successo, in Europa e nel mondo: già all'età di diciotto anni, infatti, venne applaudito a Londra, e negli Stati Uniti, inoltre fu organista e maestro di cappella nella cattedrale di Como (vi fece realizzare 2 nuovi organi dal costruttore Bernasconi di Varese) ed insegnò armonia ed organo e composizione organistica al Conservatorio di Napoli.
Nel 1883 nacque suo figlio, Renzo Rinaldo Bossi, il quale diventerà compositore a sua volta.
Bossi fu sicuramente una personalità di spicco nel panorama musicale italiano (e internazionale). Oltre ai pezzi da concerto, sono notevoli le sue composizioni liturgiche. Nel settembre 2005, al Teatro Comunale di Bologna è stato eseguito, in prima assoluta, il poema melodrammatico Malombra, in tre atti e un prologo. L'edizione di questo lavoro venne curata dai musicologi Pierangelo Valtinoni, Francesco Erle e Marco Manzardo.
Dal punto di vista compositivo, il suo stile si può assimilare al tardoromanticismo guidato da Brahms.
Bossi si è distinto per il suo coraggioso tentativo di proporre anche musica strumentale, in un contesto ormai dominato dal melodramma.[2]
Adagio in la bemolle maggiore op. 84 per violino e organo
Konzertstück in do minore op. 130 [1908], per organo. orchestra d'archi, due cornette in si bemolle, tromba in fa, due corni in fa, tre tromboni, Basso tuba, timpani e campana in do (o Tamtam)
Entrata Pontificale op. 104 Nr. 1 per due organi
Monumentale il Concerto op. 100 in si bemolle minore per Organo e Orchestra. Stroncato dalla critica nella primitiva versione (in particolare fu criticata la tonalità infelice per gli strumenti ad arco, e la poca preponderanza dell'Organo sul restante organico), fu rimaneggiato da Bossi e pubblicato con organico variato (Archi, quattro Corni, Timpani ed Organo) e nella tonalità di la minore.
È autore assieme a Giovanni Tebaldini del fortunato Metodo di studio per l'Organo moderno (Milano, 1894), prima grande opera italiana in ambito di didattica organistica ispirata alla cultura del Movimento Ceciliano.
Carrara di Bergamo ha in corso l'edizione dell'opera integrale per organo di Bossi in 10 volumi. Mentre vari organisti ne stanno incidendo l'opera omnia: Andrea Macinanti per Tactus di Bologna; Maija Lehtonen per l’etichetta tedesca MDG.