Rybovo hudební dílo je velmi rozsáhlé. Zahrnuje přes 1000 skladeb. Jsou to skladby duchovní a pastorální díla česká, česko-latinská a latinská, světské sklady, k nimž počítáme písně, kantáty, komorní a symfonickou hudbu.
A právě Rybova hudba byla tím, co propojilo jeho život i s Plzní. Roku 1800 provedl plzeňský učitel, varhaník a regenschori František Křepelka s velkým úspěchem jednu z Rybových mší. O dva roky později posílá Křepelka do Rožmitálu Rybovi dopis, v němž vyjadřuje vděčnost za zaslané skladby.

Na jaře 1805 provedl Křepelka v chrámu sv. Bartoloměje novou Rybovu skladbu Stabat Mater, oratorium pro sóla, sbor a orchestr. Skladateli se dostalo za toto dílo kromě finančního obnosu 100 zlatých od města velkého uznání a 28. května 1805 byl jmenován čestným občanem města Plzně.

Městu Plzni ostatně věnoval J. J. Ryba téměř 100 skladeb. V roce 1810 napsal Cursus sacro harmonicus, obsahující 16 offertorií, o tři roky později zaslal do Plzně třetí svazek, a to graduale od první neděle adventní až do postu. Odvděčoval se tak městu za to, že zde mohl jeho syn Vilém s podporou plzeňských měšťanů studovat na zdejším gymnáziu.

Do Plzně připutoval ještě čtvrtý a pátý svazek Cursus sacro harmonicus, obsahující postní mše, graduale a kantátu s názvem Jubel der Pilsner (Jásot Plzeňanů). Tato kantáta byla provedena s velkým úspěchem 18. října 1814 pod názvem Oběť míru v plzeňském divadle na památku vítězství nad Napoleonem u Lipska.
Záměrem Rybovým bylo na všechny neděle celého roku napsat krátké jedenáctihlasové mše. Mělo jich tedy být 52, k tomu vždy graduale a offertorium, tedy celkem 156 chrámových zpěvů.
Cyklus však zůstal nedokončen.