Dzimis muižas kalpa ģimenē. Mācījās pagasta skolā, 1900. gadā beidza Baltijas skolotāju semināru Kuldīgā. Kā eksternis nokārtoja ģimnāzijas zināšanu pārbaudījumu Maskavā. No 1908. gada studēja tautsaimniecību Maskavas komercinstitūtā (specializējies banku attīstības jautājumos; beidza mācības Pirmā pasaules kara priekšvakarā, neiesniedzot diplomdarbu). Brālis Teodors Celms – filozofs.

J. Celms pēc skolotāju semināra vairākus gadus strādāja par matemātikas skolotāju Rīgā. Sākot ar 1904. gadu izdotas vairākas J. Celma mācību grāmatas matemātikā un filozofijā, tulkojis arī matemātikas mācību grāmatas no krievu valodas. Aktīvi piedalījās 1905. gada revolūcijas norisēs, 1906. gadā bija LSDSP nelegālā laikraksta “Cīņa” redakcijas kolēģijas loceklis (rakstījis šajā laikrakstā un vēlāk citos preses izdevumos, izmantojot pseidonīmu “Almokrats”). Sekojošo varas iestāžu represiju iespaidā 1906. gadā emigrēja uz Somiju (Helsinkiem), 1907. gadā atgriezies Latvijā, kādu laiku dzīvoja nelegāli, pēc amnestijas izsludināšanas legalizējās. No 1908. gada dzīvoja Maskavā. Politiski kreisā un ar Latvijas Sociāldemokrātiju saistītā laikraksta “Laika Balss” faktiskais redaktors Rīgā līdz tā apturēšanai (05.–07.1911.).

Pirmā pasaules kara laikā dzīvoja Tambovas guberņā, Kirsanovas apriņķī, Horošavkas muižā pie tās īpašniekiem Ņekrasoviem, gatavojot komercinstitūta diplomdarbu. 08.1916. Tambovas guberņā mobilizēts Krievijas armijā, dienēja par kareivi-sanitāru. 02.1917. J. Celmu paaugstināja par praporščiku, virsnieks Virsnieku zemstu (pašvaldību) savienības organizētajā “skrejošajā” (mobilajā) sanitārajā kolonnā pie 10. armijas 31. kājnieku divīzijas. Piedalījās kaujās Minskas guberņā un Bukovinā attiecīgi ar Vācijas un Austroungārijas armijām, piedaloties kritušo un ievainoto karavīru iznešanā no karadarbības joslas. Pēc lielinieku apvērsuma darbojās 9. armijas zirgu un vezumu rezerves likvidācijas komisijā (01.–03.1918.), pēc tam atvaļināts Odesā, kur dzīvoja līdz 11.1918., kad devās uz Latviju (Latvijā atgriezās arī J. Celma ģimene, izņemot meitu Laimu, kura palika Padomju Krievijā, veidojot karjeru komunistu partijas un padomju zinātnes sistēmā).

Atgriezies Latvijā, Rīgā, J. Celms iesaistījās LSDSP darbībā, partijas laikraksta “Sociāldemokrāts” pirmais redaktors. Piedalījās Tautas Padomes izveidošanā un Latvijas Republikas neatkarības proklamēšanā (17.–18.11.1918.). Tautas padomes loceklis. Rīgas pilsētas valdes un domes loceklis (no 12.1918.).

01.1919. J. Celms palika lielinieku ieņemtajā Rīgā, Padomju Latvijā, strādāja par pilsētas Strādnieku deputātu padomes izpildkomitejas Pārtikas nodaļas kancelejas sekretāru. Pēc pilsētas atbrīvošanas maija beigās iestājās 1. Latviešu atsevišķajā brigādē (leitnants). 16.06.1919. ar tās komandiera Jāņa Baloža atļauju pārgāja Cēsu kaujās iesaistītajā Ziemeļlatvijas brigādē, dienēja 2. Cēsu kājnieku pulkā, piedalījās kaujās, 07.07.1919. atgriezās Rīgā. Virsnieks 5. atsevišķajā bataljonā, no 09.09.1919. – jaunizveidotās Latvijas armijas 2. Ventspils kājnieku pulkā, rotas jaunākais virsnieks. Piedalījās kaujās ar Bermonta armiju. 20.11.1919. piekomandēts Tautas Padomei, pagaidām atstājot aktīvajā karadienestā. 13.12.1919. formāli pārvietots uz Armijas virspavēlnieka štāba Inspekcijas daļas Virsnieku rezervi, 30.12.1919. par kaujas nopelniem paaugstināts par virsleitnantu. 01.1920. viesojās Helsinkos, partijas uzdevumā nodibinot sakarus ar somu sociāldemokrātiem. 04.1920. ievēlēts Satversmes Sapulcē no LSDSP, 01.06.1919. atvaļināts no armijas kā Satversmes Sapulces deputāts (no 01.05.1920). 1.–4. Saeimas deputāts no LSDSP (1922–1934). Bija parlamenta Finanšu komisijas, Budžeta komisijas priekšsēdētajs.

Rīgas pilsētas Diskonta bankas direktors (1920–1926). Lāčplēša Kara ordeņa domes loceklis (no 1920. gada), 27.11.1928. amatu atstāja, protestējot pret Itālijas valstsvīra Benito Musolīni (Benito Mussolini) apbalvošanu ar Lāčplēša Kara ordeni. No 07.1927. Latvijas Bankas padomes loceklis, padomes priekšsēdētājs (par priekšsēdētāju apstiprināts atkārtoti 11.1930. uz trijiem gadiem, taču saskaņā ar LSDSP Centrālkomitejas lēmumu ar neiespējamību to ieņemt kādam no biedriem pastāvošās saimnieciskās krīzes apstākļos, atteicies no amata, paliekot vienīgi par Latvijas Bankas padomes locekli). 11.1927. bija komandējumā Maskavā, kur vadīja sarunas ar Padomju Savienības Valsts banku par noslēgtā Latvijas–PSRS tirdzniecības līguma izpildes finansiālajiem nosacījumiem un abu institūciju sadarbību līguma kontekstā. Starpkaru periodā turpināja rakstīt mācību grāmatas matemātikā skolām.

Pēc Kārļa Ulmaņa 15.05.1934. autoritārā valsts apvērsuma 16.05. J. Celmu apcietināja, kratīšanā viņa dzīvoklī tika atrastas 23 pistoles un viens revolveris, 05.10.1934. atbrīvots no apcietinājuma. 18.02.1935. Kara tiesa izskatīja apsūdzības lietu pret četriem sociāldemokrātu politiķiem, t. sk. J. Celmu par pretvalstisku darbību un nelikumīgu ieroču glabāšanu, J. Celmam piespriesti četri mēneši cietumā (05.–10.1934. sods jau bija izciests). Pēc atbrīvošanas dzīvoja Rīgā un kā Lāčplēša Kara ordeņa kavalierim piešķirtajā Apguldes muižas centrā Naudītes pagastā visu starpkaru periodu nodarbojies arī ar lauksaimniecību. Miris Rīgas 1. pilsētas slimnīcā no sarežģījumiem pēc apendicīta operācijas.

J. Celms starpkaru periodā bija viens no LSDSP mērenā spārna vadošajiem politiķiem un ievērojamākajiem valsts banku darbiniekiem, kuram bija nozīmīgi nopelni partijas parlamentārajā un sabiedriskajā darbībā, Latvijas Bankas darbības stabilizēšanā, pārstāvēja partiju Lāčplēša Kara ordeņa domē. Atzīmējami arī J. Celma nopelni pedagoģijā un skolu mācību literatūras izveidē.

J. Celms par kaujās ar Austroungārijas armiju Bukovinā 09.1917. parādīto varonību apbalvots ar Krievijas Svētā Jura krustu (Знак отличия Военного ордена; Георгиевский крест) ar lauru vainagu (apbalvojuma versija, ar kuru armijas demokratizācijas posmā apbalvoja virsniekus), IV šķira; par varonību kaujās ar Rietumu brīvprātīgo armiju Bolderājā 07.11.1919. apbalvots ar Latvijas Lāčplēša Kara ordeni, III šķira.