Dzimis zemnieka (saimnieka) ģimenē Līves pagasta Vēveros (mūsdienās Daugmales pagasts). Mācījās Ikšķiles luterāņu draudzes skolā un Rīgas apriņķa skolā (beidzis).

J. Goldmanis strādāja par Līves pagasta valdes kancelejas ierēdni, bija pagasta vecākā vietnieks, pagasta skolas vecākais. Baldones pagasta tiesas loceklis (tiesnesis; 01.1903.–08.1912.). Aktīvs sabiedriskās dzīves dalībnieks, Ikšķiles Krājaizdevumu sabiedrības priekšnieks, Baldones Lauksaimniecības biedrības priekšnieks un revidents (no 1896. gada), Jelgavas Savstarpējās kredītbiedrības amatpersona. Bauskas apriņķa zemnieku pārstāvis Kurzemes gubernatora komisijā Baltijas guberņu reformas izstrādāšanai (no 1906. gada). Kurzemes guberņas zemniecības pārstāvis Baltijas reformu jautājumu Sevišķajā padomē pie Baltijas pagaidu ģenerālgubernatora Rīgā (no 1907. gada).

10.1912. J. Goldmani IV Valsts domes Kurzemes guberņas vēlēšanu apgabalā ievēlēja par Zemnieku kūrijas deputātu. Darbojās domē Pēterburgā (no 1914. gada Petrograda) līdz lielinieku apvērsumam. Kopā ar otru latviešu deputātu Jāni Zālīti strādāja kā Progresīvā bloka dalībnieki. Viņi, piemēram, iesniedza apspriešanai likumprojektu par ceļu uzturēšanas kārtības izmaiņām, bērnu apmācību latviešu un igauņu valodā tirdzniecības un zemkopības skolās, J. Goldmanis uzstājās ar runām par kvotes zemju nodošanu bezzemniekiem un citiem jautājumiem, viņam izdevās atvieglot vairāku uz Sibīriju izsūtīto latviešu likteni, paša izstrādātājam likumprojektam par Baltijas muižniecības privilēģiju atcelšanu iegūt vairāk nekā 200 domes deputātu parakstu utt. Pēterburgā (Petrogradā) darbojās arī latviešu sabiedriskajā dzīvē, piemēram, 1914.–1915. gadā bija latviešu politiski literārā laikraksta “Ņevas Viļņi” faktiskais redaktors. Sakarā ar Pirmā pasaules kara sākšanos J. Goldmanis 08./20.08.1914. uzstājās Valsts domē ar pārspīlēti patriotisku runu latviešu un igauņu tautu vārdā, paužot pilnīgu uzticību caram un Krievijas Impērijai, kā arī cīņas gatavību ar Vāciju kopā ar krievu tautu līdz uzvarai.

1915. gada pavasarī un vasarā J. Goldmanim izdevās panākt latviešiem nelabvēlīgo Kurzemes gubernatora Sergeja Nabokova (Сергей Дмитриевич Набоков) un Baltijas ģenerālgubernatora Pāvela Kurlova (Павел Григорьевич Курлов) atcelšanu no amata. Realizējot savu un J. Zālīša ieceri par latviešu militāro vienību izveidošanu, 01./13.06.1915. Rīgā, Latviešu lauksaimniecības centrālbiedrības Savstarpējās kredītbiedrības namā Tērbatas ielā 1/3 J. Goldmanis vadīja latviešu sabiedrisko darbinieku apspriedi, vienojoties par nepieciešamību tādus izveidot; tika izveidota arī neoficiāla organizācijas komiteja. Tās uzdevumā J. Goldmanis uzsāka sarunas ar atbildīgajām Krievijas varas iestādēm un 10./22.06.1915. iesniedza lūgumrakstu armijas sauszemes un jūras spēku augstākajam virspavēlniekam lielkņazam Nikolajam Nikolajevičam (Николай Николаевич), Augstākā virspavēlnieka štāba priekšniekam Nikolajam Januškēvičam (Николай Николаевич Янушкевич) un Ziemeļrietumu frontes pavēlniekam Mihailam Aļeksejevam (Михаил Васильевич Алексеев) par latviešu družīnu izveidošanu.

J. Goldmanis personiski apmeklēja virspavēlnieka štābu Baranovičos un pēc tam Ziemeļrietumu frontes štābu Sedļecā, kur jūlija vidū tika informēts par gaidāmo Ģenerālštāba atļauju veidot latviešu vienības. 01.08. virspavēlnieks apstiprināja lēmumu un sākās latviešu strēlnieku bataljonu formēšana, ko J. Goldmanis, strādājot Petrogradā, lielā mērā koordinēja, būdams Latviešu strēlnieku organizācijas komitejas priekšsēdētājs. Vienlaikus 1915.–1917. gadā viņš bija arī Latviešu bēgļu apgādāšanas centrālkomitejas valdes loceklis. Visā darbības laikā domē aktīvi cīnījās pret vācbaltiešu muižniecības iespaida paliekām Baltijas guberņās. Sākot ar 1916. gada beigām atbalstīja Latvijas autonomijas prasību, kas pēc Februāra revolūcijas kļuva par vienu no galvenajiem latviešu pilsoniskās elites mērķiem. 03.–11.1917. J. Godmanis kopā ar J. Zālīti lielā mērā vadīja minētās elites politisko darbību Krievijas Pagaidu valdības darbības laikā, bet pēc latviešu strēlnieku daļas paustā atbalsta lieliniekiem nosodīja šo soli.

J. Goldmanis bija Latviešu Pagaidu nacionālās padomes galvenās valdes loceklis un Ārlietu nodaļas priekšsēdētājs (no 11.1917.), Latviešu zemnieku savienības pārstāvis Krievijas Satversmes sapulcē (ievēlēts 25.11./06.12.1917.) un uzstājās arī parlamenta pirmajā un vienīgajā sēdē 18.01.1918., latviešu tautas vārdā neatbalstot separāta miera slēgšanu ar Vāciju un pasludinot, ka Latvijas likteni izlems latviešu tauta savā Satversmes sapulcē. 1918. gadā Petrogradā lielinieku varas apstākļos turpināja ierobežotu politisko darbību.

11.1918. J. Goldmanis atgriezās Latvijā. Tautas padomes loceklis no Latviešu zemnieku savienības (02.12.1918.–01.05.1920.), pirmais Pagaidu valdības zemkopības ministrs (20.12.1918.–13.07.1919.), Satversmes sapulces deputāts no Latviešu zemnieku savienības (01.05.1920.–07.11.1922.), apsardzības ministrs Kārļa Ulmaņa Ministru kabinetā (18.12.1920.–18.06.1921.), 1. Saeimas deputāts no Latviešu zemnieku savienības saraksta (07.11.1922.–02.11.1925.) un 2. Saeimas deputāts no Izpostīto apgabalu kongresa kandidātu saraksta (03.11.1925.–05.11.1928.; pēc konflikta ar K. Ulmani izstājās no Latviešu zemnieku savienības), kara ministrs K. Ulmaņa Ministru kabinetā (24.12.1925.–06.05.1926.; apmaiņā pret atbalstu valdībai). Apsūdzībā par nelikumīgām finanšu operācijām (K. Ulmaņa iespaidā esošā Zemnieku banka pieprasīja izsniegtā kredīta atmaksu, tāpēc meklēja nelikumīgus naudas iegūšanas ceļus). Apcietinājumā (12.1928.–11.1929.). Iekšlietu ministrijas Administratīvā departamenta brīva līguma papildu darbinieks (04.–09.1932.), Tautas labklājības ministrijas Sabiedrisko mežu darbu nozares Rīgas krautuves pārziņa palīgs (08.–12.1933.), no 1934. gada – pensionārs. Aktīvi darbojās Veco strēlnieku biedrībā, bija Lāčplēša Kara ordeņa domes loceklis.

Vācu okupācijas laikā 17.03.1944. parakstīja Latvijas Centrālās padomes memorandu Latviešu leģiona ģenerālinspektoram par prasību par Latvijas neatkarības atjaunošanu. 1944. gadā devās bēgļu gaitās uz Vāciju, 1950. gadā izceļoja uz ASV, darbojās centrālajās trimdas organizācijās.

Galvenais J. Goldmaņa nopelns saistīts ar ieguldījumu latviešu strēlnieku bataljonu (vēlāk pulku) izveidošanā un darbību Pirmā pasaules kara laikā, turklāt šī iemesla dēļ viņš pieminēts visu Latvijā pastāvējušo politisko režīmu vēstures literatūrā. Trimdā J. Goldmanis tādēļ neoficiāli dēvēts par “strēlnieku tēvu”. J. Goldmaņa darbībai bija arī ievērojama nozīme Latvijas Neatkarības kara laikā 1918. gada beigās un 1919. gada pirmajos mēnešos, kad viņš, būdams Pagaidu valdības zemkopības ministrs, faktiski ievadīja vēlāk realizētās agrārās reformas politisko sagatavošanu, izraisot asu vācbaltiešu muižniecības reakciju.

Trimdā piešķirta “Tautas balva” par mūža darbu tautas labā (1955).