Dzimis zemnieka ģimenē. 1898. gadā beidza Trikātas draudzes skolu. 1900. gadā iestājās Viļņas kājnieku junkurskolā (beidza 1902. gadā).

1898. gadā kā savvaļnieks iestājās Krievijas armijā, 110. kājnieku pulkā Kauņā. Podporučiks (no 1902. gada); poručiks (no 1906. gada), štābkapteinis (no 1910. gada), kapteinis (no 1914. gada). Bijis virsnieks 100. kājnieku pulkā Daugavpilī. Sava pulka sastāvā piedalījies Krievijas–Japānas karā, kaujās ievainots. Pēc kara beigām no 1905. gadā dienēja 106. kājnieku pulkā Viļņā. Sākoties Pirmajam pasaules karam – rotas (no 1914. gada), vēlāk bataljona komandieris, piedalījās kaujās Austrumprūsijā un Polijā. 02.1915. pie Grodņas tika ievainots un lazaretē krita vācu gūstā. Atradās virsnieku gūstekņu nometnēs Silēzijā. Pēc pamiera parakstīšanas Rietumu frontē un revolūcijas sākuma Vācijā J. Balodis tika atbrīvots un 11.1918. atgriezās Latvijā.

01.12.1918. Rīgā iestājās Latvijas Pagaidu valdības bruņotajās vienībās (kapteinis); dienēja Virsnieku rezerves rotā (vēlākajā 1. Neatkarības rotā). Kopvedis (pulkvedis-leitnants; no 28.02.1919.), pulkvedis (no 14.03.1919.), ģenerālis (no 23.01.1920.). Pēc 1. Atsevišķā latviešu bataljona komandiera Oskara Kalpaka bojāejas 06.03.1919. kļuva par bataljona (vēlākās brigādes) komandieri Landesvēra (Latvijas zemessargu) sastāvā. 04.–06.1919. ar savu bataljonu (brigādi), kas ietilpa Landesvērā, faktiski sadarbojās arī ar Andrieva Niedras provācisko valdību, kuras bruņotajos spēkos šī vienība formāli ietilpa (vienlaikus iespēju robežās uzturēja sakarus ar Kārļa Ulmaņa Pagaidu valdību). Pēc Cēsu kaujām 07.1919. J. Balodi iecēla par jaunizveidotās Latvijas armijas Kurzemes divīzijas komandieri un Austrumu frontes pavēlnieku (Pļaviņās), Pāvela Bermonta (Павел Рафаилович Бермондт-Авалов) armijas uzbrukuma laikā 15.10.1919. – par Latvijas armijas virspavēlnieku, vadīja kaujas pret Bermonta spēkiem un pēc tam pret Padomju Krievijas Sarkano armiju Latgalē. 03.1921. tika atbrīvots no amata sakarā ar tā likvidēšanu un armijas pāreju uz miera laika štatu sarakstu.

07.1921. J. Balodis tika atvaļināts no armijas. Viņš dzīvoja piešķirtajā lauku saimniecībā Līvbērzes pagasta Baložos (bijušajā Upesmuižā). 1923. gadā J. Balodi ievēlēja par Latvijas Aizsargu organizācijas goda šefu, no 1925. gada Lāčplēša Kara ordeņa domes loceklis. 1925. gadā ievēlēja par 2. Saeimas deputātu (vēlāk arī par 3. un 4. Saeimas deputātu) no Latviešu zemnieku savienības. Saeimas Kara lietu komisijas priekšsēdētājs. No 12.1931. kara ministrs. Piedalījās K. Ulmaņa vadītajā 15.05.1934. valsts apvērsumā (viens no tā organizētājiem). No 02.1938. arī Ministru prezidenta biedrs. 05.04.1940. pēc konflikta ar Valsts un Ministru prezidentu K. Ulmani no amatiem atbrīvots.

Pēc valsts okupācijas 1940. gada vasarā J. Balodis mēģināja kandidēt t. s. tautas Saeimas vēlēšanās Demokrātiskā bloka sarakstā, ko padomju okupācijas varas iestādes vēlēšanās nepielaida.

31.07.1940. J. Balodi kopā ar sievu Elvīru izveda uz Sizraņu Krievijā, kur dzīvoja drošības iestāžu kontrolē. Sākoties Otrā pasaules kara darbībai Padomju Sociālistisko Republiku Savienības teritorijā, tika apcietināts (ieslodzīts Kuibiševas cietumā, no 1946. gada – Ivanovas cietumā, no 1952. gada – Vladimiras cietumā). 1956. gadā J. Balodi atbrīvoja un viņš kopā ar sievu atgriezās Latvijā, dzīvoja Saulkrastos.

1919. gada rudenī–1920. gada vasarā J. Balodis sekmīgi vadīja armiju, atbrīvojot valsti no Bermonta spēkiem un Sarkanās armijas, vienlaikus sekmīgi noslēdzot armijas organizācijas darbus. Būdams Latvijas armijas virspavēlnieks, J. Balodis uzturēja diplomātiskus sakarus ar Lielbritānijas, Francijas, Amerikas Savienoto Valstu (ASV) misijām un žurnālistiem, kā arī Igaunijas, Polijas, Lietuvas bruņoto spēku vadību. J. Baloža diplomātiskās spējas palīdzēja risināt robežstrīdus un konfliktus ar kaimiņvalstīm.

Priekštecis Dāvids Sīmansons.

Par kauju laikā ar Japānas un Vācijas armijām parādīto varonību apbalvots ar vairākiem Krievijas kaujas ordeņiem, t. sk., Svētās Annas ordeni (Императорский орден Святой Анны), II, III, IV šķira, Svētā Staņislava ordeni (poļu Order Świętego Stanisława, krievu Императорский и Царский Орден Святого Станислава), II šķira, Svētā Vladimira ordeni (Oрден Святого Равноапостольного Князя Владимира), IV šķira; apbalvots ar Latvijas Lāčplēša Kara ordeni, I, II, III šķira, Triju Zvaigžņu ordeni, I šķira, Viestura ordeni, I šķira ar šķēpiem, Igaunijas, Lietuvas, Polijas, Somijas, Francijas, Anglijas ordeņiem un goda zīmēm.

J. Balodim veltītas vairākas gleznas, piemēram, Jāņa Lauvas glezna “Pulkveža Kalpaka nāve”, Ludolfa Liberta glezna “Ģenerāļa Baloža portrets” (20. gs. 30. gadi); ģenerālis Balodis attēlots arī spēlfilmā “Baiga vasara” (režisors Aigars Grauba, 2000).