Dzimis saimnieka Dāvida Apiņa ģimenē, pareizticīgs. No 1883. gada mācījies Baltijas skolotāju seminārā Rīgā, pēc triju gadu mācīšanās izstājās. 1889. gadā iestājās Viļņas kājnieku junkurskolā (Виленское военное училище), ko 1891. gadā beidza ar II šķiru. Precējies ar Jevgēniju Pušakovu. Meita Olga Apine – pirmā sieviete būvinženiere Latvijā, Valsts kontroles ierēdne, dēls Jānis Apinis – Latvijas Neatkarības kara dalībnieks, būvinženieris, dēls Nikolajs – Pirmā pasaules kara laikā Krievijas armijas artilērijas virsnieks.

09.1888. kā savvaļnieks iestājās Krievijas armijā, 97. Vidzemes kājnieku pulkā Daugavpilī. No 08.1889. jaunākais unteroficieris. Pēc Viļņas junkurskolas beigšanas no 09.1891. dienēja 116. kājnieku pulkā Rīgā. Podpraporščiks (1894), podporučiks (1894), poručiks (1899), štābkapteinis (1903), kapteinis (1908), apakšpulkvedis (07.1914., par kaujas nopelniem), pulkvedis (05.1916.). No 09.1897. – virsnieks 178. Cēsu kājnieku pulkā Liepājā, no 06.1910. – 113. Staraja Rusas kājnieku pulkā Zemgalē (pēc 178. kājnieku pulka pārcelšanas uz Krieviju pauda stingru vēlēšanos palikt Baltijas guberņās, kas tika ievērota). Sākoties Pirmajam pasaules karam, no 11.1914. piedalījās kaujās Austrumprūsijā, pēc tam Augustovas kanāla rajonā Polijā. No 02.1915. – bataljona komandieris. 02.1917. iecelts par pulka komandiera palīgu. No 06.1917. J. Apinis bija 217. Kovrovas kājnieku pulka komandieris, 19.08.1917. kaujās ar Vācijas armiju Baltkrievijas teritorijā kontuzēts, evakuēts uz lazareti Saratovā. 09.1917. veselības stāvokļa dēļ iedalīts Minskas kara apgabala štāba rezervē. 02.1918. Kazaņā atvaļināts no armijas veselības stāvokļa dēļ. Dzīvoja Kazaņā, darbojās latviešu bēgļu komitejā. 21.05.–21.08.1918. Vjazmā piedalījās Padomju Krievijas Sarkanās armijas 1. Vjazmas kājnieku pulka formēšanā, pēc tam no 22.08.1918. dzīvoja pie Goļicinas pilsētas dzelzceļa stacijas uz Maskavas–Smoļenskas dzelzceļa līnijas, cenšoties iegūt atļauju atgriezties dzimtenē. 20.10.1918. ar ģimeni bēgļu ešelonā atgriezās Vācijas karaspēka okupētajā Latvijā. 29.10.1918. pēc karantīnas iziešanas Rīgā devās uz vecāku mājām, dzīvoja Drabešu pagasta Bļodniekos.

19.11.1918. ieradās Rīgā. No 10.12.1918. dienēja Latvijas Pagaidu valdības bruņotajos spēkos (pulkvedis), 12.12.1918. komandēts uz Cēsīm. Vidzemes apgabala apsardzības priekšnieks, piedalījās Cēsu rotas izveidošanā, ar kuru decembra beigās iesaistījās pirmajās sadursmēs ar ienākošās Sarkanās armijas latviešu strēlnieku vienībām pie Cēsīm, pēc tam atkāpās uz Rīgu (amatā līdz 02.01.1919., kad ar landesvēra komandiera pavēli Vidzemes apsardzības štābs izformēts). Kopā ar Pagaidu valdību caur Jelgavu atkāpies uz Liepāju. No 05.03.1919. pārzinājis rezerves rotu formēšanu 1. latviešu atsevišķajā bataljonā, uz kurieni komandēts no Liepājas. No 28.03.1919. bija 4. atsevišķā bataljona komandieris, uzsākot tā formēšanu no apkārtnes latviešu komandantūru komandām. Pēc vācu spēku organizētā 16.04.1919. apvērsuma saziņā ar apsardzības ministru Jāni Zālīti plānoja militārus soļus apvērsuma seku likvidācijai, tomēr nevienādā spēju samēra dēļ ieceri realizēt neizdevās. 29.04.1919. pēc vācu spēku pavēlnieka Kurzemē un Liepājas gubernatora Rīdigera fon der Golca (Gustav Adolf Joachim Rüdiger Graf von der Goltz) pavēles Krotes muižā apcietināts, taču 15.05.1919., vācu kara tiesas attaisnots, iespēju robežās turpināja 4. atsevišķā bataljona formēšanu. 29.05.1919. ar bataljonu ieradās Jelgavā, 03.06. – Daugavgrīvā. 06.1919. bataljons pārdēvēts par 6. atsevišķo bataljonu (amatā kā bataljona komandieris līdz 28.06.1919.). 01.09.1919. iecelts par Instruktoru bataljona komandieri, kauju laikā ar Bermonta armiju 12.10.1919. iecelts par 6. Rīgas kājnieku pulka komandieri. 05.02.1920.–01.01.1922., ar pārtraukumu cīņu laikā Latgalē, bija arī Rīgas pilsētas garnizona priekšnieks. No 01.08.1920. – Vidzemes divīzijas komandiera vietas izpildītājs, pēc tam komandieris. Ģenerālis (26.01.1922.). No 24.02.1924. Kara padomes loceklis. No 13.08.1920. arī Lāčplēša Kara ordeņa domes loceklis. Miris Sarkankalna psihiatriskajā slimnīcā no nervu sistēmas slimības izraisītajām sekām. Ar militāru godu izvadīts no Rīgas pareizticīgo katedrāles.

J. Apinis Latvijas Neatkarības kara laikā bija viens no pieredzējušākajiem vecākajiem virsniekiem, īpaši kara pirmajos posmos 1918. gada beigās–1919. gada pavasarī. Turklāt laikā pēc 16.04.1919., komandējot 4. atsevišķo bataljonu, bija viens no aktīvākajiem galvenajiem virsniekiem apvērsuma seku pretdarbībā Kurzemē. Cīņu laikā pret Bermonta armiju, pēc iepriekšējā komandiera atcelšanas no amata, no 12.10.1919. komandēja 6. Rīgas kājnieku pulku, vadīja pulku cīņās arī Latgales frontē pret Sarkano armiju, bet 08.1920.–1924. komandēja Vidzemes divīziju Latgales frontē un pēc tam Rīgas garnizonā. Atrazdamies pulka komandiera un divīzijas komandiera amatā, samērā sekmīgi iesaistīts arī diplomātiska rakstura darbībā (attiecībās ar Lietuvas varas iestādēm šīs valsts teritorijā līdz 1920. gada sākumam un attiecībās ar ārvalstu politiskajām un militārajām misijām, kā arī Amerikas Savienoto Valstu (ASV) palīdzības rakstura organizācijām galvaspilsētas garnizonā). Saistībā ar nopelniem Latvijas Neatkarības kara laikā uzskatāms par vienu no ievērojamākajiem 20. gs. 20. gadu pirmās puses Latvijas armijas ģenerāļiem.

1988. gadā neatkarības atgūšanas procesa gaitā atjaunota un sakopta J. Apiņa kapavieta Cēsīs. 11.11.1988. pie tās notika piemiņas brīdis. Neregulāri piemiņas pasākumi pie kapavietas notikuši arī vēlāk. Materiālus par J. Apiņa darbību Neatkarības kara laikā apkopo Latvijas Kara muzejs, Cēsu Vēstures un mākslas muzejs, Cēsu Centrālā bibliotēka un citas iestādes.

J. Apinis par miera laiku dienestu un kaujas nopelniem Krievijas armijas sastāvā Pirmā pasaules kara laikā apbalvots ar Krievijas Svētā Vladimira ordeni (IV šķira, ar šķēpiem), Svētā Staņislava ordeni (II, III šķira, abi ar šķēpiem), Svētās Annas ordeni (II, III šķira, abi ar šķēpiem). Par nopelniem Latvijas Neatkarības kara laikā kaujās ar Bermonta armiju 11.1919. Rīgā, pie Torņakalna, apbalvots ar Latvijas Lāčplēša Kara ordeni (III šķira).