Dzimis zemnieka (saimnieka) ģimenē. Mācījās Skrīveru pagasta un ministrijas skolā, 1892. gadā nokārtoja t. s. savvaļnieka eksāmenu Jelgavas pilsētas reālskolā, apguva arī vijolspēli. 1895. gadā iestājās Viļņas kājnieku junkurskolā (beidzis 1897. gadā). Brālis Jānis Zemitāns – Krievijas armijas pulkvedis, lidotājs, 1918.–1937. gadā Padomju Krievijas Sarkanās armijas dienestā.

1892. gadā J. Zemitāns kā savvaļnieks iestājās karadienestā Krievijas armijā, 107. kājnieku pulkā Viļņā. Jaunākais unteroficieris (no 1893. gada), dienēja 116. kājnieku pulkā Rīgā (no 1895. gada), 213. kājnieku pulkā Penzā (1903–1904), pēc tam atkal 116. kājnieku pulkā Rīgas garnizonā kā virsnieks (1905.–1906. gadā veselības stāvokļa dēļ atradās dienestā 81. kājnieku pulkā Vladikaukāzā). Podpraporščiks (1897), podporučiks (1898), poručiks (1902), štābkapteinis (1906), kapteinis (1914). Pirmā pasaules kara priekšvakarā J. Zemitāns tika iecelts par rotas komandieri. No kara sākuma sava pulka un 20. armijas korpusa sastāvā piedalījās kaujās ar Vācijas armiju Austrumprūsijā un Polijā. Par 11.1914. realizētā ienaidnieka nocietinātā punkta ieņemšanu komandējot bataljonu, J. Zemitāns tika izvirzīts paaugstināšanai apakšpulkveža pakāpē. Ziemā 20. armijas korpuss Augustovas mežos nonāca aplenkumā, bet izcīnīja aizstāvēšanās kaujas, atņemot vāciešiem artilērijas bateriju. Kaujās J. Zemitāns tika kontuzēts, 21.02.1915. krita vācu gūstā. Atradās virsnieku gūstekņu nometnēs Silēzijā. Pēc pamiera parakstīšanas Rietumu frontē un Novembra revolūcijas sākuma Vācijā J. Zemitānu atbrīvoja; 03.12.1918. viņš atgriezās Rīgā.

03.12.1918. Rīgā J. Zemitāns brīvprātīgi iestājās Latvijas Pagaidu valdības bruņotajos spēkos, 2. Rīgas apsardzības rotas komandieris. Pēc atkāpšanās no Rīgas 07.01.1919. J. Zemitānu no Liepājas komandēja ar kuģi uz Tallinu “sevišķā uzdevumā”, 10.01.1919. viņu iecēla par valdības militāro pārstāvi Igaunijā. 17.01.1919. Tallinā J. Zemitāns oficiāli paziņoja par stāšanos amatā un izdeva pirmo pavēli “Latvijas kara organizācijai Ziemeļlatvijā un Igaunijā,” ieceļot sev adjutantu. 18.02.1919. kopā ar diplomātisko pārstāvi Jāni Ramanu bez valdības juridiskām pilnvarām J. Zemitāns parakstīja vienošanos ar Igaunijas armijas virspavēlniecību par latviešu karaspēka veidošanu Igaunijas armijas sastāvā un apgādē (tas paredzēja Valkas un vairāku latvisku pagastu iekļaušanu Igaunijā, tāpēc valdība vēlāk līgumu atteicās atzīt). Jaunformējamo vienību komandieris (no 02.02.1919.); pulkvedis-leitnants (kopvedis; 28.02.1919.), pulkvedis (13.03.1919.). Ziemeļlatvijas karaspēks 31.03.1919. tika nosaukts par brigādi. J. Zemitāns vadīja to kaujās ar Padomju Latvijas armiju 03.–06.1919. un vācu spēkiem 06.–07.1919. Cēsu kaujās. 06.07.1919. brigādes priekšgalā J. Zemitāns svinīgi iejāja Rīgā.

12.07.1919. Pagaidu valdība izteica pulkvedim “visdziļāko pateicību” par darbību. Izveidojot vienotu Latvijas armiju 15.07.1919. J. Zemitāns tika iecelts par Vidzemes divīzijas komandieri un Dienvidu frontes pavēlnieku, 17.07.1919. viņam tika uzdots pārraudzīt Rīgas un tās apkārtnes aizsardzības sistēmu.

Sākoties bermontiešu uzbrukumam Rīgai 08.10.1919. J. Zemitāns vadīja pretošanos Dienvidu frontē, taču dažādu apstākļu rezultātā nespēja sekmīgi organizēt pretestību un apturēt karaspēka atkāpšanos no Daugavas kreisā krasta. Tika dota arī pārsteidzīga pavēle par atkāpšanos uz Juglas upes līnijas aizsardzības pozīcijām ārpus Rīgas. 12.10., kad Rīgā bija noturētas pozīcijas uz Daugavas upes līnijas, ar armijas virspavēlnieka Dāvida Sīmansona pavēli par “pienākumu nepareizu izpildīšanu” J. Zemitānu atcēla no amata (viņu nomainīja Mārtiņš Peniķis), iedalot viņu Armijas virspavēlnieka štāba Inspekcijas daļas virsnieku rezervē.

Sākot ar 01.1920. J. Zemitāns darbojās vairākās komisijās (Disciplinārā reglamenta, Karavīru pensijas likuma projekta, Garnizona reglamenta izstrādes). 04.1921., armijai pārejot uz miera laika štatiem, iedalīts galvenā štāba virsnieku rezervē, bija Jūras pārvaldes likvidācijas komisijas priekšsēdētājs, no 10.1921. – Kara tiesas pagaidu loceklis. 01.04.1922. atvaļināts no karadienesta štatu samazināšanas dēļ.

Jau J. Zemitāna dzīves laikā publiskajā telpā aizsākās zināmā sāncensība starp t. s. ziemeļniekiem (Ziemeļlatvijas brigādes karavīriem) un “dienvidniekiem” (Dienvidlatvijas jeb landesvēra sastāvā karojušās brigādes karavīriem) jautājumā par lielākiem nopelniem un lomu Latvijas Neatkarības karā panāktajā uzvarā. J. Zemitāns tieši šajā sāncensībā neiesaistījās.

Miris Rīgas Kara slimnīcā no smadzeņu audzēja. Bērēs piedalījās augstākās valsts un armijas amatpersonas.

02.–07.1919. J. Zemitāns vadīja Igaunijas armijas pakļautībā esošo Ziemeļlatvijas karaspēka izveidošanu un komandēja to cīņās pret Padomju Latvijas armiju un vācu spēkiem Cēsu kaujās, atbrīvojot ievērojamu Latvijas valsts daļu. Jūlijā kopā ar Igaunijas armiju gūtie panākumi deva iespēju atbrīvoties no līdz tam Neatkarības karā dominējošā vācu faktora iespaida, kā arī – Latvijas Pagaidu valdībai atgriezties galvaspilsētā un pārņemt savā kontrolē ievērojamu no lielinieku spēkiem atbrīvoto valsts daļu.

Par labu dienestu J. Zemitāns 1910. gadā tika apbalvots ar Krievijas Svētā Staņislava ordeni (poļu Order Świętego Stanisława, krievu Императорский и Царский Орден Святого Станислава), III šķira; par 10.1914. kauju laikā parādīto varonību – ar Svētā Vladimira ordeni (Oрден Святого Равноапостольного Князя Владимира), IV šķira ar šķēpiem un lenti (automātiski – piederība dzimtmuižniecības kārtai); – ar Latvijas Lāčplēša Kara ordeni, III šķira (1924. gadā – trīs gadus pēc tam, kad bija saņēmis augstāko Igaunijas apbalvojumu – Igaunijas Brīvības krustu, Vabadusrist, I šķiras II pakāpe).

J. Zemitāna vārdā nosaukta Skrīveru pamatskola, ielas Rīgā, Liepājā, Skrīveros un Strenčos, laukums Rīgā (1995. gadā tajā atklāts tēlnieces Guntas Zemītes piemineklis), Rīgā – Zemitānu dzelzceļa stacija (kopš 1928), Zemitāna tilts (pārvads pār dzelzceļu). J. Zemitāns atspoguļots spēlfilmā “Lāčplēsis” (režisors Aleksandrs Rusteiķis, 1930). 1933. gadā Aizkraukles evaņģēliski luteriskā baznīcā J. Zemitānam atklāta piemiņas plāksne, Kara muzejā – piemiņas istaba; biedrība "Ziemeļnieki" līdz 1940. gadam J. Zemitāna nāves dienā rīkoja piemiņas pasākumus Rīgas Brāļu kapos.