Vidējo izglītību ieguva Rūjienā. 20. gadu otrajā pusē obligātajā karadienestā Latvijas armijā; dienēja Smagās artilērijas pulkā. No 1926. gada studēja Konservatorijā (studijas nepabeidza).

Skolas gados Rūjienā aizrāvās ar futbolu, skolas komandā spēlēja dažādās pozīcijās, t. sk. bija vārtsargs. Būdams skolnieks, daudzpusīgi pievērsās vieglatlētikai; pirmoreiz oficiālās vieglatlētikas sacensībās startēja 1922. gadā skautu sacīkstēs Valkā. Par J. Dimzas pirmo treneri bija kļuvis viņa vecākais brālis – daudzpusīgais sportists Voldemārs Dimza. Vēlāk par treneri kļuva ievērojamais cīkstonis Rūdolfs Ronis sporta biedrības “Krauze” Rūjienas nodaļā, kur J. Dimza skolas gados nodarbojās arī ar grieķu–romiešu cīņu, boksu. No 20. gadu vidus nodarbojās galvenokārt ar vieglatlētiku; 1926. gadā pirmoreiz startēja desmitcīņas sacensībās.

1926. gadā pārcēlās no Rūjienas uz Rīgu, kur līdz 1928. gadam startēja organizācijas “Strādnieku Sports un Sargs” (SSS) sacensībās. 20. gadu otrajā pusē J. Dimza vairākkārt kļuva par SSS čempionu dažādās vieglatlētikas disciplīnās, t. sk. augstlēkšanā, pieccīņā, desmitcīņā, labojis daudzus SSS rekordus vieglatlētikā.

Latvijas vieglatlētikas meistarsacīkstēs jeb čempionātos un citās oficiālās sacensībās 20. gadu beigās (1928–1929) pārstāvēja “Armijas sporta klubu” (ASK). 1929. gada beigās pārgāja uz “Rīgas Policijas darbinieku sporta klubu” (RPDSK), kuru oficiālās sacensībās pārstāvēja no 1930. gada.

J. Dimzas sporta gaitu strauja augšupeja sākās 20. gadu beigās. 02.09.1928. tika sasniegts pirmais Latvijas rekords (augstlēkšanā; 1,74 m). 1928. gadā J. Dimza pirmo reizi kļuva par Latvijas čempionu, turklāt sešās disciplīnās – augstlēkšanā, trīssoļlēkšanā, lodes grūšanā, lodes grūšanā (summā, ar labo un kreiso roku), pieccīņā un desmitcīņā.

1928.–1936. gadā (ar pārtraukumiem) J. Dimza 36 reizes izcīnīja Latvijas čempiona titulu (13 dažādās vieglatlētikas disciplīnās), turklāt trīs gadus pēc kārtas (1929–1931) izcīnot astoņus titulus gadā; šādu panākumu ne pirms, ne pēc J. Dimzas nav sasniedzis neviens Latvijas vieglatlēts.

J. Dimza daudzkārt labojis Latvijas rekordus dažādās vieglatlētikas disciplīnās. 1928.–1930. gadā J. Dimza piecas reizes laboja Latvijas rekordu augstlēkšanā, 1929.–1931. gadā četras reizes – lodes grūšanā (divi ārzemēs sasniegti rekordi oficiāli netika ieskaitīti), 1928.–1931. gadā četras reizes – desmitcīņā. J. Dimza laboja Latvijas individuālos rekordus arī citās vieglatlētikas disciplīnās, t. sk. 110 m barjerskrējienā, diska mešanā, kārtslēkšanā, lodes grūšanā (ar labo un kreiso roku), pieccīņā, trīssoļlēkšanā, kā arī skrējēju komandu sastāvā – dažādās stafešu distancēs. Starpkaru periodā palika oficiāli nepārspēti J. Dimzas rekordi augstlēkšanā (1,875 m; 1930. gadā), lodes grūšanā (15,19 m; 1931. gadā) un desmitcīņā (7789,415 punkti; 1931. gadā).

08.1932. kā viens no diviem Latvijas sportistiem (kopā ar soļotāju Jāni Daliņu) piedalījās vasaras olimpiskajās spēlēs Losandželosā. J. Dimza startēja desmitcīņas sacensībās, kur bija viens no līderiem, bet kārtslēkšanā (astotajā disciplīnā no 10) guva traumu un bija spiests izstāties. Par cīņu no Losandželosas olimpisko spēļu rīkotājiem J. Dimza saņēma speciālbalvu – sudrabā kaltu vainagu. 08.1936. vasaras olimpiskajās spēlēs J. Dimza arī startēja desmitcīņā, bet pēc vājiem rezultātiem pirmajās četrās disciplīnās no turpmākas cīņas izstājās.

J. Dimza piedalījās pirmajā Eiropas vieglatlētikas čempionātā 09.1934. Turīnā (Itālijā), kur izcīnīja 4. vietu desmitcīņā. Ar panākumiem pārstāvēja Latvijas studentu sportistu vienību pasaules akadēmiskajās meistarsacīkstēs (tagad – universiādes) 1930. gadā Darmštatē (Vācijā) un 1933. gadā Turīnā; akadēmiskajās meistarsacīkstēs 1930. gadā izcīnīja 2. vietu pieccīņā, 4. vietu tāllēkšanā un 5. vietu diska mešanā, bet 1933. gadā – 4. vietu lodes grūšanā, 5. vietu diska mešanā un 5. vietu pieccīņā. Ar panākumiem startēja arī Baltijas līmeņa studentu vieglatlētikas sacensībās, t. sk. organizācijas SELL (Suomi, Eesti, Latvija, Lietuva) rīkotajā studentu vasaras olimpiādē 09.1929. Kauņā J. Dimza uzvarēja sešās disciplīnās – augstlēkšanā, 110 m barjerskrējienā, lodes grūšanā, pieccīņā, šķēpa mešanā un tāllēkšanā.

1929.–1938. gadā J. Dimza daudzkārt startēja Latvijas vieglatlētu izlases sastāvā, pārstāvot Latviju valstsacīkstēs Kauņā, Rīgā, Tallinā, Tartu, Viļņā (tolaik – Polijā) un sacenšoties pret Igaunijas, Lietuvas un Polijas izlasēm. Valstsacīkstēs startēja dažādās disciplīnās – augstlēkšanā, 110 m barjerskrējienā, diska mešanā, kārtslēkšanā, lodes grūšanā, 4x100 m stafetē, šķēpa mešanā, tāllēkšanā, trīssoļlēkšanā. Latvijas–Igaunijas izlašu valstsacīkstēs 07.1931. Tallinā J. Dimza startēja septiņās disciplīnās (izcīnīja 1. vietu augstlēkšanā, 4x100 m stafetes skrējienā, lodes grūšanā un tāllēkšanā). Sešās disciplīnās startēja Igaunijas–Latvijas–Polijas (triju valstu) izlašu valstsacīkstēs 06.1931. Viļņā un Igaunijas–Latvijas izlašu valstsacīkstēs 06.1932. Rīgā. Sešās vieglatlētikas valtsacīkstēs kopvērtējumā izcīnīja uzvaru kopā ar Latvijas izlasi – 06.1929. Rīgā pret Igaunijas un Polijas izlasēm (triju valstu sacīkstēs), 06.1932. Rīgā, 07.1933. Tallinā un 08.1937. Rīgā pret Igaunijas izlasi, 09.1936. Rīgā un 07.1938. Kauņā pret Lietuvas izlasi.

Pēc Berlīnes olimpiskajām spēlēm (1936) sacensībās piedalījās arvien retāk un mazākā disciplīnu skaitā – biežāk diska mešanā un lodes grūšanā. 30. gados kā lektors piedalījies Latvijas Aizsargu organizācijas un citu biedrību rīkotajās fiziskās audzināšanas apmācībās un fiziskās audzināšanas instruktoru kursos; 30. gadu otrajā pusē bija 5. Rīgas aizsargu pulka Ķemeru aizsargu sporta pulciņa vadītājs.

1939. gada pavasarī Latvijas Vieglatlētikas savienība piesaistīja J. Dimzu par diska metēju un lodes grūdēju treneri. Sākoties Padomju Sociālistisko Republiku Savienības (PSRS) īstenotajai Latvijas okupācijai, 07.1940. J. Dimza vēl bija vieglatlētu treneris un arī pats piedalījās “Universitātes sporta” rīkotajās sacensībās lodes grūšanā.

20. gadu otrajā pusē strādājis Rīgas Centrālajā slimo kasē. Pēc dienesta Latvijas armijā no 20. gadu beigām strādāja policijā. Bija Rīgas prefektūras apsardzības rotas vecākā kārtībnieka vietas izpildītājs, no 1930. gada – vecākais kārtībnieks. 1931. gadā iecelts par Rīgas prefektūras 6. iecirkņa uzraugu. 01.1935. pārcelts par Rīgas prefektūras 13. iecirkņa rajona uzraugu Ķemeros; tad arī pārcēlās dzīvot no Rīgas uz Ķemeriem. 1939. gada rudenī pārcelts amatā uz Rīgu – par dzelzceļu policijas Rīgas rajona priekšnieka palīgu robežlietās. Drīz pēc padomju okupācijas 06.1940. iecelts par dzelzceļu policijas Rīgas iecirkņa priekšnieku. Kā policijas darbinieks ir piedalījies policijas darbinieku sacensībās šaušanā.

06.08.1940. PSRS varas iestāžu apcietināts; apsūdzēts par to, ka kopā ar citiem dzelzceļu policijas darbiniekiem piedalījies šaušanā uz "strādnieku demonstrācijas" dalībniekiem, kas 17.06.1940. Rīgas stacijā bija ieradušies apsveikt Sarkano armiju. 06.1941. PSRS varas iestāžu izvests no Rīgas, vēlāk bija apcietinājumā Kazahijas Padomju Sociālistiskās Republikas ziemeļu daļā. 19.12.1941. Ziemeļkazahijas Krimināllietu tiesas kolēģija J. Dimzam piesprieda nāvessodu. 19.03.1942. J. Dimza ieslodzījumā nošauts. Padomju okupācijas laikā informācija par J. Dimzas likteni tika slēpta, tika izplatīta melīga informācija.

Trešo reizi pēc kārtas kļūstot par Latvijas čempionu desmitcīņā, savā īpašumā ieguva Kārļa Ulmaņa dāvāto kausu, kas līdz tam bija ceļojošā balva. Par startu Losandželosas vasaras olimpiskajās spēlēs 1932. gadā apbalvots ar V šķiras Triju Zvaigžņu ordeni. 1933. gadā par sasniegumiem vieglatlētikā apbalvots ar Latvijas Sporta organizāciju apvienības (LSOA) godazīmi “Par nopelniem”. 1939. gadā kā policijas darbinieks apbalvots ar V šķiras Viestura ordeni.

Līdzās sporta sacīkšu godalgām J. Dimza saņēma sporta sabiedrības morālu novērtējumu un bija populārs sportists. Jau 30. gadu sākumā presē dēvēts par Latvijas lepnumu, vēlāk sporta sabiedrībā iedēvēts – “atlētu atlēts”. Godinot izcilo latviešu sportistu, periodiski ir norisinājušās J. Dimzas piemiņas sacensības desmitcīņā – trimdas latviešu konkurencē 50. gados (izcīnīta J. Dimzas ceļojošā piemiņas balva) un Latvijā 90. gados (izcīnīts J. Dimzas piemiņas kauss).