Darbība sportā J. Krūmiņš skolas gados nav iesaistījies sporta nodarbībās un fizisko rūdījumu ieguvis lauku darbos, kā arī strādājot par koku atsveķotāju Cēsu mežniecībā. Novērtējot garā jaunekļa – oficiālajos basketbola spēlētāju reģistros fiksētais augums bijis 218 cm, dažos avotos minēti arī 220 cm un pat 224 cm – potenciālās iespējas, sporta darbinieki mēģinājuši J. Krūmiņu iesaistīt organizētos boksa, cīņas un vieglatlētikas (lodes grūšanas) treniņos, taču pēc dažām nodarbībām viņš treniņus pārtraucis.
Basketbolā J. Krūmiņu iesaistīja Rīgas Apgabala virsnieku nama (AVN) komandas treneris Aleksandrs Gomeļskis (Александр Яковлевич Гомельский). Ir vairākas versijas, kādos apstākļos A. Gomeļskis pirmo reizi ieraudzījis J. Krūmiņu – Cēsu stadiona tribīnēs, uz ielas, Sporta komitejā. 1954. gada maijā J. Krūmiņš pirmo reizi piedalījies organizētā basketbola treniņā, bet trīs mēnešus vēlāk Rīgas AVN sastāvā pirmo reizi piedalījās PSRS čempionātā, kur komanda izcīnīja 4. vietu. Vairākās spēlēs J. Krūmiņš guva vairāk par desmit punktiem, apliecinot iespējas izaugt par augstas klases basketbolistu.
20. gs. 50. gados basketbolā arvien lielāku nozīmi ieguva ļoti gara auguma – virs 200 cm – spēlētāji. Novērtējot basketbola attīstības tendences, A. Gomeļskis veltīja daudz laika un enerģijas, lai individuālajos treniņos attīstītu J. Krūmiņa tehniku un speciālo fizisko sagatavotību, kā arī iesaistītu viņu komandas spēlē. J. Krūmiņš, iepriekš neatradis vietu individuālajos sporta veidos, pret basketbola treniņiem izturējies ļoti nopietni, ar uzviju izpildot trenera uzdevumus. Jau pēc gada centra spēlētājs deva lielu ieguldījumu Rīgas AVN/ASK (Armijas sporta klubs) pirmajā lielajā panākumā – uzvarā PSRS čempionātā – un tika iekļauts PSRS olimpiskās izlases kandidātu sarakstā.
No 1954. līdz 1964. gadam J. Krūmiņš spēlēja Rīgas meistarkomandā ASK, no 1964. līdz 1969. gadam – Rīgas VEF, no 1956. līdz 1967. gadam – LPSR izlasē, no 1956. līdz 1964. gadam – PSRS izlasē. Visās komandās viņš bija viens no līderiem – rezultatīvs punktu guvējs, produktīvs cīnītājs par atlecošajām bumbām un aizsardzības balsts, kā arī efektīvs palīgs partneriem, izbrīvējot iespējas tikt pie brīviem metieniem.
J. Krūmiņš bija viens no galvenajiem līdzautoriem Latvijas vīriešu basketbola komandu starptautiskajos panākumos 20. gs. 50. gadu otrajā un 60. gadu pirmajā pusē. Rīgas ASK komandas sastāvā J. Krūmiņš trīs reizes izcīnīja PSRS čempiona titulu (1955, 1957, 1958), divas reizes izcīnīja sudraba medaļu (1962, 1964), vienu reizi – bronzas medaļu (1961). J. Krūmiņš LPSR izlases sastāvā gados, kad PSRS čempionu titulu izcīnīja PSRS tautu spartakiādes turnīros, vienreiz kļuva par čempionu (1956) un izcīnīja divas bronzas medaļas (1959, 1963).
No 1958. līdz. 1961. gadam J. Krūmiņš Rīgas ASK sastāvā piedalījās Francijas laikraksta L’Equipe Eiropas valstu čempionvienību kausa izcīņā, trīs reizes kļūstot par uzvarētāju (1958–1960).
Rīgas VEF komandas sastāvā J. Krūmiņš izcīnīja PSRS čempionāta bronzas medaļu (1966).
No 1956. līdz 1967. gadam J. Krūmiņš spēlēja LPSR izlasē, aizvadīja tās sastāvā 99 spēles.
PSRS izlases sastāvā J. Krūmiņš piedalījies trijās olimpiskajās spēlēs (1956, 1960, 1964), visās izcīnot sudraba medaļu, kā arī trijos Eiropas čempionātos (1959, 1961, 1963), izcīnot trīs čempiona titulus. 1959. gadā J. Krūmiņš piedalījās pasaules čempionātā, kurā PSRS izlase pieveica visus galvenos konkurentus un bija nodrošinājusi pirmo vietu, taču tika diskvalificēta par politiski motivētu atteikšanos spēlēt ar Taivānas komandu.
J. Krūmiņa ieguldījumu komandu panākumos raksturoja ne tikai statistikas rādītāji. Gan treneri, gan komandas biedri ļoti augstu vērtēja viņa lielās darba spējas, prasmi iekļauties komandas kopējā spēlē, nesavtību un godīgumu gan laukumā, gan ārpus tā.
J. Krūmiņa rezultativitāte augstākā līmeņa starptautiskajos turnīros:
- Olimpiskajās spēlēs: 1956. gadā – 52 punkti piecās spēlēs, vidēji 10,4 punkti; 1960. gadā – 31/6, vidēji 5,2 punkti; 1964. gadā – 75/9, vidēji 8,3 punkti. Kopā 158 punkti 20 spēlēs, vidēji 7,9 punkti. Rekords vienā spēlē – 27 punkti 30.11.1956. spēlē pret Franciju;
- Pasaules čempionātos: 1959. gadā – 75 punkti astoņās spēlēs, vidēji 9,4 punkti. Rekords vienā spēlē – 19 punkti 16.01.1959. spēlē pret Meksiku;
- Eiropas čempionātos: 1959. gadā – 124 punkti deviņās spēlēs, vidēji 13,8 punkti; 1961. gadā – 47/6, vidēji 7,8 punkti; 1963. gadā – 83/7, vidēji 11,8 punkti. Kopā 254 punkti 22 spēlēs, vidēji 11,5 punkti. Rekords vienā spēlē – 32 punkti 31.05.1959. gadā spēlē pret Franciju;
- Eiropas valstu čempionvienību kausa izcīņā: 23 spēles, 448 punkti (vidēji spēlē 19,5 punkti). Četru turnīru astoņās finālspēlēs izcīnītas septiņas uzvaras, vidēji spēlē gūstot 20,8 punktus. Rekords vienā spēlē – 32 punkti 06.07.1958. spēlē pret Bulgārijas komandu Sofijas Academic.
Nav pieejami statistikas dati par visām spēlēm PSRS čempionātā. Zināmās rezultatīvākās spēles: 1957. gadā – 31 punkts spēlē pret Maskavas Dinamo, 1958. gadā – 38 punkti spēlē pret Ļeņingradas (tagad Sanktpēterburga) Burevestņik.
Nav pieejami statistikas dati par visām J. Krūmiņa spēlēm PSRS tautu spartakiādes turnīros LPSR izlases sastāvā. 1956. gadā visvairāk punktus guva spēlēs pret Gruzijas (29) un Lietuvas (26) izlasēm, 1959. gadā – pret Azerbaidžānu (25) un Maskavu (23).
Pēc basketbolista karjeras beigām J. Krūmiņš kļuva par metālmākslinieku un strādāja Ādažu kolhoza dekoratīvās noformēšanas brigādē. Apguva arī galdnieka amatu, izgatavojot kvalitatīvas mēbeles ģimenei un draugiem. Izgatavojis balvas Baltijas valstu basketbola veterānu turnīram. 1988. gadā parakstīja Aicinājumu atjaunot Latvijas Olimpisko komiteju.