Profesionālā un politiskā darbība 1906. gadā J. Kalnbērziņš sāka strādāt alus tirgotavā Rīgā. No 1909. gada strādāja kopā ar tēvu par enkurnieku Rīgas ostā. 1912. gadā tēvs nopirka liellaivu un kopā ar dēliem lauza akmeņus Daugavas gultnē un veda uz Rīgas jaunceltnēm. Smagais darbs ietekmēja veselību un Pirmā pasaules kara laikā iesaukšanas komisija J. Kanbērziņu vairākkārt izbrāķēja. Abi ar tēvu tika mobilizēti tiltu būvē, šo darbu turpināja arī vācu okupācijas laikā.
Pēc Februāra revolūcijas 17.04.1917. iestājās Latvijas Sociāldemokrātijā (LSD; no 03.1919. – LKP), kurā dominēja lielinieki. Padomju Latvijas laikā no 01.1919. Politiskās nodaļas (Iekšlietu komisariātam pakļauta Viskrievijas Ārkārtējai komisijai jeb čekai analoga struktūra) politiskais emisārs (operatīvais darbinieks). Pēc padomju varas izdzīšanas no Rīgas iestājās Sarkanajā armijā.
Beidza sarkano komandieru kursus un dienēja par vada komandieri Dienvidu frontē, kur piedalījies cīņās pret Antona Deņikina (Антон Иванович Деникин) karaspēku, Nestora Mahno (krievu Нeстор Ивaнович Махнo, ukraiņu Нeстор Івaнович Махнo) vienībām un Polijas armiju.
1922. gadā demobilizējās un tika nosūtīts mācīties uz Petrogradu. Vienlaikus strādāja ostā par krāvēju. Pēc pārcelšanas uz Maskavu paralēli mācībām MRTKU strādāja par propagandistu Krievijas komunistiskās (boļševiku) partijas (KK(b)P) Maskavas pilsētas Baumaņa rajona organizācijā.
1925.–28. gadā darbojās komunistiskajā pagrīdē Latvijā kā LKP Centrālkomitejas (CK) loceklis un instruktors (partijas pseidonīmi Zaķis un Vecais). Pirms došanās pagrīdes darbā, parūpējās, lai viņa ģimene (tēvs un trīs māsas) pārceltos no Latvijas uz Padomju Savienību.
Pēc atgriešanās Maskavā turpināja mācības MRTKU, bet 1929.–1930. gadā strādāja pilsētas partijas komitejas Nacionālo mazākumtautību nodaļā par instruktoru. Pēc tam līdz 1931. gadam vadīja Maskavas padomes izstādi Kultūras un atpūtas parkā. Kominternes Latviešu sekcijas referents (1933–1935). Vienlaikus no 1931. gada bija arī partijas celtniecības un partijas vēstures pasniedzējs vairākās augstskolās. Starptautiskās Ļeņina skolas (apmācīja dažādu valstu komunistiskos pagrīdniekus) latviešu sektora vadītājs un pasniedzējs (1933–1935).
1936. gadā J. Kalnbērziņu atkal nosūtīja nelegālā darbā uz Latviju, lai veiktu “tīrīšanu” LKP Rīgas organizācijas vadībā, kas bija nostājusies opozīcijā LKP CK. Savstarpējas intrigas un apsūdzības noveda pie tā, ka 1936. gadā Kominternes Izpildkomitejas sekretariāts nolēma likvidēt LKP CK un Ārzemju biroju kā piesārņotu ar provokatoriem un trockistiem. Tam sekoja daudzu vadošo darbinieku aresti. Represijas pret LKP darbiniekiem Maskavā vēl vairāk pastiprinājās 1937.–1938. gadā. Pārstāja darboties arī LKP Pagaidu sekretariāts, jo arestēja četrus no pieciem tā locekļiem. Uz Maskavu atsauca, arestēja un nošāva arī daudzus nelegālistus. Acīmredzot šāds liktenis gaidīja arī J. Kalnbērziņu, bet viņš izvairījās atgriezties PSRS. Vēlāk J. Kalnbērziņš paskaidroja, ka notecējušā viltotās pases termiņa dēļ nevarējis pieprasīt vīzu, bet nelegāli šķērsot robežu nav varējis, jo 1936. gadā PSRS pusē bija likvidēti atbalsta punkti uz robežas.
Maskavā arestēja (04.12.1937.) un Butovas poligonā nošāva (03.02.1938.) J. Kalnbērziņa sievu Karlīni Saulīti (PSRS dzīvoja ar Ilgas Ziemeles vārdu), represēja viņa tēvu. Trīs mazgadīgos bērnus ievietoja bērnu namā. J. Kalnbērziņš pēc Latvijas okupācijas centās sameklēt bērnus, bet tas izdevās tikai laimīgas nejaušības dēļ.
Organizatoriskā krīze, Maskavas politiskā un finansiālā atbalsta trūkums, represijas būtiski ietekmēja LKP darbību Latvijā, tās biedru skaits saruka, darbība sašaurinājās, partija bija uz sabrukuma robežas. Lai gan padomju literatūrā tika apgalvots, ka 02.1939. notikusi nelegāla LKP XXVI konference, kurā izveidots sekretariāts, par kura vadītāju ievēlēts J. Kalnbērziņš, drošu pierādījumu tam nav, tomēr acīmredzot viņš tika uzskatīts par nelegālās LKP faktisko vadītāju. 06.07.1939. J. Kalnbērziņu arestēja un ievietoja Rīgas Centrālcietumā. No cietuma viņu atbrīvoja 21.06.1940. pēc Augusta Kirhenšteina valdības izsludinātās amnestijas.
LKP CK sekretāri Rīgas stacijā pirms došanās uz Maskavu ar lūgumu uzņemt Latviju PSRS sastāvā, 30.07.1940. Otrais no kreisās: Žanis Spure un Jānis Kalnbērziņš. Pirmais no labās: Saeimas delegācijas vadītājs Pēteris Plēsums.
Fotogrāfs Jānis Lerhs. Avots: Latvijas Nacionālā arhīva Latvijas Valsts kinofotofonodokumentu arhīvs.
Pēc Latvijas okupācijas J. Kalnbērziņa pagrīdes cīnītāja tēls, organizatoriskās spējas kopā ar ideoloģisko izglītību un padomju sistēmas reāliju pārzināšanu izrādījās noderīgs Maskavai, un pēc izlaišanas no cietuma viņš uzreiz sāka pildīt LKP pirmā sekretāra funkcijas (oficiāli šajā amatā 12.1940.–25.11.1959.; pēctecis Arvīds Pelše). Vienlaicīgi bija arī LKP Rīgas pilsētas komitejas pirmais sekretārs (03.1941.–1951). Kara laikā Ziemeļrietumu frontes Kara padomes loceklis.
Atbrīvots no pirmā sekretāra amata formāli pēc paša lūguma sakarā ar pāriešanu citā darbā, bet faktiski saistībā ar 07.–08.07.1959. gada LKP CK plēnumā izteikto Eduarda Berklava un citu t. s. nacionālkomunistu kritiku. J. Kalnbērziņam tika pārmesta nepietiekama principiāla un asa reakcija uz lokālisma un “buržuāziskā nacionālisma” izpausmēm. Tomēr viņa agrākie nopelni tika atalgoti ar augstu posteni: LPSR Augstākās Padomes Prezidija (APP) priekšsēdētājs (11.1959.–05.1970.; priekštecis Kārlis Ozoliņš, pēctecis Vitālijs Rubenis) un vienlaikus PSRS APP priekšsēdētāja vietnieks.
J. Kalnbērziņš bija PSKP CK loceklis (1952–1971), PSKP CK Prezidija (Politbiroja) locekļa kandidāts (06.1957.–10.1961.), LKP CK biroja loceklis (1940–1962 un 1966 –1976) un LKP CK Prezidija loceklis (1962–1966).
Lai gan J. Kalnbērziņš bija PSRS pilsonis, Viļa Lāča vadītā Iekšlietu ministrija nelikumīgi atzina J. Kalnbērziņa tiesības uz Latvijas pilsonību, lai viņš varētu kandidēt t. s. Tautas Saeimas vēlēšanās 1940. gada jūlijā. LPSR Augstākās Padomes (AP) 1.–7. sasaukuma deputāts, PSRS AP 1.–7. sasaukuma deputāts. No 05.1970. Vissavienības nozīmes personālais pensionārs, vienlaicīgi LPSR AP Prezidija loceklis.
