Dzimis lauksaimnieka ģimenē. Beidzis Rūjienas pagastskolu un Rūjienas draudzes skolu.

1921. gadā salaulājās ar Henrietu Upēru (1902–1985). Viņu meita Marija Anna Zariņa (1927–2004) bija klaviermūzikas skolotāja, 1990.–1992. gadā – Latvijas sūtniecības Londonā vadītāja (pilnvarotā lietvede).

Pēc vidējās izglītības iegūšanas K. Zariņš bija Rūjienas pagasta skrīvera palīgs, viesnīcas pārzinis, tiesneša tulks, darbojās dažādās Rūjienas biedrībās. 1899. gadā devās uz Pēterburgu, apmeklēja dažādus pašizglītības kursus: Pēterburgas Tautas augstskolu, Augstākos komerckursus (1899–1905). 1900.–1917. gadā strādāja biržas notāra Geca kantorī Pēterburgā. No 1900. gada piedalījās dažādās Pēterburgas latviešu un igauņu biedrībās, vairāku Pēterburgas latviešu izdevumu izdošanā, izdevniecības “Imanta” līdzdibinātājs. Pēterburgas banku kredītsabiedrības bankas diskonta komitejas loceklis.

Pirmā pasaules kara gados K. Zariņš bija Viskrievijas Pilsētu savienības loceklis, Centrālās bēgļu apgādes valdes loceklis, sevišķās padomes loceklis pie Krievijas Iekšlietu ministrijas, Tatjanas komitejas loceklis u. c. bēgļu lietu kārtošanas iestāžu darbinieks.

Piedalījās I Latviešu bēgļu kongresā Petrogradā (1915), tajā ievēlēts Bēgļu apgādāšanas centrālkomitejā (CK) un tās prezidijā, pēc kongresa ievēlēts CK valdē, no 1917. gada tās kasieris, bija viens no CK ievērojamākajiem darbiniekiem (līdz CK likvidācijai 01.1918.), piedalījās II Latviešu bēgļu kongresā Tērbatā (tagad Tartu) 1917. gada pavasarī. CK pārstāvis Viskrievijas bēgļu aprūpes organizācijās.

Pēc 1917. gada Februāra revolūcijas Petrogradā K. Zariņš piedalījās Latvijas radikāldemokrātiskās partijas dibināšanā, Latviešu pagaidu nacionālās padomes (LPNP) izveidošanā un darbā, bija LPNP ārlietu nodaļas loceklis. Latviešu pilnvarotais pārstāvis oficiālo apliecību izsniegšanai latviešu bēgļiem – repatriantiem (03.–08.1918.). 09.1918. nelegāli atgriezās Latvijā, Rīgas pilsētas valdes sekretārs.

Piedalījās Latvijas Republikas proklamēšanas sēdē. Latvijas Tautas padomes loceklis no Radikāldemokrātu partijas. Latvijas ārlietu dienestā – sūtniecībā Londonā (no 01.1919.), 1919. gada sākumā komandēts par Latvijas delegācijas atašeju pie Parīzes miera konferences.

04.1919. K. Zariņu iecēla par Latvijas rezidējošo ministru Somijā, bet vispirms (04.–09.1919.) viņš bija pagaidu pilnvarotais lietvedis Zviedrijā. Rezidējošais ministrs Somijā (no 10.1919.), Latvijas sūtnis Somijā (02.1921.–08.1925.), no 04.1923. – arī sūtnis Zviedrijā, Norvēģijā un Dānijā (ar rezidenci Helsinkos, no 09.1925. – Stokholmā; līdz 03.1930.). Latvijas sūtnis Igaunijā (03.1930.–07.1933.), vienlaikus Latvijas ārlietu ministrs. Latvijas sūtnis Lielbritānijā un ģenerālkonsuls Britu Impērijā (Apvienotajā Karalistē, Ņūfaundlendā un Ziemeļīrijā, britu kolonijās un atkarīgajās teritorijās jeb mandātteritorijās, no 07.1933.), Īrijā (no 07.1934.), Austrālijā un Jaunzēlandē (no 08.1934.), Dienvidāfrikas Savienībā (no 10.1934.) un Kanādā (no 11.1934.).

Piedalījies vairākās starptautiskās konferencēs, bijis Latvijas delegācijas vadītājs Ženēvas konferencē par bruņojuma ierobežošanu un samazināšanu (02.1932.). Rīgas Latviešu biedrības, Tautu Savienības veicināšanas biedrības, Amerikas Draugu biedrības un Latviešu un somu biedrības biedrs. Zviedru–latviešu sadarbības biedrības goda loceklis. 1934. gadā piedalījās Angļu un baltiešu biedrības dibināšanā.

17.05.1940. Latvijas valdība piešķīra K. Zariņam ārkārtējas pilnvaras vadīt Latvijas diplomātisko un konsulāro pārstāvniecību darbību, kā arī pārstāvēt valsts intereses gadījumā, ja valdībai vairs nebūtu iespējams kara apstākļu dēļ sazināties ar Latvijas diplomātiskajiem un konsulārajiem pārstāvjiem Rietumeiropā un Amerikā.

K. Zariņš 06.–07.1940. notikumus novērtēja kā Latvijas okupāciju (neatzina Augusta Kirhenšteina valdības nākšanu pie varas ar sveša karaspēka palīdzību, Latvijas suverenitātes laušanu un pretēji Satversmei pieņemto lēmumu par pievienošanos Padomju Sociālistisko Republiku Savienībai (PSRS)). 23.07.1940. iesniedza notu Lielbritānijas ārlietu ministram, lūdzot Lielbritānijas valdību uzskatīt pārmaiņas Latvijā par notikušām zem spaidiem un neatzīt Latvijas inkorporāciju PSRS; nepakļāvās “tautas” valdībai un 25.07. paziņoja Ārlietu ministrijai par atteikšanos atgriezties dzimtenē.

Latvijas diplomāti Rietumvalstīs tūlīt pēc 21.07.1940. vienojās sākt darboties saskaņā ar K. Zariņa ārkārtējām pilnvarām. K. Zariņš turpināja pārstāvēt Latvijas Republiku (LR) kā de iure pastāvošu valsti un tās pēdējo pirmsokupācijas laika neatkarīgo valdību – kā sūtnis un ģenerālkonsuls, pildīja LR valdības ārkārtējo pilnvaru nesēja un ārlietu (diplomātiskā un konsulārā) dienesta vadītāja pienākumus līdz mūža galam.

K. Zariņš 1940.–1963. gadā daudzkārt iesniedza oficiālas notas Lielbritānijas Ārlietu ministrijai par PSRS, nacistiskās Vācijas okupāciju un padomju otrreizējo okupāciju Latvijā, tās vienlīdz raksturojot kā noziedzīgas un nelikumīgas rīcības pret Latvijas valsti, starptautisko tiesību pārkāpumus.

Uz ārkārtējo pilnvaru pamata K. Zariņš iecēla pilnvarotos lietvežus – Latvijas sūtniecības vadītājus ASV, karjeras konsulus, diplomātus vairākās valstīs un starptautiskajās organizācijās Ženēvā, ārlietu dienesta vadītāja pārstāvjus vairākās valstīs, diplomātisko pārstāvi Spānijā, vairāk nekā 20 Latvijas goda konsulu vietas izpildītājus Lielbritānijā un Britu Sadraudzības valstīs. Sasaucis sūtņu apspriedes 05.1946. Ženēvā, 08.1947. Londonā un 05.1953. Parīzē. Vairākas reizes bija oficiālās pieņemšanās pie augstām Rietumvalstu amatpersonām, piemēram, 09.1950. vizīte Itālijā un Vatikānā, tikšanās ar pāvestu Piju XII (latīņu Pius XII), 09.1953. vizīte Amerikas Savienotajās Valstīs (ASV) un tikšanās ar ASV valsts sekretāru Džonu Fosteru Dallesu (John Foster Dulles) un viceprezidentu Ričardu Niksonu (Richard Milhous Nixon).

Diplomātisko iespēju robežās K. Zariņš sadarbojās ar latviešu bēgļu un vēlāk trimdas organizācijām. Otrā pasaules kara gados un pēc tā sniedza dažāda veida ievērojamu palīdzību Latvijas pilsoņiem (bēgļiem), ierosināja vairāku latviešu trimdas organizāciju dibināšanu. Latvju biedrības Lielbritānijā līdzdibinātājs (11.1941.) un goda priekšsēdētājs. Daugavas Vanagu Fonda līdzdibinātājs (12.1947.) un goda priekšsēdētājs. Anglijā nodibinātās Latviešu Baznīcas pārvaldes priekšnieka vietnieks (1948–1950). Pirmo Latviešu dziesmu dienu (Anglijā, 1949. gadā) organizācijas un rīcības komitejas goda priekšsēdētājs. Latviešu Nacionālās padomes Lielbritānijā (LNPL) līdzdibinātājs (1949. gada beigās), atklāja pirmo LNPL sesiju (11.1950.). Piedalījās Latvijas atjaunošanas komitejas Eiropas centra (LAKEC) dibināšanā (07.1951.). Dibinājis latviešu studentu stipendiju fondu. Vairākkārt apmeklējis latviešus Rietumu valstīs. Vairāku Londonas biedrību biedrs. Britu un ārzemju Bībeles biedrības (British and Foreign Bible Society) biedrs, veicināja Vecās un Jaunās Derības un dziesmu grāmatas modernu tulkojumu izdošanu latviešu valodā.

K. Zariņš bija viens no ievērojamākajiem Latvijas diplomātiem. Devis ievērojamu ieguldījumu Latvijas Valsts prezidenta Jāņa Čakstes vizītes Somijā sarīkošanā (15.–16.05.1926.) un Somijas Valsts prezidenta Lauri Relandera (Lauri Kristian Relander) vizītes Latvijā (21.–24.06.1926.) norisē. Kamēr dzimtenē turpinājās padomju okupācija, K. Zariņš kā Latvijas valdības 1940. gada 17. maija ārkārtējo pilnvaru nesējs 23 gadus (1940–1963) vadīja LR ārlietu dienestu (diplomātisko un konsulāro dienestu) Rietumvalstīs. K. Zariņš no 1940. gada vasaras turpināja aizstāvēt Latvijas valsts un pilsoņu intereses (vadot ārlietu dienesta politisko, informācijas un konsulāro darbību), izstrādāja un pauda LR oficiālo viedokli saskaņā ar Latvijas valsts nepārtrauktības doktrīnu. Veicināja to, ka vairāk nekā 50 valstis turpināja atzīt Latvijas valsts de iure statusu un no starptautisko tiesību viedokļa neatzina Baltijas valstu okupāciju par likumīgu. K. Zariņš kā ārlietu dienesta vadītājs un ārkārtējo pilnvaru nesējs okupācijas gados nodrošināja ne tikai ārlietu dienesta darbības nepārtrauktību, bet arī darbojās kā Latvijas valsts augstākā amatpersona. Izmantojot diplomātiskos kanālus, oficiāli reaģēja uz katru starptautisku notikumu, kas skāra Latvijas likteni un intereses, informēja Rietumvalstis par nacistiskās Vācijas un PSRS noziegumiem pret Latvijas valsti un tautu.

Apbalvots ar Latvijas Atzinības krustu, I šķira, Triju Zvaigžņu ordeni, II un III šķira, Somijas Baltās Rozes ordeni (Suomen Valkoisen Ruusun ritarikunta), I šķira, Zviedrijas Ziemeļzvaigznes ordeni (Nordstjärneorden), I šķira (ar ķēdi), Dānijas Danebroga ordeni (Dannebrogordenen), I šķira, Norvēģijas Svētā Olava ordeni (Den Kongelige Norske St. Olavs Orden), I šķira, Igaunijas Ērgļa ordeni (Kotkarist), I šķira, Ķīnas Republikas Mirdzošā nefrīta ordeni (采玉大勳章), I šķira, Lielbritānijas Karaļa Džordža 25 gadu valdīšanas jubilejas medaļu (25 year Jubilee Medal of King George V) un Lielbritānijas Karaļa Džordža VI kronēšanas medaļu (Medal of Coronatio of King George V).