08.05.1932. arhibīskaps Antonijs Springovičs ordinēja K. Duļbinski par priesteri. Pirmā jaunā priestera kalpošanas vieta bija Rēzeknes Jēzus Sirds baznīca. 1933. gadā viņu pārcēla uz Aizpūri, bet 1935. gadā atkal nosūtīja uz Rēzekni, kur viņš pildīja skolu kapelāna un vikāra pienākumus. No 1936. līdz 1938. gadam K. Duļbinskis bija prāvests Daugavpils Vissvētākās Jaunavas Marijas draudzē. Viņš pirmais šajā draudzē ieviesa dievkalpojumus latviešu valodā. Līdztekus tam K. Duļbinskis strādāja par ticības mācības skolotāju Daugavpils Valsts arodskolā un dzelzceļu tehniskajā vidusskolā. Viņš bija arī Latgales latviešu Romas katoļu kultūras veicināšanas biedrības “Saule” Sieviešu arodskolas direktora vietas izpildītājs. 1938. gadā K. Duļbinskis kļuva par Aglonas ģimnāzijas inspektoru un bija šajā amatā līdz 1940. gada septembrim, kad padomju okupācijas vara ģimnāziju slēdza.
No 1935. gada K. Duļbinskis bija Latvijas katoļu jaunatnes biedrības Centrālās valdes loceklis un priekšsēdētājs, organizācijas žurnāla “Sauleite” redaktors. Arī pats šajā un citos katoļu izdevumos rakstīja par reliģiskiem, audzināšanas un jaunatnes sabiedriskās dzīves jautājumiem. 1935. gadā viņš vadīja tipogrāfiju “Dorbs un Zineiba” Rēzeknē.
Pēc Aglonas ģimnāzijas slēgšanas K. Duļbinski pārcēla uz Ciskādu draudzi. No 1942. līdz 1945. gadam viņš kalpoja Daugavpils Vissvētākās Jaunavas Marijas draudzē. 1946. gada sākumā viņu iecēla par Rīgas Garīgā semināra inspektoru. 19.07.1946. K. Duļbinski nominēja par bīskapu.
25.07.1947. arhibīskaps A. Springovičs Rīgas Svētā Jēkaba katedrālē K. Duļbinski konsekrēja par bīskapu. Kā Rīgas arhidiecēzes palīgbīskaps K. Duļbinskis sāka pildīt arī ģenerālvikāra pienākumus.
Lai nepieļautu draudžu likvidāciju un baznīcu slēgšanu, K. Duļbinskis pusotra gada laikā apmeklēja trīsdesmit sešas draudzes.
K. Duļbinska popularitāte ticīgo vidū bija viens no iemesliem viņa apcietināšanai 12.05.1949. Viņu apsūdzēja aktīvā darbībā pretpadomju organizācijās (Latvijas Skautu centrālajā organizācijā, Latvijas katoļu jaunatnes biedrībā laikā līdz 1940. gadam, organizācijā “Tautas palīdzība” – nacistiskās Vācijas okupācijas laikā) un pretpadomju darbībā pēc padomju varas atjaunošanas. 26.11.1949. Sevišķā apspriedē pie Padomju Sociālistisko Republiku Savienības (PSRS) Valsts drošības ministrijas K. Duļbinskim piesprieda 10 gadus labošanas darbu nometnē saskaņā ar Krievijas Padomju Federatīvās Sociālistiskās Republikas (KPFSR) Kriminālkodeksa 583. un 5810. pantu. 1951.–1952. gadā K. Duļbinskis izcieta sodu īpaša režīma nometnē Mineraļnij (Minlags) Intā, Komi autonomajā republikā. 1953. gadā viņu pārsūtīja uz Sosnovskas nometni Mordovijas autonomajā republikā. Kamēr K. Duļbinskis izcieta sodu, Latvijas un arī trimdas katoļu sabiedrībā aizvien vairāk nostiprinājās pārliecība, ka bīskaps K. Duļbinskis ir miris. Piemēram, 1953. gadā par to, ka K. Duļbinskis “turpat dzimtenē, tuvāk nezināmos apstākļos miris”, ziņoja Andrieva Jūrdža fonda izdevums “Dzeive”.
1954. gadā saistībā ar vispārējo amnestiju K. Duļbinski atbrīvoja. 1955. gadā viņš atgriezās Latvijā un atsāka pildīt bīskapa pienākumus. 1956. gadā K. Duļbinski arestēja atkal, pamatojot arestu ar to, ka viņš esot amnestēts nelikumīgi. 1958. gadā soda termiņš beidzās, taču Latvijā viņam atgriezties aizliedza. Pirmā K. Duļbinska nometinājuma vieta bija Druja Baltkrievijā, tad Verhņedvinska un Pitalova Krievijā. Ir ziņas, ka viņš strādājis par laukkopi un būvamatnieku padomju saimniecībās, taras gatavošanas darbnīcā, par malkas skaldītāju maizes ceptuvē. K. Duļbinska situācija bija tik dramatiska, ka 1962. gadā trimdas presē atkal sāka izplatīties ziņas par viņa nāvi. Piemēram, Vācijā iznākošais laikraksts “Latgolas Bolss” publicēja ziņu, ka “bīskapu Duļbinski no Baltkrievijas komunisti deportējuši uz Sibīriju, bet bīskaps to neesot pārcietis un ceļā esot miris”.
1964. gadā padomju varas iestādes atļāva K. Duļbinskim atgriezties Latvijā. Viņš dzīvoja tēva mājās Viļakā un strādāja vietējā kolhozā. 1965. gadā viņam atļāva palīdzēt Baltinavas draudzes priesterim. No 1969. gada kā pensionārs un rezidents K. Duļbinskis dzīvojis Rugājos, no 1970. līdz 1986. gadam – Viļakā, no 1986. līdz 1990. gadam – Viļānos, no 1990. gada – atkal Viļakā. 20. gs. 70. gados Rīgas arhidiecēzes apustuliskais administrators Julijans Vaivods panāca to, ka K. Duļbinskim atdeva priestera tiesības un izņēmuma gadījumos ļāva pildīt arī bīskapa pienākumus. Piemēram, 01.11.1977. K. Duļbinskis piedalījies prelāta Jāņa Ušerovska bēru dievkalpojumā. 12.12.1982. K. Duļbinskis kā bīskaps piedalījās bīskapa Jāņa Cakula ordinācijā, bet 08.12.1987. – bīskapa Vilhelma Ņukša ordinācijā. 1985. gadā viņam kopā ar bīskapiem J. Cakulu un Valerijanu Zondaku bija atļauts piedalīties bīskapu vizitācijā Preiļos. Vatikānā K. Duļbinskis skaitījās sede impedita – aizkavēts ieņemt bīskapa sēdekli.
K. Duļbinski reabilitēja 20.12.1988., taču bīskapa pienākumus viņš vairs nepildīja.
