Jau studiju laikā darbojies profesionālā stīgu kvartetā, koncertējis Vācijā, Austrijā, Dānijā. Vasaras pavadīja Latvijā, kā solists vijolnieks piedalījās Rīgas Latviešu biedrības rīkotajos koncertos. Pirmā pasaules kara laikā nonāca Jekaterinoslavā (tagad Dnipro, Ukraina), bija solists orķestrī, kora vadītājs un pedagogs (1914–1920).
1920. gadā atgriezās Latvijā, strādāja par privātskolotāju Rīgā un sniedza koncertus. 1923. gadā pārcēlās uz Daugavpili, atsakoties no vilinoša piedāvājuma kļūt par Karaliskās mūzikas skolas Stokholmā (Kungliga Musikhögskolan i Stockholm) mācībspēku. Bijis Latgales Tautas konservatorijas vijoles klases vadītājs, konservatorijas direktora vietnieks (1923–1929), direktors (1929–1932). 1925. gadā organizēja pirmo Latgales simfonisko orķestri, ar pārtraukumu vadīja to līdz 1960. gadam. Bijis Rēzeknes Tautas konservatorijas direktors (1935–1936) un paša organizētās Krāslavas privātās mūzikas studijas mācībspēks (1938–1939), paliekot pamatdarbā Daugavpilī. P. Krūmiņa dzīvoklis Rīgas ielā 30 kļuva par iecienītu mūziķu pulcēšanās un mājas muzicēšanas vietu.
Pēc kara vadīja Daugavpils Mūzikas vidusskolu (1944–1947), pēc tam stīgu instrumentu nodaļu (1948–1956). Pārvarot pēckara grūtības, nodrošinājis apstākļus muzikālās izglītības darbam, audzinājis daudzus talantīgus mūziķus. 1947. gadā atjaunojis Daugavpils simfoniskā orķestra darbību. Daudz koncertējis. Kopumā kā vijolnieks sniedzis ap 800 solokoncertu. Ar Daugavpils simfonisko orķestri 1958. gadā piedalījies Latgales kultūras nedēļas pasākumos, sniedzot solokoncertu.
1962. gadā ar 70 gadu jubilejas koncertu izbeidza aktīvās muzicēšanas darbu. Pēdējos dzīves gados dzīvoja Rīgā.
