Dzimis tautskolotāja ģimenē. Kopš agras bērnības atradies muzikālā vidē, jo tēvs spēlējis vijoli un vadījis vietējo kori, māte Emīlija spēlējusi klavieres. 1896. gadā Krūmiņa ģimene pārcēlās uz dzīvi Krievijā (dzīvojis Rostovā pie Donas, no 1907. gada – Harkovā, tagad Harkiva Ukrainā).

No sešu gadu vecuma tēva vadībā sācis apgūt vijoles spēli. Mācījies mūzikas skolās Rostovā pie Donas (1902–1907) un Harkovā (1907–1910). Studējis Berlīnes Akadēmiskajā mūzikas augstskolā (Akademische Hochschule für Musik; 1910–1913), kur apguva vijoles un klavieru spēli, kompozīcijas teoriju un diriģēšanas mākslu. Pievērsās arī vokālajām nodarbībām. 

Jau studiju laikā darbojies profesionālā stīgu kvartetā, koncertējis Vācijā, Austrijā, Dānijā. Vasaras pavadīja Latvijā, kā solists vijolnieks piedalījās Rīgas Latviešu biedrības rīkotajos koncertos. Pirmā pasaules kara laikā nonāca Jekaterinoslavā (tagad Dnipro, Ukraina), bija solists orķestrī, kora vadītājs un pedagogs (1914–1920).

1920. gadā atgriezās Latvijā, strādāja par privātskolotāju Rīgā un sniedza koncertus. 1923. gadā pārcēlās uz Daugavpili, atsakoties no vilinoša piedāvājuma kļūt par Karaliskās mūzikas skolas Stokholmā (Kungliga Musikhögskolan i Stockholm) mācībspēku. Bijis Latgales Tautas konservatorijas vijoles klases vadītājs, konservatorijas direktora vietnieks (1923–1929), direktors (1929–1932). 1925. gadā organizēja pirmo Latgales simfonisko orķestri, ar pārtraukumu vadīja to līdz 1960. gadam. Bijis Rēzeknes Tautas konservatorijas direktors (1935–1936) un paša organizētās Krāslavas privātās mūzikas studijas mācībspēks (1938–1939), paliekot pamatdarbā Daugavpilī. P. Krūmiņa dzīvoklis Rīgas ielā 30 kļuva par iecienītu mūziķu pulcēšanās un mājas muzicēšanas vietu.

Pēc kara vadīja Daugavpils Mūzikas vidusskolu (1944–1947), pēc tam stīgu instrumentu nodaļu (1948–1956). Pārvarot pēckara grūtības, nodrošinājis apstākļus muzikālās izglītības darbam, audzinājis daudzus talantīgus mūziķus. 1947. gadā atjaunojis Daugavpils simfoniskā orķestra darbību. Daudz koncertējis. Kopumā kā vijolnieks sniedzis ap 800 solokoncertu. Ar Daugavpils simfonisko orķestri 1958. gadā piedalījies Latgales kultūras nedēļas pasākumos, sniedzot solokoncertu.

1962. gadā ar 70 gadu jubilejas koncertu izbeidza aktīvās muzicēšanas darbu. Pēdējos dzīves gados dzīvoja Rīgā. 

Starp P. Krūmiņa audzēkņiem bija arī divas māsas. Viena no tām bija apdāvināta ebreju vijolniece Cecīlija Gradisa (dzimusi 1918. gadā Viļņā). 1930. gadu otrajā pusē viņa studēja Latvijas Konservatorijā Rīgā. P. Krūmiņš kopā ar C. Gradisu, spēlējot duetā, piedalījās koncertos Latgalē (arī Daugavpilī). Otra P. Krūmiņa audzēkne bija C. Gradisas māsa Nadežda (dzimusi 1912. gadā Daugavpilī). Nacistiskās Vācijas okupācijas laikā, holokausta apstākļos 1941. gadā, kad sākās ebreju vajāšanas, Cecīlijai un Nadeždai izdevās izvairīties no aizturēšanas, pateicoties teicamajai latviešu valodas prasmei. P. Krūmiņš uzņēma meitenes savā dzīvoklī, sagādāja viņām viltotus dokumentus uz Lidijas Krūmiņas (Cecīlija) un Irēnas Liepiņas (Nadežda) vārda. 1941. gada rudenī P. Krūmiņam tiesa piesprieda astoņus mēnešus cietumsoda par nepatiesas liecības sniegšanu policijas pasu galdam. P. Krūmiņš to izcieta; pirms tam viņš ar dzelzceļnieka Leona Pavloviča palīdzību paspēja bēgles paslēpt. Ar jaunajiem dokumentiem māsas nokļuva Austrijā, kur sagaidīja kara beigas. Pēc tam C. Gradisa turpināja muzikālo izglītību un strādāja Dienvidāfrikā simfoniskajā orķestrī. 

P. Krūmiņš Latgales mūzikas dzīvē bija nozīmīga persona – gan kā mūziķis, gan kā mūzikas pedagogs un administrators. Padomju okupācijas laikā, 1958. gadā, piešķirts Latvijas PSR Nopelniem bagātā mākslas darbinieka nosaukums. Ļoti nozīmīga bija viņa darbība vācu okupācijas laikā, no nāves izglābjot divas audzēknes ebrejietes. 1999. gadā P. Krūmiņam pēc nāves piešķīra Izraēlas apbalvojumu un goda nosaukumu “Taisnprātīgais starp tautām” par izcilu vīrišķību un humānu rīcību Otrā pasaules kara laikā. Viņa vārds iemūžināts uz piemiņas plāksnes Jeruzālemē. 1990. gada pavasarī no biedrības “Latvija–Izraēla” uz Jeruzālemi devās delegācija, kurā darbojās P. Krūmiņa dēls, Jāzepa Vītola Latvijas Mūzikas akadēmijas docents Andrejs Krūmiņš, kurš saņēma tēvam piešķirto apbalvojumu un iestādīja piemiņai veltītu koku varoņu alejā. Ceremonijā piedalījās arī no Dienvidāfrikas atbraukusī Cecīlija Boruhoviča (Gradisa) un citi P. Krūmiņa audzēkņi.