Dzimis Raunas pagastā kā viens no četriem bērniem lauku saimnieka ģimenē. Jau bērnībā izrādīja interesi par valodām un tautas ticējumiem, pierakstīja apvidvārdus, dziesmas un pasakas, kā arī aizrāvās ar lasīšanu par Ķīnu, Ēģipti un citām tālajām zemēm. Formālu izglītību sāka iegūt Raunā, vispirms mācījās vienu semestri pagasta skolā, tad divus gadus draudzes skolā, tad Cēsu apriņķa skolā. Vēlāk iestājās Rīgas guberņas ģimnāzijā, bet atstāja mācību iestādi un turpināja studijas eksternātā, noliekot gala eksāmenus 1890. gada pavasarī.
Augstākās studijas uzsāka Maskavas Universitātē (Московский университет) 1890. gadā, studējot klasisko filoloģiju, bet vairāku iemeslu dēļ ātri zaudēja motivāciju. Atgūstot interesi par Āzijas reģionu, 1891. gadā pārcēlās uz Pēterburgu, kur sāka studēt Austrumu valodas – ķīniešu, mandžūru, mongoļu un kalmiku, absolvējot 1896. gadā. Pilnībā studējas pabeidza 1902. gadā, iegūstot maģistra (mūsdienu ekvivalents doktora) grādu par mandarīnu dialekta gramatiku.
P. Šmits bija precējies divreiz. Pirmā sieva Marija (dzimusi Jēgere) bija vācu valodas skolotāja un publiciste, līdzās vīram publicēja ceļojumu piezīmes un rakstus, 20. gs. sākumā bieži uzstājās ar publiskiem priekšlasījumiem par savu pieredzi Austrumāzijā. Laulībā, kas pastāvēja no 1896. līdz 1912. gadam, dzimis dēls Pāvils, kurš bija Latvijas Sarkanā krusta Jauniešu nodaļas vadītājs. 1912. gadā P. Šmits apprecējās otro reizi ar mājsaimnieci Īdu (dzimusi Zilgalve); laulībā bērnu nebija.