Pilaru fon Pilhavu dzimtas pārstāvji ieceļoja Vidzemē jau 17. gs., laikā, kad Vidzeme bija Zviedrijas sastāvā, no Silēzijas Tešinas un kopš šī laika bija iesaistīti Vidzemes pārvaldē. Savos īpašumos un vairākās nomā esošo muižu teritorijās viņi nodarbojās ar kartupeļu audzēšanu, kurus izmantoja degvīna ražošanā.
Ā. Pilars fon Pilhavs dzimis Pērnavas apriņķa Audru muižas īpašnieka Fredrika Ādolfa Voldemāra Pilara fon Pilhava-Auderna (Fredrik Adolf Woldemar Baron Pilar auf Pilchau, Herr auf Audern; dzimtas Audru muižas atzara pārstāvja) un viņa sievas, senas vācbaltiešu dzimtas pārstāves Bertas Johannas Karolīnes (Berta Johann Caroline), dzimušas fon Ungernas-Šternbergas (von Ungern-Sternberg) desmit bērnu ģimenē kā trešais bērns.
Skolas zinības Ā. Pilars-Pilhavs apguva Rēveles (mūsdienās Tallina) Domskolā. Pēc tēva nāves 1870. gadā Ā. Pilars fon Pilhavs mantoja īpašumus un dzimtas rūpalu. 1870.–1873. gadā studēja jurisprudenci Tērbatas Universitātē (mūsdienās Tartu Universitāte, Tartu Ülikool), tur iestājās vidzemniekus vienojošā vācbaltiešu studentu korporācijā “Livonia”. Kopš tā laika viņa vārdu “Ādolfs” plašā sabiedrības elites lokā mēdza lietot saīsinātā individuālas iesaukas formā – “Alfs”. 1873.–1874. gadā studēja agronomiju Halles Universitātē (Königliche Vereinigte Friedrichs-Universität Halle-Wittenberg) Vācu Impērijā. Studiju gados un jaunībā daudz ceļoja pa Vācu Impēriju, Franciju un Itāliju.
11.12.1884. Sanktpēterburgas Svētās Annas baznīcā salaulājās ar bijušā Krievijas Impērijas tieslietu ministra un Pleskavas gubernatora Konstantīna fon der Pālena (Magnus Konstantin Ferdinand von der Pahlen) meitu Džūliju Olgu Eiženiju (sauktu par Ženiju) fon der Pālenu (Julie Olga Eugenie), laulībā piedzima četri bērni: Ādolfs Konstantīns Teodors, Olga Marija Hildegarde Berta, Frīdrihs Bernards Peters Pauls, Andreass Baltazars Valters.