Pēc administratīvi teritoriālā iedalījuma Bažu purva teritorija iekļaujas Dundagas novada Kolkas pagastā. Kopš 2000. gada atbilstoši Slīteres nacionālā parka funkcionālajam zonējumam tā ziemeļaustrumu daļā tika nodalīta Bažu purva rezervāta teritorija. Pēc fizioģeogrāfiskā iedalījuma Bažu purvs atrodas Piejūras zemienes Irves līdzenuma ziemeļu daļā, bijušajā Litorīnas jūras nevienmērīgas akumulācijas līdzenumā, kur paleoģeogrāfisko un ģeoloģisko procesu rezultātā radušies Litorīnas jūras veidojumi: piekrastes vaļņi, sēkļi un citi.
Purvam ir izteikta trīsstūra forma, ko nosaka vēdekļveidīgais kāpu izvietojums. Purva pamatnei rietumdaļā ir raksturīga vairākus kilometrus garu, līdz 50 m platu un 2–3 m augstu, paralēli bijušajam jūras krastam orientētu krasta vaļņu vai seno priekškāpu un kāpu mija, kuras citu no citas atdala šauras ieplakas (vigas), kas veido ļoti nelīdzenu purva ieplakas pamatni. Mūsdienās Bažu purvs pārsvarā ir augstā tipa purvs ar salīdzinoši līdzenu virsu un ieplaku – ciņu mikroreljefu.
Purva ekoloģiskos apstākļus ietekmē apmēram simts gadus vecs krustenisks grāvju tīkls, kas šķērso gandrīz visu teritoriju. 1992. gada jūlijā purvā un tā apkārtnē plosījās liels ugunsgrēks, kad nodega 3200 ha liela platība, radot purva teritorijā daudz klajāku ainavu nekā iepriekš. Apaugumu galvenokārt veido sūnas, sīkkrūmi un sīkas priedītes, izņemot atsevišķas minerālsalas, kur priedes ir ievērojami lielākas.