A. Rozenbergs dzimis Rēveles tirgotāja un vācu pārvadājuma uzņēmuma akciju sabiedrības Gerhard & Hey direktora Voldemāra (Woldemar Rosenberg) un Elfrīdas, dzimušas Zirē (Elfriede Luise Caroline Siré), ģimenē kā jaunākais no diviem dēliem. Par A. Rozenberga dzimtas izcelsmi jau kopš 20. gs. starpkaru perioda bijusi sastopama pretrunīga un daļēji nepatiesa informācija. Vidzemē notikušās dvēseļu revīzijas un baznīcu grāmatas norāda uz latviešu un igauņu saknēm viņa identitātē. Uzvārdu Rosenberg 1826. gadā piešķīra A. Rozenberga vecvectēvam Jānim, kurš tolaik bija kalējs Dikļu muižas Brēdiķos, vēlākajos Kalējos. J. Rozenberga dēls (A. Rozenberga vectēvs) Mārcis Rozenbergs jaunībā apguva kurpnieka arodu, pārcēlās uz Rēveli, kur apprecēja sievu no igauņu izcelsmes dzirnavnieku dzimtas. Vācu dokumentos Rēvelē vairs nelietoja viņa latvisko vārda formu “Mārcis”, bet aizvietoja ar vācisko “Martins” (Martin Rosenberg). Savukārt A. Rozenberga mātes dzimta Zirē bija cēlusies no Liepājas amatniekiem un tajā bija gan vācu, gan igauņu un latviešu elementi.
A. Rozenbergs agri kļuva par bāreni, trīs mēnešu vecumā mira viņa māte, bet tēvs – kad Alfrēdam bija vienpadsmit gadu. Bērnību un jaunības gadus Alfrēds pavadīja bezrūpīgā mierā un pārticībā, ko nodrošināja tēva sarūpētie ienākumi. Alfrēdu palīdzēja audzināt tēva māte un tēva neprecētās māsas.
A. Rozenbergs mācījās Rēveles Pētera reālskolā (Petri-Realschule zu Reval), kur sāka interesēties par cilvēces senvēstures periodu, Lielo tautu staigāšanu un arheoloģiju. Skolas gados mācījās zīmēšanu pie latviešu gleznotāja Vilhelma Purvīša. Pēc reālskolas beigšanas 09.1910. iestājās Rīgas Politehniskajā institūta Arhitektūras fakultātē. Šeit 1911. gadā kļuva par vācbaltiešu studentu korporācijas “Rubonia” biedru. Studiju gados devās braucienos uz Vācu Impēriju un Franciju, to laikā iepazinās ar savu pirmo sievu. Pirmo pasaules karu pavadīja lielākoties Maskavā, uz kurieni bija evakuēts Rīgas Politehniskais institūts. Lielinieku ieviesto nepieņemamo pārkārtojumu rezultātā 1917. gada izskaņā atgriezās Rēvelē, bet pēcāk 01.1918. uz īsu brīdi atkal ieradās Maskavā, lai nokārtotu eksāmenus Maskavas augstākajā tehniskajā skolā (Московское высшее техническое училище), saņemot būvinženiera kvalifikāciju. Dēļ studijām netika iesaukts Krievijas armijā.
A. Rozenbergs bija divas reizes precējies. Pirmā laulība (1915. gadā) ar igauņu zivjrūpnieka meitu Hildu Lēsmani (Hilda Elfriede Leesmann) tika šķirta, tajā bērnu nebija. Otrajā laulībā (1925. gadā) ar vācieti Hedvigu Krāmeri (Hedwig Wanda Hermine Kramer) dzima dēls, kurš mira neilgi pēc dzimšanas, un meita Irēna (1930–2019). Par A. Rozenberga otrās sievas un meitas likteni pēc kara atrodama niecīga informācija, kas liecina, ka abas izvairījās no publiskas uzmanības.