Dzimis mežsarga Reiņa Felsberga ģimenē. Mācījās Nēķina pagasta skolā (1877–1879), Dzērbenes draudzes skolā (1879–1880), Cēsu apriņķa skolā (1881–1882). 05.1888. E. Felsbergs nokārtoja pagasta skolas skolotāja, 1890. gadā – draudzes skolas skolotāja pārbaudījumu. Mācījās skolotāju kursos Nēķinā (1892), apguva ģermāņu valodas Tērbatas Universitāte (mūsdienās Tartu Universitāte, Tartu Ülikool; 1895–1896). 1897. gadā kā eksternis beidza Rīgas Aleksandra ģimnāziju. No 1897. gada rudens studēja klasisko filoloģiju Tērbatas Universitātē (05.1901. beidza). 1900. gadā Tērbatas Universitātes Filoloģijas fakultāte par zinātnisku darbu E. Felsbergam piešķīra zelta medaļu. Studēja Pēterburgas Universitātē (1901), Berlīnes Universitātē (1903–1904). 1904. gadā nokārtoja maģistra eksāmenu Tērbatas Universitātē. 1910. gada vasarā mācījās arheoloģiju Berlīnes, Drēzdenes, Minhenes un Vīnes muzejos.
E. Felsbergs Pēterburgā iepazinās ar tur strādājoša angļu tirgotāja meitu Ģertrūdi Koutsu (Lucy Gertrude Coates) un 1906. gadā izveidoja ģimeni. Dēli – Alberts Ernests Rihards (1908–1975) – ārsts, Aleksandrs (1911–1944; gāja bojā Drēzdenes bombardēšanā), meita Lūcija Beatrise Felsberga-Bērziņa (1907–1999) – LU lektore, Baltijas Universitātes asociētā profesore, literāte. Mazdēls Guntis Bērziņš – mecenāts un politiķis.
Ernests Felsbergs ar ģimeni lauku mājās Cēsu apriņķa Pipariņos. 1924.–26. gads. No kreisās: Ernests Felsbergs, Alberts Felsbergs, Lūcija Felsberga, Ģertrūde Felsberga, Aleksandrs Felsbergs.
