J. Erdmans piedzima Valmierā. Filozofa tēvs Johans Vilhelms Erdmans (Johann Wilhelm Erdmann) bija mācītājs. Mātes Elizabetes Dorotejas Erdmanes (Elisabeth Dorothea Erdmann) brālis Karls Ferdinands Maksimiliāns Antons Valters (Carl Ferdinand Maximilian Anton Walter) kļuva par Vidzemes guberņas bīskapu un Vidzemes ģenerālsuperintendentu. Jūliuss Ernsts Hermans Valters (Julius Ernst Hermann Walter), J. Erdmana tēvocis, bija praktiskās teoloģijas profesors Tērbatas Universitātē (mūsdienās Tartu Ülikool).