J. Erdmans piedzima Valmierā. Filozofa tēvs Johans Vilhelms Erdmans (Johann Wilhelm Erdmann) bija mācītājs. Mātes Elizabetes Dorotejas Erdmanes (Elisabeth Dorothea Erdmann) brālis Karls Ferdinands Maksimiliāns Antons Valters (Carl Ferdinand Maximilian Anton Walter) kļuva par Vidzemes guberņas bīskapu un Vidzemes ģenerālsuperintendentu. Jūliuss Ernsts Hermans Valters (Julius Ernst Hermann Walter), J. Erdmana tēvocis, bija praktiskās teoloģijas profesors Tērbatas Universitātē (mūsdienās Tartu Ülikool).

J. Erdmans mācījās Tērbatas ģimnāzijā (Kaiserlichen Gymnasium zu Dorpat). Reliģijas, ivrita skolotāja un teologa Augusta Karlbloma (August Carlblom) ietekmē J. Erdmans pievērsās filozofa Frīdriha Daniela Ernsta Šleiermahera (Friedrich Daniel Ernst Schleiermacher) tekstu lasīšanai. 1823. gadā J. Erdmans uzsāka studijas Tērbatas Universitātes Teoloģijas fakultātē. J. Erdmans klausījās lekcijas pie kantieša Gotloba Benjamina Ješes (Gottlob Benjamin Jäsche). 1826. gadā J. Erdmans iestājās Berlīnes Universitātē (Universität Berlin), lai turpinātu teoloģijas studijas. Berlīnē J. Erdmans apmeklēja F. D. E. Šleiermahera un filozofa Georga Vilhelma Frīdriha Hēgeļa (Georg Wilhelm Friedrich Hegel) lekcijas. J. Erdmans nokārtoja konsistoriālo eksāmenu. 1830. gadā J. Erdmans promovējās Ķelnē, aizstāvēdams darbu par teoloģijas un filozofijas atšķirībām (Quidnam sit discrimen philosophiam inter et theologiam). J. Erdmans aizstāvēja habilitācijas darbu Berlīnes Universitātē. 1834. gadā viņš to publicēja ar virsrakstu “Kartēzisma izklāsts un kritika līdztekus ievadam jaunlaiku filosofijas vēsturē” (Darstellung und Kritik der Philosophie des Cartesius: nebst einer Einleitung in die Geschichte der neuern Philosophie).

No 1831. gada līdz 1833. gadam J. Erdmans kalpoja kā mācītājs (pastor primarius) Valmieras evaņģēliski luteriskajā draudzē.

1833. gadā J. Erdmans bija privātdocents Berlīnes Universitātē un docēja lekcijas par reliģijas filozofiju. 1836. gadā J. Erdmanu ievēlēja par ārkārtas profesoru Halles Universitātē (Universität Halle). 1839. gadā filozofu iecēla par profesoru. J. Erdmans docēja lekcijas par loģiku, metafiziku, filozofijas vēsturi, reliģijas filozofiju, psiholoģiju, dabas filozofiju u. c. No 1859. gada līdz 1860. gadam filozofs bija Halles Universitātes rektors.

J. Erdmans sarakstīja vairākus apjomīgus darbus filozofijas vēstures laukā, kas savulaik filozofam nodrošināja plašu atpazīstamību. Darba “Filozofijas vēstures pamati” (Grundriss der Geschichte der Philosophie) pirmā sējuma ievadā filozofs akcentēja, ka filozofijas vēsture ir jāuzlūko kā jēdzienu vēsture. J. Erdmans, ietekmējoties no G. V. F. Hēgeļa, secināja, ka ar filozofu un filozofisko sistēmu starpniecību sevi izsaka pasaules gars, kas ir dinamiska vienība, kura katrā gadsimtā izpaužas atšķirīgi. Tāpēc filozofijas vēsturi J. Erdmans redzēja kā pasaules gara attīstības stadiju apkopojumu. J. Erdmans iedalīja filozofiju antīkajā, viduslaiku un jauno laiku filozofijā. Aplūkojot sava laika filozofisko situāciju, J. Erdmans secināja, ka, pateicoties G. V. F. Hēgeļa sistēmas ietekmei, kurā filozofijas vēsture pirmo reizi tika integrēta kā metafizikas daļa, centrālu lomu ir ieguvušas filozofijas vēstures studijas.

Līdztekus sējumiem filozofijas vēsturē J. Erdmans publicēja sacerējumus par atsevišķiem filozofiem, kā arī ieguldīja darbu Gotfrīda Vilhelma Leibnica (Gottfried Wilhelm Leibniz) tekstu izdošanā. J. Erdmans publicēja darbu “Par Šellingu, it sevišķi par viņa negatīvo filozofiju” (Ueber Schelling: namentlich seine negative Philosophie), kurā analizēja Frīdriha Vilhelma Jozefa Šellinga (Friedrich Wilhelm Joseph Schelling) identitātes doktrīnas reliģiskos aspektus.

J. Erdmans raksturoja ticības un zināšanu attiecības kā dialektiskas. Apziņā šī attīstība aizsākas ar naivo ticību, bet noslēdzas ar spekulatīvajām zināšanām. Naivā ticība ietver izpratni par Dieva un cilvēku vienotību. Taču šajā stadijā reliģija ir nereflektīva. Reflektējošā ticība apzinās cilvēka un Dieva nošķirtību. Risinot subjekta un objekta attiecības, apziņa nonāk līdz dogmatismam, vēlāk – pie šaubām un neticības, kuras ietvaros apziņa atzīst par patiesu tikai savu saturu, tomēr vienlaikus saglabā apziņas un dievišķās pasaules opozīciju. Risinot opozīciju, rodas dažādi misticisma atzari, kas tiecas nodrošināt organisku subjekta un objekta vienotību. Apziņa kļūst gan par objektu, gan par subjektu un mēģina visā ieraudzīt prātu, kas veido pamatu empīrisko, kritisko un spekulatīvo zināšanu attīstībai. Spekulatīvo zināšanu pakāpi ilustrē ideālisma virziens filozofijā, kurā subjektīvā un objektīvā pretstats tiek risināts, atzīstot, ka subjektīvais ir objektīvā izpausmes aspekti.

Līdztekus pētījumiem par filozofijas vēsturi, psiholoģiju un metafiziku J. Erdmans publicēja vairākus populārzinātniskus rakstus, pievēršoties plašam tēmu lokam. J. Erdmana “Lekcijas par akadēmisko dzīvi un studijām” (Vorlesungen über akademisches Leben und Studium) vēsta par studentu dzīvi, pienākumiem, attiecībām ar docētājiem, valsti un baznīcu.

Sacerējumā “Par sapņiem” (Das Träumen) J. Erdmans raksturoja sapņus kā dabisku cilvēka dzīves daļu, kurā ir iesaistīts gan ķermenis, gan gars. Darbā “Par smiekliem un raudāšanu” (Über Lachen und Weinen) J. Erdmans pauda uzskatu, ka smieklus izraisa cilvēka nolūka, darbības un līdzekļu nesaskaņa, kā arī šīs nesaskaņas gala iznākums. Turklāt cilvēkiem ir raksturīgi smieties par situācijām, kas viņus neskar, savukārt tie paši nelabvēlīgie apstākļi, ja viņi tajos nonāk, var kalpot par cēloni raudāšanai.

Studiju laikā J. Erdmans pievienojās studentu korporācijai “Livonia” Tērbatas Universitātē; Halles Dabaspētnieku biedrības (Naturforschende Gesellschaft zu Halle) loceklis.

Viens no J. Erdmana studentiem bija filozofijas vēsturnieks Ernsts Kuno Bertolds Fišers (Ernst Kuno Berthold Fischer), kurš J. Erdmana vadībā Halles Universitātē izstrādāja habilitācijas darbu “Diotīma. Skaistā ideja” (Diotima. Die Idee des Schönen).

Dāņu filozofs Sērens Kirkegors (Søren Aabye Kierkegaard) studēja J. Erdmana darbus par reliģijas filozofiju un vēlāk uz tiem atsaucās, kritizējot G. V. F. Hēgeli.