Pirmās ziņas par šo pilskalnu kā tādu, kas atrodas “vienu kilometru dienvidos Atmatas mazmuižai”, publicējis pazīstamais Latvijas Republikas laika pilskalnu pētnieks Ernests Brastiņš 1923. gadā publicētajā izdevumā “Latvijas pilskalni. I. Kuršu zeme”. E. Brastiņš to nav apmeklējis, jo “pēc ievāktām ziņām, šai vietai nav nekā ievērojama”. 1941. gadā pilskalnu apsekoja toreizējā Valsts Vēsturiskā muzeja līdzstrādnieks Kārlis Rozītis, kurš, to aprakstot, atzīmēja, ka no pilskalna rietumu puses uz Skaldas upes pretējo krastu ved 17 m plats mākslīgs dambis. 1942. gadā Sermītes pilskalns ar Nr. 1922 iekļauts Pieminekļu valdes veidotajā valsts aizsargājamo kultūras pieminekļu sarakstā. 1944. gadā pilskalnu uzmērīja Valsts Vēsturiskā muzeja līdzstrādnieks Arvīds Gusārs, kurš to uzskatīja par “steigā celtu slēptuvi”. 1953. gadā A. Gusārs sastādīja šī arheoloģiskā pieminekļa pasi. 1969. gadā pilskalnu apsekoja arheologs Ēvalds Mugurēvičs, kurš tajā konstatēja 0,2 m biezu, sīkas oglītes saturošu kultūrslāni un arī atzīmēja, ka pilskalns uzskatāms par patvēruma vietu.

Par Sermītes pilskalnu A. Gusārs pierakstījis teiku, ka kalnā, tad, kad tur pils stāvējusi, apslēpta nauda. Citi nostāsti vai teikas par šo pilskalnu nav fiksēti.

Pilskalns ierīkots ap 5–6 m augstā zemes ragā, kas izveidojies Skaldas un Sermītes upju satekā, tādējādi tas no trim pusēm dabīgi aizsargāts. No dabas neaizsargātajā ziemeļu daļā pilskalns nocietināts ar apmēram 50 m garu, 3–4 m platu grāvi un valni, kas laika gaitā ir noarts un mūsdienās vāji redzams. Pilskalnam neregulārs, ziemeļrietumu–dienvidaustrumu virzienā orientēts, pret šaurāko dienvidu galu ieslīps plakums, ap 60 x 20–50 m liels. Tajā, īpaši gar malām, konstatēts 20–30 cm biezs, kultūrslānis, kas satur oglītes. Gan plakumā, gan bijušā vaļņa vietā vērojamas senas rakumu, domājams, mantraču veidotas, bedres, kuru izcelsme, iespējams, saistīta ar nostāstiem par apslēpto naudu. Ziemeļu pusē kādreiz rakta arī grants. Pilskalns apaudzis ar lieliem kokiem un krūmāju, skrajāka tikai plakuma ziemeļrietumu daļa, kurai pāri ved ceļš uz Skaldu mājām. Mūsdienās pilskalnu no dienvidiem un austrumiem aptver uzpludināti dīķi, bet ziemeļu pakājē – mitra pļava. Apauguma dēļ pilskalns ainavā būtiski neizceļas.

Sermītes pilskalns līdz šim arheoloģiski nav pētīts, un nav ziņu arī par kādiem atradumiem tajā. Pilskalna salīdzinoši grūti pieejamā novietne un vājais kultūrslānis ļauj izvirzīt hipotēzi, ka tas nav bijis pastāvīgi un ilgstoši apdzīvots, bet kalpojis kā patvēruma vieta briesmu gadījumos. Tomēr atzīmējams, ka Sermītes nosaukums (Sargamiten) minēts jau 1253. gada kuršu zemju dalīšanas dokumentos, un tuvāk Sermītes centram neviena cita sena apdzīvota vieta nav zināma. Pilskalna tiešā tuvumā nav zināmi arī kādi senkapi; tuvākie vēlā dzelzs laikmeta un agro viduslaiku senkapi atrodas apmēram 2 km uz ziemeļaustrumiem no Sermītes pilskalna pie Dižstrautu mājām.

Pilskalns gan minēts dažos Kurzemei veltītos ceļvežos, tomēr lielāku popularitāti tūristu vidū nav ieguvis, jo atrodas salīdzinoši nomaļā vietā un ir samērā vājš un vizuāli neizteiksmīgs nocietinājums.