Grupu dibināja ģitārists un dziesmu vārdu autors Ivars Blūms, iepriekš darbojies grupā “Bez greznības”, “M.Gvarde”, “Krusta pils”. Viņam kā ģitārists un mūzikas autors pievienojās Kaspars Pupa, kā arī bundzinieks Raitis Dziedātājs no Gulbenes. Aktīva darbība sākās 1994. gada oktobrī līdz ar septiņpadsmit gadus vecās dziedātājas Helēnas Kozlovas pievienošanos (akustiskā ģitāra, saksofons) pēc tam, kad viņa bija guvusi ievērību televīzijas jauno solistu konkursā “Meklējam solisti”. Viņas unikālā balss puišu spēlētajam gotiskajam rokam piešķīra īpašu noskaņu un raksturu.
Grupa uzstājās Rīgas klubos un citās pilsētās – Jelgavā, Gulbenē. 1995. gadā “Skumju akmeņi” piedalījās festivālā “Sinepes un medus”, izcīnot Sinepju balvu. Āgenskalnā, Kristapa ielas ūdenstornī, 1995. gada jūnijā ieskaņota grupas pirmā kasete – albums “Pilns nāves vecums vientulībā”. 1996. gada sākumā grupai pievienojās otrs ģitārists – Rinalds Zelmenis. “Skumju akmeņi” piedalījās rokfestivālos Valmierā un Koknesē , “Mēs-Tornim” (1996), “Puskurlais mēnessbērns” (1996), mūzikas un mākslas festivālā “Bildes” (1996, 1997). Dažas grupas dziesmas izdotas 90. gadu vidū publicētajās neatkarīgās mūzikas izlasēs.
“Skumju akmeņu” otrais albums ierakstīts Jāņa Levita Rīgas Vagonu rūpnīcas studijā 1996. gada vasarā un izdots decembrī kasetē ar nosaukumu “Skumju akmeņi” (2001. gadā albums māsterēts un pašizdots kompaktdiskā ar nosaukumu “Pēc septiņiem vienatnē gadiem”). Albuma prezentācijas svinības un koncerts notika Jaunajā Rīgas teātrī, I. Blūma darba un grupas mēģinājumu vietā. Albumā mūziķu minorīgā, nedaudz depresīvā, toties aizrautīgā daiļrade pārstāvēta dziesmās “Nav tumša upe lāpas staros”, “Man pieder ceļš”, “Mums pietrūka smieklu” u. c.
90. gadu otrajā pusē par grupu “Skumju akmeņi” īslaicīgi ieinteresējās izdevniecība “Mikrofona ieraksti”, iekļaujot tās skaņdarbus savās veicināšanas izlasēs, ko izplatīja Latvijas radio stacijām. Redzot šīs mūzikas nekomerciālo raksturu, sadarbība beidzās, turklāt mūziķu vidū brieda šķelšanās. Pēc īsās koncerttūres pa Somiju 1996. gada septembrī notika pēdējais koncerts ar H. Kozlovu, kas turpināja darbību kā dziesminiece, izdodot soloalbumus “Saule tunelī” (1997) un “Stāsti” (1999).
Kopš 1998. gada, paliekot K. Pupam un I. Blūmam, “Skumju akmeņiem” veidojās jauns sastāvs ar nosaukumu “Akmeņu dārzs”: Jānis Daksis (ģitāra), Atis Vintuks (sitaminstrumenti). Dziedāja Ieva Prande, iepriekš pazīstama kā deju mūzikas grupas “5. šlaka” soliste, fona vokāls – Aiga Klimoviča. Grupas stils mainījās romantikas virzienā, līdzinoties ievērojamās britu grupas Cocteau Twins muzikālajai un vokālajai izteiksmei: balss koloratūras, ar efektiem (Fuzz, Flanger, Reverb) bagātināta ģitārskaņa. Jaunais sastāvs piedalījās festivālos “Bildes” (1998), “Sinepes un medus” (1998), “Roks pret militārismu” (1998) Skrundā, ieskaņoja albumu “Vai patiesi vēl gaidi?” ar K. Pupas un I. Blūma dziesmām 1999. gada beigās, pēc tam beidza darbību.