Arhitektūrā apzīmējumu “jaunais brutālisms” (zviedru valodā nybrutalism; atvasināts no latīņu brutalis 'truls, bezjūtīgs') 1950. gadā pirmoreiz lietoja zviedru arhitekts Hanss Asplunds (Hans Asplund), izsmejoši raksturodams zviedru arhitektu Bengta Ēdmana (Bengt Edman) un Lennarta Holma (Lennart Holm) projektēto Gēta villu (Villa Göth, 1950) Upsālā (divstāvīga kubveida ķieģeļu būve ar plakanu jumtu un radikāli novienkāršotu plānojumu); H. Asplunds šo frāzi izmantoja arī sarunā ar arhitektiem, kas viesojās no Anglijas un kas to pārņēma un sāka lietot jau kā stilistisku apzīmējumu ar pozitīvu konotāciju. Angļu valodā ar jēdzienu “jaunais brutālisms” (new brutalism) vai arī “brutālisms” 20. gs. 50. gadu vidū sāka apzīmēt modernisma arhitektūras virzienu, kas attīstījās Lielbritānijā kā principiāla alternatīva tobrīd populāram modernisma virzienam, ko tā laika arhitektūras presē dēvēja par “jauno empīrismu” (new empiricism) un plašākā sabiedrībā – vienkārši par “laikmetīgo” (contemporary) stilu. Tomēr brutālisma definīcija un principi jau sākotnēji bija neskaidri, uz ko norādīja arī pats šī virziena apoloģēts – angļu arhitektūras kritiķis Reiners Benems (Reyner Banham) esejā “Jaunais brutālisms” (The New Brutalism, 1955) un grāmatā “Jaunais brutālisms: ētisks vai estētisks?” (The New Brutalism: Ethic or Aesthetic?, 1966). Virziena attīstības sākumā R. Benems vērsa uzmanību uz etimoloģisku sakarību starp brutālisma jēdzienu un neapstrādāta betona franču valodas apzīmējumu – béton brut, kas turpmāk ļāva uz to pretendēt kā virzienam tipisku materiālu.
20. gs. 2. puses periodā brutālisma arhitektūras īstenoto projektu negatīvo vērtējumu iespaidā brutālisma jēdziens no jauna ieguva negatīvu konotāciju: piemēram, Amerikas Savienotajās Valstīs (ASV) u. c. ar to sāka apzīmēt gandrīz jebkuru lielu betona ēku, ko plašā sabiedrībā uzskatīja par neglītu. Un arī mūsdienās – lai gan ne vienmēr negatīvā nozīmē un arvien biežāk neitrālā nozīmē – ar brutālisma jēdzienu apzīmē gandrīz jebkuru lielu ēku, kas būvēta no betona 20. gs. 60.–70. gados jebkur pasaulē.
Arhitektūras vēsturnieki norāda, ka stila nosaukums ir neprecīzs, turklāt tā sākotnējā nozīme bija atšķirīga: paradoksālā veidā projekts, kas aizsāka brutālisma virziena veidošanos, visdrīzāk ar šo jēdzienu tā mūsdienu izpratnē vairs netiktu apzīmēts. Jaunākajā arhitektūras vēstures literatūrā brutālisms tiek vērtēts kā nozīmīgs modernisma arhitektūras virziens, kas aizsākās Lielbritānijā 20. gs. 50. gados un guva izplatību daudzviet pasaulē 20. gs. 60. un 70. gados.