CBGB dibinātājs, īpašnieks un menedžeris Hilels Kristals (Hillel Kristal) bija džeza, blūza un kantrīmūzikas cienītājs. 20. gs. 50. gadu beigās viņš kļuva par Ņujorkas džeza kluba Village Vanguard menedžeri, bet 1973. gadā atvēra savu mūzikas klubu Manhetenas Īstvilidžas rajona Boverijas ielas 315. namā, kur agrāk bija darbojies motociklistu bārs.
H. Kristals bija iecerējis klubā popularizēt kantrī un blūzu, tādēļ tam deva nosaukumu Country, Bluegrass, Blues (angļu “Kantrī, blūgrāss, blūzs”). Taču jau drīz līdzās šo žanru māksliniekiem te sāka muzicēt arī plašākai publikai nezināmas jauniešu rokgrupas, kas agrāk uzstājās Mersera Mākslas centrā (Mercer Arts Center). 1973. gadā, Mersera Mākslas centra ēkai pēkšņi sabrūkot, šie mūziķi un viņu publika turpināja pulcēties H. Kristala klubā, kura nosaukums tādēļ mainījās uz Country, Bluegrass, Blues and Other Music for Uplifting Gourmandizers (angļu “Kantrī, blūgrāss, blūzs un cita mūzika rīmu labsajūtai”). Savukārt, rokam kļūstot par klubā dominējošo žanru, šis nosaukums tika aizstāts ar abreviatūru CBGB & OMFUG. Laika gaitā kluba un tā nosaukuma sākotnējā saistība ar kantrī un blūzu vairs netika pieminēta un daudziem apmeklētājiem nebija zināma, savukārt tā fasādes markīze ar uzrakstu CBGB & OMFUG kļuva par panku subkultūras simbolu, kas pazīstams arī mūsdienās; gan melomāni, gan plašsaziņas līdzekļi kluba apzīmēšanai parasti lieto saīsināto abreviatūru CBGB.
CBGB zāle bija šaura un gara taisnstūra formas telpa (maksimālā ietilpība – nedaudz vairāk par 300 cilvēkiem) ar bāru un nelielu, apmēram 30 cm augstu skatuvi, tādēļ mūziķu un publikas starpā tikpat kā nebija distances. Klubā bija ieejas maksa, kuras lielākā daļa tika veltīta mūziķu honorāriem. Mūziķu apmaksa bija individuāli risināts jautājums – grupas Blondie soliste Debija Herija (Debbie Harry) autobiogrāfijā “Pieņem to!” (Face It!, 2019) atceras, ka pirmsslavas periodā Blondie CBGB spēlējuši septiņus mēnešus katru nedēļas nogali, par to saņemot tikai bezmaksas alu.
CBGB izcēlās ar citur reti dzirdamas mūzikas un grupu izvēli, enerģijas, aizrautības un riska izjūtas (publikā mēdza notikt kautiņi u. c. incidenti) piesātinātu gaisotni, kā arī īpaši antisanitārām tualetēm, kas pieminētas daudzu apmeklētāju un mūziķu atmiņās. Savdabīgu spriedzes izjūtu vairoja arī kluba atrašanās vieta – 70. gados šajā Manhetenas rajonā valdīja sociāli nelabvēlīga un krimināla vide ar lielu alkoholiķu, narkomānu un deklasētu Vjetnamas kara veterānu koncentrāciju.
Līdzās klubam, Boverijas 313. namā, atradās mūzikas ierakstu veikals un ēdnīca CBGB Record Canteen, kas 80. gados tika pārveidota par mākslas galeriju un akustisku eksperimentālās mūzikas un džeza koncertu norises vietu CB’s 313 Gallery.