20. gs. 60. gadu pirmajā pusē Beach Boys bija viena no vadošajām amerikāņu sērfinga mūzikas grupām, kas citu pēc cita laida klajā optimistiskus hitus par pludmali, meitenēm, automašīnām un citām  Kalifornijas pusaudžu dzīvesveida aktualitātēm. 1964. gada nogalē tās līderis B. Vilsons piedzīvoja psihoemocionālu krīzi un atteicās no līdzdalības koncertturnejās. Pārējie mūziķi koncertēja arī turpmāk, bet B. Vilsons tikmēr sacerēja dziesmas un strādāja studijā, pilnveidojot autora, aranžētāja un producenta iemaņas. Intervijās mūziķis vairākkārt stāstījis, ka 1965. gadā “apskaidrojošu iespaidu” tam sniedzis tikko iznākušais The Beatles albums Rubber Soul – viņaprāt, populārajā mūzikā vēl nepieredzētas perfekcijas paraugs, kurā ik dziesma, būdama pastāvīga vērtība, iekļaujas kopējā veselumā, veidojot vienotu un daudzslāņainu mākslas darbu bez tolaik ierastā dalījuma hitos un otršķirīgos skaņdarbos, kuru vienīgā funkcija ir LP apjoma aizpildījums. Šīs atklāsmes uzmundrināts, B. Vilsons sāka sadarbību ar tekstu autoru Toniju Ešeru (Tony Asher), lai sacerētu “visu laiku labāko albumu”.

Atskaitot dažus agrākus ieskaņojumus, vairums LP materiāla tika ierakstīts 1966. gada janvārī–aprīlī dažādās Holivudas (Kalifornijas pavalsts, ASV) studijās. Vērienīgās ierakstu sesijas izcēlās ar tehnoloģiski un muzikāli novatoriskiem risinājumiem un mūzikas industrijā vēl nepieredzētām izmaksām, kas sasniedza 70 000 ASV dolāru. Iedvesmojoties no Fila Spektora (Phil Spector) izstrādātās aranžēšanas un producēšanas tehnikas (zināma kā “skaņas siena”, wall of sound), B. Vilsons piesaistīja lielu studijas mūziķu sastāvu (pārējie Beach Boys dalībnieki LP instrumentālā pavadījuma ieskaņošanas laikā bija aizņemti koncertturnejā) – vairākus desmitus instrumentālistu, t. sk. stīgu grupu. Šā sastāva kodolu veidoja Holivudas ievērojamāko sesijmūziķu grupējums ar neformālu nosaukumu The Wrecking Crew, kas dzirdams arī daudzos F. Spektora producētos ierakstos.

Kad instrumentālistu sniegums bija ierakstīts, Beach Boys ieskaņoja vokālās partijas – vairumā skaņdarbu vadošais vokālists bija pats B. Vilsons, bet pārējie dalībnieki viņa dziedājumam nodrošināja izsmalcināti daudzbalsīgu fonu, kas ir viena no grupas skanējuma pamatpazīmēm. Ņemot vērā B. Vilsona ievērojamo lomu LP tapšanā, kā arī muzikālās stilistikas un emocionālās noskaņas atšķirību no Beach Boys agrākajiem darbiem, Pet Sounds reizēm dēvēts par viņa soloalbumu; arī tā pirmais singls Caroline, No tika izdots nevis kā grupas, bet dziesmas autora soloieraksts. 

Lai gan, darbu sākot, B. Vilsonam nebija skaidri formulētas konceptuālas ieceres, albumu caurvij jauna cilvēka pieaugšanas motīvi – sevis apzināšanās, mīlestības un piederības izjūtas meklējumi, bērnības un pusaudzības ilūziju zaudējums u. tml. tematika, kas nodarbināja arī pašu 23 gadus veco mūziķi, kura dzīves izjūtu īpaši saasināja narkotiku ietekme un nesen noslēgtās laulības sarežģījumi. Savukārt LP skanējums un komplicētie, smalki izstrādātie aranžējumi, kuros bagātīgi izmantoti populārajā mūzikā reti dzirdami instrumenti (zvaniņi, timpāni, klavesīns, basklarnete, angļu rags, mežrags, trombons, elektroteremins, velosipēda zvans, dzērienu bundžas u. c.), kā arī aizguvumi no klasikās mūzikas, džeza un Lielās amerikāņu dziesmu grāmatas estētikas, savulaik dažiem kritiķiem likuši apšaubīt Pet Sounds piederību roka žanram. Mūsdienās Pet Sounds nereti klasificēts kā barokpopa un ārtpopa darbs, tomēr plašā ietekme uz dažādu paaudžu psihedēliskā un alternatīvā roka mūziķiem to ļauj klasificēt arī kā rokmūzikas paraugu. Turklāt tematiskās un stilistiskās konsekvences dēļ tas bieži atzīts par roka pirmo konceptalbumu.

Pet Sounds veiksmīgākais singls (Nr. 3 Billboard topā) bija Sloop John B – bahamiešu tautasdziesma, kas ieskaņota vēl pirms albuma sesijām un tajā iekļauta pēc tam, kad ierakstu kompānija Capitol Records izteica bažas par LP nepietiekamo komercpotenciālu un pat apšaubīja tā izdošanas lietderību. Beach Boys klasiskajam repertuāram pieskatāmas arī Caroline, No; Wouldn’t It Be Nice un God Only Knows – B. Vilsona slavenākā mīlas balāde, ko vēlāk ieskaņojuši arī Deivids Bovijs (David Bowie), Braiens Adamss (Bryan Adams), Maikls Bublē (Michael Bublé) u. c. izpildītāji.

LP bija paredzēts iekļaut arī dziesmu Good Vibrations, taču komplicētā tehnoloģiskā procesa un B. Vilsona augsto kvalitātes prasību dēļ tās ieskaņošana nebeidzās paredzētajā laikā un dziesma albumā neiekļuva; 1966. gada rudenī Good Vibrations tika izdota singlā, kļūstot par vienu no desmitgades slavenākajiem hitiem.

Pēc iznākšanas Pet Sounds izpelnījās pretrunīgas ASV kritikas atsauksmes. Arī tā sasniegtā 10. vieta Billboard tabulā bija visai pieticīgs rādītājs, salīdzinot ar Beach Boys iepriekšējo LP rezultātiem. Tādējādi apstiprinājās ierakstu kompānijas (arī vairāku grupas mūziķu) bažas, ka pēkšņais stilistiskais pavērsiens un pludmales hitu eiforiskās mentalitātes nomaiņa pret melanholiski sapņainu introspekciju negūs grupas cienītāju izpratni. Cenšoties kompensēt šo neveiksmi, dažas nedēļas pēc albuma izdošanas Capitol laida klajā grupas agrāko hitu izlasi Best of the Beach Boys, kas plašas publikas apziņā jau drīz aizēnoja Pet Sounds novatorismu, veicinot priekšstatu par Beach Boys slavas norietu un radošu izsīkumu.

Ievērojami atsaucīgāk LP tika uzņemts Lielbritānijā, kur tas ierindojās 2. vietā (augstāk nekā jebkurš cits grupas albums), izpelnījās slavinošas recenzijas mūzikas presē un daudzu mūziķu atzinību. Īpaši augstu Pet Sounds vērtēja Beatles dalībnieki, kuri to minējuši kā vienu no sava albuma Sgt. Pepper’s Lonely Hearts Club Band inspirācijas avotiem. Beach Boys reputāciju 1966. gadā Lielbritānijā apliecina arī fakts, ka mūzikas nedēļraksta New Musical Express lasītāju aptaujā tā tika atzīta par pasaules labāko vokālo grupu (vocal group), apsteidzot līdzšinējos līderus Beatles.

Tomēr visvairāk Pet Sounds statusu sava laika populārajā kultūrā noteica nosacītā izgāšanās ASV. Tā aizsāka šķelšanos grupas iekšienē, veicinot B. Vilsona mentālās veselības problēmas un atsvešināšanos no citiem mūziķiem, kas savukārt noveda pie tālāka popularitātes krituma.

Arī populārās mūzikas vadošo tendenču turpmākā attīstība (glamroks, smagais roks un metāls, disko, pankroks, jaunais vilnis u. c.) nebija labvēlīga Pet Sounds muzikālajai niansētībai un emocionālajam jutīgumam, tādēļ albums tika reti pieminēts pat 60. gadu mūzikas komentāros. Straujš Pet Sounds kultūrvēsturiskās nozīmes pārvērtējums sākās 20. gs. 90. gados, laika distancei atklājot LP tālejošo un daudzpusīgo ietekmi, kas ievērojami paplašinājusi izpratni par rokmūzikas žanriskajām robežām un mākslinieciskajām iespējām.

Mūsdienās Pet Sounds bieži tiek minēts starp nozīmīgākajiem darbiem populārās mūzikas vēsturē, savukārt tā ietekme atbalsojusies dažādu paaudžu mūziķu, t. sk. Eltona Džona (Elton John); XTC; R.E.M.; Radiohead; Weezer; High Llamas; Flaming Lips; Fleet Foxes; Foxygen; Animal Collective; Arctic Monkeys; Tame Impala; Frenka Oušena (Frank Ocean) un Kanjes Vesta (Kanye West) jaunradē.

1995. gadā britu mūzikas žurnāla Mojo veiktā kritiķu aptaujā Pet Sounds tika atzīts par visu laiku izcilāko albumu, bet 2016. gadā tas šādu novērtējumu izpelnījās līdzīgā aptaujā, ko veica britu žurnāls Uncut. Savukārt amerikāņu žurnāla Rolling Stone trīsreiz (2003., 2012. un 2020. gadā) publicētajā 500 visu laiku ievērojamāko albumu sarakstā (500 Greatest Albums of All Time) tas nemainīgi ierindots 2. vietā. 2020. gadā Rolling Stone šo vērtējumu pamatoja, uzsverot, ka “Pet Sounds izmainīja veidu, kā cilvēki uztver albumus. Tie vairs nebija savstarpēji nesaistītu singlu apkopojumi, tagad albums bija kļuvis par mākslas darbu, apzināti veidotu iekšēji vienotas mūzikas kolekciju”.