Dzimis Ivana Žoltoka un Dženijas (tagad Čagina) ģimenē. Mācījās Rīgas 18. vidusskolā.

Hokeja treniņus S. Žoltoks uzsāka astoņu gadu vecumā hokeja skolā “Dinamo”. Par viņa pirmo treneri kļuva Pjotrs Hmeļņickis. S. Žoltoks spēlēja Rīgas “Dinamo” jauniešu vienībās. Latvijas Padomju Sociālistiskās Republikas (LPSR) čempionātā startēja komandās “Dinamo” (Rīga; 1986/1987–1988/1989) un “RASMS” (Republikas augstākā sporta meistarības skola; 1989/1990). “RASMS” sastāvā kļuva par LPSR čempionu (1990). 1988./1989. gada sezonā S. Žoltoks kā pastiprinājums iekļauts arī Maskavas “Dinamo” jauniešu vienībā, kuras sastāvā kļuva par Padomju Sociālistisko Republiku Savienības (PSRS) jauniešu čempionu.

PSRS jauniešu izlases sastāvā 12.1989.–01.1990. aizvadīja spēļu turneju Ziemeļamerikā un 04.1990. izcīnīja sudraba godalgu Eiropas jauniešu (U-18) čempionātā A grupā jeb augstākajā līmenī.

Piedalījās divos pasaules junioru (U-20) čempionātos A grupā. 12.1990.–01.1991. pasaules junioru čempionātā kļuva par pasaules vicečempionu PSRS junioru izlases sastāvā. 12.1991.‒01.1992. pasaules junioru čempionātā A grupā kļuva par pasaules čempionu komandā, kura bija uz turnīru devusies kā PSRS junioru izlase, bet turnīra laikā, beidzot juridiski pastāvēt PSRS valstij, pārdēvēta par Neatkarīgo Valstu Sadraudzības (NVS) junioru izlasi.

Trīs sezonas spēlēja “RASMS” (no 1989. gada “RASMS Energo”) komandas sastāvā PSRS A klases otrās līgas jeb trešā līmeņa čempionātā (1988/1989–1990/1991). Līdztekus tam 1990./1991. gada sezonā S. Žoltoks 17 gadu vecumā debitēja Rīgas “Dinamo” sastāvā PSRS čempionātā Augstākajā līgā.

1991./1992. gada sezonā S. Žoltoks spēlēja “HK Rīga” komandā (sezonas laikā 12.1991. pārdēvēta par “Rīga-Stars”) PSRS atklātā čempionāta Augstākajā līgā, kas pēc PSRS pastāvēšanas izbeigšanas (26.12.1991.) kļuva par Krievijas atklāto čempionātu.

06.1992. Nacionālās hokeja līgas (National Hockey League, NHL) ikgadējā jauno spēlētāju pieteikumā jeb draftā (Entry draft) S. Žoltoku ar kopējo 55. numuru izvēlējās hokeja klubs “Boston Bruins” (Bostona, Amerikas Savienotās Valstis, ASV), rezervējot tiesības slēgt līgumu ar hokejistu. No 1992. gada S. Žoltoks hokeja karjeru turpināja Ziemeļamerikā.

1992./1993. gada sezonas lielāko daļu spēlēja Bostonas kluba rezervistu komandā jeb fārmklubā “Provicence Bruins” (Providensā, ASV), kas startēja Amerikas Hokeja līgas (American Hockey League, AHL) čempionātā. 08.04.1993. debitēja “Boston Bruins” sastāvā NHL čempionātā, debijas spēlē gūstot vienu rezultativitātes punktu ar piespēli, taču tosezon tā bija vienīgā S. Žoltoka spēle Bostonas komandā. Turpmāk pamīšus spēlēja gan Ziemeļamerikas spēcīgākajā – NHL – čempionātā, gan AHL un Starptautiskās Hokeja līgas (International Hockey League, IHL) čempionātos. No 2000./2001. gada sezonas profesionālajā hokejā startēja tikai NHL čempionātā, nestartējot rezervistu komandās.

Kopumā NHL čempionātā spēlēja 10 sezonas (1992/1993, 1993/1994, 1996/1997–2003/2004), kuru laikā aizvadīja 633 spēles – no tām 588 spēles regulārajā čempionātā un 45 spēles Stenlija kausa (Stanley Cup) izcīņā jeb play off (izslēgšanas spēlēs). Regulārajā čempionātā S. Žoltoks guva 258 rezultativitātes punktus (111 vārti + 147 rezultatīvas piespēles), izslēgšanas spēlēs 18 punktus (4 + 14). S. Žoltoka pārstāvētie NHL klubi: “Boston Bruins” (1992/1993, 1993/1994), “Ottawa Senators” (Otava, Kanāda; 1996/1997, 1997/1998), “Montreal Canadiens” (Monreāla, Kanāda; 1998/1999, 1999/2000, 2000/2001 līdz decembrim), “Edmonton Oilers” (Edmontona, Kanāda; 2000/2001 no decembra), “Minnesota Wild” (Sentpola, ASV; 2001/2002, 2002/2003, 2003/2004 līdz martam), “Nashville Predators” (Nešvila, ASV; 2003/2004 no marta). Kļuva par “Minnesota Wild” komandas kapteini. Pēdējo spēli NHL S. Žoltoks aizvadīja 17.04.2004. Stenlija kausa izcīņā.

Kopumā AHL čempionātā spēlēja piecas sezonas (1992/1993–1994/1995, 1998/1999, 1999/2000), kuru laikā aizvadīja 223 spēles – no tām 204 spēles regulārajā čempionātā un 19 spēles Kaldera kausa (Calder Cup) izcīņā jeb play off. Regulārajā čempionātā S. Žoltoks guva 194 rezultativitātes punktus (86+108), izslēgšanas spēlēs 21 punktu (11+10). S. Žoltoka pārstāvētie AHL klubi: “Provicence Bruins” (1992/1993–1994/1995), “Fredericton Canadiens” (Fredriktona, Kanāda; 1998/1999), “Quebec Citadelles” (Kvebeka, Kanāda; 1999/2000, tikai viena spēle).

Kopumā IHL čempionātā S. Žoltoks aizvadīja divas sezonas (1995/1996, 1996/1997), abas klubā “Las Vegas Thunder” (Lasvegasa, ASV), aizvadot 116 spēles – no tām 101 spēli regulārajā čempionātā un 15 spēles Tērnera kausa (Turner Cup) izcīņā jeb play off. Regulārajā čempionātā guva 128 punktus (64 + 64), izslēgšanas spēlēs 20 punktus (7 +13). Pēc 1995./1996. gada sezonas saņēma Dzelzsvīra balvu (Ironman Award), ko pasniedza vienam IHL spēlētājam, kurš attiecīgajā sezonā ir aizvadījis visas savas komandas spēles, kuru laikā parādījis izcilas spējas uzbrukumā un aizsardzībā.

Latvijas valstsvienībā S. Žoltoks debitēja B grupas (otrā līmeņa) pasaules čempionātā 12.04.1994. Kopenhāgenā. Latvijas izlases sastāvā piedalījies sešos pasaules čempionātos – t. sk. B grupā (1994) un A grupā jeb elitē (1997, 1999, 2001, 2002, 2004). Piecos augstākā līmeņa pasaules čempionātos aizvadīja 30 spēles, kurās guva 25 rezultativitātes punktus (15 + 10). Bija 2001. gada pasaules čempionāta trešais labākais vārtu guvējs starp visām izlasēm (pieci vārtu guvumi sešās spēlēs). 2001. un 2004. gada pasaules čempionātos bija rezultatīvākais spēlētājs Latvijas izlasē, bet 2002. gada pasaules čempionātā – viens no diviem rezultatīvākajiem (abiem ar Aleksandru Beļavski pa četriem punktiem). Epizodiski ir pildījis valstsvienības kapteiņa pienākumus, t. sk. Rīgas 800. gadadienai veltītajā turnīrā 08.2001. Augstākais sasniegums kopā ar Latvijas izlasi – divas reizes izcīnīta 7. vieta pasaulē (1997, 2004).

Hokeja uzbrucējs S. Žoltoks augstu vērtēts par meistarīgu individuālo tehniku un izcilu spēles izpratni, tāpēc dažkārt dēvēts par “hokeja profesoru”. Hokeja eksperti izcēluši uzbrucēja lielisko nūjas tehniku, izkopto slidojumu, ātrumu, izcilu spēles laukuma pārredzēšanu un saprašanos ar uzbrukuma maiņas partneriem.

Atsevišķās spēlēs ir saņēmis pārmetumus par pārlieku individuālu spēli un nepilnīgu līdzdalību aizsardzībā, taču kopumā, tostarp profesionālajā hokejā Ziemeļamerikā, ir guvis atzinību par pašaizliedzību un daudzpusīgu dalību gan uzbrukumā, gan aizsardzībā, ko arī apliecina IHL apbalvojums Ironman Award. S. Žoltoks pašaizliedzīgi rīkojās, dodoties hokeja laukumā 2003.–2004. gadā, kad saasinājās viņa veselības problēmas.

Lokauta sezonu (2004/2005), kad nenotika NHL čempionāts, S. Žoltoks iesāka “Rīga 2000” komandā Baltkrievijas atklātajā čempionātā. Regulārās sezonas spēles beigu posmā Minskā 03.11.2004. S. Žoltoks zaudēja samaņu, un uzreiz pēc spēles tika konstatēta sportista nāve.

Atvadīšanās no S. Žoltoka norisinājās 08.11.2004. Melngalvju namā Rīgā. S. Žoltoka piemiņai tika aizvadīti piemiņas pasākumi Latvijā un Ziemeļamerikā. Godinot sportista piemiņu, hokeja klubs “Rīga 2000” savā mājas spēļu laukumā Piņķos 11.2004. svinīgā ceremonijā pacēla S. Žoltoka spēļu kreklu un izņēma sportista numuru (Nr. 33) no apgrozības klubā.

Latvijas Hokeja federācija, godinot hokejista piemiņu, izņēma S. Žoltoku numuru (Nr. 33; pēdējais, ar kuru viņš spēlēja valstsvienībā) no apgrozības arī Latvijas izlasē. Svinīga numura iemūžināšanas ceremonija un S. Žoltoka piemiņas pasākums norisinājās pirms Latvijas hokeja izlases spēles 24.04.2019. “Arēnā Rīga”. Kopš 2021. gada Latvijas hokeja čempionāta labākajam uzbrucējam tiek pasniegta Sergeja Žoltoka vārdā nosaukta balva.

01.08.2005. Rīgas 55. vidusskola tika pārdēvēta par Rīgas Sergeja Žoltoka vidusskolu (kopš 2021. gada – pamatskola). Skolā ir izveidota Sergeja Žoltoka Atceres istaba. Kopš 2005. gada (ar pārtraukumiem) norisinās Sergeja Žoltoka piemiņas turnīrs hokejā. Biedrību un nodibinājumu reģistrā 06.01.2010. reģistrēts Sergeja Žoltoka fonds. Viens no tā mērķiem ir arī hokeja attīstības sekmēšana, atbalsts maznodrošinātajiem jaunajiem hokejistiem un S. Žoltoka piemiņai veltītu pasākumu organizēšana.