Dzimis šofera Guntara Baldera-Sildedža un rūpnīcas strādnieces Birutas Balderes-Sildedzes ģimenē, audzis Grīziņkalnā, kur guvis pirmo hokeja pieredzi “Daugavas” stadiona slidotavā. Mācījās Rīgas 49. vidusskolā, Rīgas 16. vidusskolā un Republikas Padomju Tirdzniecības tehnikumā (tagad Rīgas Tirdzniecības profesionālā vidusskola) pārtikas nozarē. 1983. gadā absolvēja Latvijas Valsts fiziskās kultūras institūta (tagad Latvijas Sporta pedagoģijas akadēmija) Neklātienes nodaļu fiziskās kultūras un sporta pasniedzēju specialitātē. Precējies ar vairākkārtējo Latvijas Padomju Sociālistiskās Republikas (LPSR) čempioni daiļslidošanā Anitu Būmani.

Četru gadu vecumā uzsāka daiļslidošanas treniņus. Tos pārtrauca desmit gadu vecumā, kad tika uzņemts “RVR” (Rīgas Vagonu rūpnīca) sporta skolas hokeja grupā. Par H. Baldera pirmo hokeja treneri kļuva Edgars Klāvs. H. Balderis startēja “RVR” jauniešu komandās. 1966./1967. gada sezonā “RVR” sastāvā spēlēja Latvijas Padomju Sociālistiskās Republikas (LPSR) hokeja čempionātā, sacenšoties ar pieaugušo komandām. Turpināja trenēties 1967. gadā izveidotajā “RVR” specializētajā hokeja skolā. Divas sezonas startēja “RVR” vienības sastāvā Padomju Sociālistisko Republiku Savienības (PSRS) B klases hokeja čempionātā (1967/1968, 1968/1969).

1968. gada sākumā 15 gadu vecumā H. Balderis debitēja Rīgas “Dinamo” sastāvā PSRS A klases otrās grupas (līgas) jeb trešā līmeņa čempionātā. Pakāpeniski izcīnīja vietu “Dinamo” pamatsastāvā un kļuva par vienu no komandas vadošajiem spēlētājiem. Kopā ar komandu sīvā cīņā trešā līmeņa un otrā līmeņa čempionātos izcīnīja tiesības startēt PSRS Augstākajā līgā, kur Rīgas “Dinamo” piedalījās no 1973./1974. gada sezonas.

Rīgas “Dinamo” sastāvā PSRS čempionātos aizvadīja kopā 15 sezonas (1967/1968–1976/1977, 1980/1981–1984/1985). “Dinamo” rezultatīvākais spēlētājs astoņas sezonas (1974/1975–1976/1977, 1980/1981–1984/1985), no tām septiņas sezonas arī komandas labākais vārtu guvējs. Ievērojams meistarības apliecinājums bija PSRS Augstākās līgas spēlē 25.01.1977. Rīgā īstenotie H. Baldera četri vārtu guvumi, kas panākti pret tā laika izcilāko PSRS vārtsargu Vladislavu Tretjaku (Владислав Александрович Третьяк). No 1980. līdz 1985. gadam H. Balderis bija Rīgas “Dinamo” komandas kapteinis.

Trīs sezonas (1977/1978–1979/1980) aizvadīja Maskavas CSKA (ЦСКА, Центральный спортивный клуб Армии; latviskoti – ACSK) komandas sastāvā PSRS Augstākajā līgā. CSKA rindās visus trīs gadus kļuva par PSRS čempionu (1978–1980).

Kopumā PSRS Augstākajā līgā aizvadīja 462 spēles, kurās guva 580 rezultativitātes punktus (333 vārti + 247 rezultatīvas piespēles). Atzīts par 1976./1977. gada sezonas PSRS čempionāta labāko hokejistu, iegūstot izdevuma Futbol-Hokkej (Футбол-Хоккей) balvu. Tosezon iekļauts arī PSRS čempionāta simboliskajā labāko spēlētāju sešiniekā. Divas sezonas bija PSRS Augstākās līgas rezultatīvākais spēlētājs (1976/1977, 1982/1983), bet trīs sezonas šīs līgas labākais vārtu guvējs (1975/1976 – viens no diviem, 1976/1977, 1984/1985).

12.1970.–01.1971. PSRS U-19 izlases sastāvā piedalījās Eiropas U-19 hokeja čempionātā, izcīnot zelta godalgas. Bija viens no diviem labākajiem vārtu guvējiem turnīrā.

1975.–1985. gadā (ar pārtraukumiem) bija PSRS hokeja izlases sastāvā. PSRS izlases sastāvā piedalījās 1980. gada ziemas olimpiskajās spēlēs Leikplesidā un piecos pasaules čempionātos; kļuva par olimpisko vicečempionu (1980), trīs reizes ‒ par pasaules un Eiropas čempionu (1978, 1979, 1983). 1976. gada pasaules čempionātā izcīnīja sudraba godalgu, 1977. gadā – 3. vietu. 1977. gada pasaules čempionātā H. Balderis tika atzīts turnīra labāko uzbrucēju. 1978. gada pasaules čempionātā bija labākais vārtu guvējs.

PSRS izlases sastāvā 09.1976. piedalījās arī Kanādas kausa (Canada Cup, Coupe Canada) izcīņā, 02.1979. Izaicinājuma kausa (Challenge Cup) triju spēļu sērijā pret Ziemeļamerikas profesionālās hokeja līgas ‒ Nacionālās hokeja līgas (National Hockey League, NHL) ‒ zvaigžņu izlasi (NHL All-Stars), sešos laikraksta Izvestija (Известия) balvas izcīņas turnīros (1975–1980), kuros par uzvarētāju kļuva piecas reizes (1975, 1976, 1978–1980). PSRS izlases sastāvā vairākkārt startēja un izcīnīja uzvaru laikraksta Rudé Právo balvas izcīņā Čehoslovākijā. Kopumā PSRS izlasē ir aizvadījis 147 spēles, t. sk. augstākā līmeņa turnīros (olimpiskajās spēlēs un piecos pasaules čempionātos) aizvadīja 54 spēles, kuru gaitā guva 63 rezultativitātes punktus (33 vārti + 30 rezultatīvas piespēles).

PSRS izlases (saukta arī par PSRS klubu izlasi) sastāvā H. Balderis piedalījās t. s. Supersērijas spēlēs pret Ziemeļamerikas profesionālās hokeja līgas ‒ Pasaules Hokeja asociācijas (World Hockey Association, WHA) ‒ klubiem 12.1976.–01.1977. (norisinājās Amerikas Savienotajās Valstīs (ASV) un Kanādā) un 12.1977.–01.1978. (norisinājās Japānā, ASV un Kanādā). Maskavas CSKA sastāvā startēja t. s. Supersērijas spēlēs pret NHL klubiem 12.1979.–01.1980. (norisinājās ASV un Kanādā). H. Balderis kā komandas pastiprinājums spēlēja Maskavas Dinamo sastāvā t. s. Supersērijas spēlēs pret Kanādas olimpisko izlasi 12.1984.–01.1985. Kanādā.

1985. gada vasarā pārtrauca profesionāla hokejista karjeru un turpmākās četras sezonas (1985/1986–1988/1989) bija treneris komandā Oji Seishi Tomakomai (tagad Red Eagles Hokkaido; Tomakomajā, Japānā). H. Baldera trenera darbības laikā komanda kļuva par Japānas čempionvienību (1986, 1987, 1988). 04.‒05.1986. piedalījās LPSR čempionāta dažās spēlēs komandas “9. maijs” sastāvā.

Pirms 1989./1990. gada sezonas H. Balderis uzņēmās Rīgas “Dinamo” galvenā trenera pienākumus, sāka komandas treniņus un gatavošanos PSRS Augstākās līgas čempionātam, taču, saņemot piedāvājumu spēlēt NHL čempionātā, H. Balderis trenera darbu “Dinamo” komandā 1989. gada vasarā pārtrauca.

06.1989. NHL ikgadējā jauno spēlētāju pieteikumā jeb draftā (entry draft) H. Balderi ar kopējo 238. numuru izvēlējās hokeja klubs Minesotas North Stars (Blūmingtona, ASV), rezervējot tiesības slēgt līgumu ar hokejistu. Tobrīd 36 gadus vecais H. Balderis kļuva par vecāko spēlētāju, kurš jebkad iekļauts NHL jauno spēlētāju pieteikumā.

1989. gadā Minesotas North Stars pirmssezonas treniņnometnē H. Balderis nodemonstrēja gatavību atgriezties augstākā līmeņa profesionālajā hokejā, un klubs noslēdza līgumu ar spēlētāju. H. Balderis 05.10.1989. debitēja Minesotas North Stars sastāvā, kļūstot par pirmo Latvijas hokejistu, kurš spēlējis NHL čempionātā. Pirmos vārtus šajā līgā tobrīd 37 gadus vecais H. Balderis guva 02.11.1989., kļūstot par visu laiku vecāko NHL debitantu-vārtu guvēju. H. Balderis NHL čempionātā aizvadīja vienu sezonu (1989/1990); visas savas 26 spēles Minesotas North Stars sastāvā, gūstot deviņus rezultativitātes punktus (3 + 6).

Pēc atgriešanās Latvijā 1991./1992. gada sezonā spēlēja “LNSS Energo” (LNSS – Latvijas Nacionālā sporta skola; līdz 1991. gadam “RASMS Energo”; RASMS – Republikas augstākās sporta meistarības skola) komandā Krievijas atklātā čempionāta 2. līgā (trešā līmeņa turnīrs) un komandā “Vecmeistars” Latvijas čempionātā. Vēl dažas sezonas aizvadīja Latvijas čempionātā komandās “Latvijas zelts” (1992/1993, 1993/1994) un “Essamika” (1994/1995, 1995/1996). 1992./1993. gada sezonā ar 22 spēlēs gūtiem 142 rezultativitātes punktiem (76 vārti + 66 rezultatīvas piespēles) H. Balderis bija Latvijas čempionāta rezultatīvākais spēlētājs un labākais vārtu guvējs. Vēlāk spēlēja veterānu un amatieru hokeja turnīros.

Latvijas valstsvienībā H. Balderis 07.‒08.11.1992. Rīgā aizvadīja divas spēles C grupas jeb trešā līmeņa pasaules čempionāta kvalifikācijas turnīrā. Tās bija atjaunotās Latvijas hokeja izlases pirmās spēles pēc Latvijas valstiskās neatkarības atgūšanas un dalības atjaunošanas Starptautiskajā Hokeja federācijā (International Ice Hockey Federation, IIHF). H. Balderis bija Latvijas izlases kapteinis šo divu spēļu laikā, kļūstot par pirmo atjaunotās Latvijas hokeja valstsvienības kapteini. Izlases spēles norises laikā 08.11.1992. H. Balderis kapteiņa pienākumus nodeva Konstantīnam Grigorjevam, simboliski atvadoties no spēlētāja gaitām izlasē. Divās spēlēs valstsvienībā guva četrus rezultativitātes punktus (2 + 2).

H. Balderis bija pirmais atjaunotās Latvijas hokeja izlases galvenais treneris (1992–1994). Trenera darbu veica līdztekus spēlēšanai 11.1992. C grupas pasaules čempionāta kvalifikācijas turnīrā, kopā ar izlasi izcīnot tiesības startēt pasaules čempionātā. Trenēja Latvijas izlasi, kas C grupas pasaules čempionātā 03.1993. Slovēnijā uzvarēja un izcīnīja tiesības startēt B grupas jeb otrā līmeņa pasaules čempionātā. H. Baldera trenētā Latvijas izlase B grupas pasaules čempionātā 04.1994. Kopenhāgenā ieguva 2. vietu. H. Balderis periodiski darbojās Latvijas izlases ģenerālmenedžera postenī, bija valsts delegācijas dalībnieks pasaules čempionātos, darbojās Latvijas Hokeja federācijas (LHF) valdē un pildījis LHF viceprezidenta pienākumus.

Kā hokeja uzbrucējs popularitāti un atzinību guva par virtuozitāti, līdz perfektumam izslīpētu nūjas tehniku, ideālu driblu, izcilām slidošanas prasmēm, lielu ātrumu un augstu rezultativitāti. Izcēlās ar precizitāti piespēlēs un metienos, ļoti labu reakcijas ātrumu, izcilu laukuma pārredzēšanu un spēcīgu metienu. H. Baldera talanta ietekmē daudzi bērni un jaunieši izvēlējās nodarboties ar hokeju. H. Baldera sniegums veicināja hokeja kļūšanu par vienu no populārākajiem sporta veidiem Latvijā.

Hokejista un trenera karjeras noslēgumā darbojās ar hokeju saistītā un nesaistītā uzņēmējdarbībā. Bija akciju sabiedrības “Rīgas Sporta pils” (vēlāk – nacionālā sporta bāze “Rīgas Sporta pils”) prezidents un “Rīgas sporta pils” akcionārs, darbojās organizācijā “H. Baldera hokeja skola” (“BHS”), bija uzņēmumu “Ceļu pārvalde” un “Rīgas autostāvvietas” pilnvarnieks, bijis farmācijas uzņēmuma “Olainfarm” padomes priekšsēdētājs, zemstikla dārzeņu audzēšanas uzņēmuma “Mārupes siltumnīcas” akcionārs. Kā amatpersona un akcionārs darbojies arī citos uzņēmumos. 1997. gadā ievēlēts par Rīgas domes deputātu (no partijas “Latvijas Ceļš” saraksta).

1998. gadā H. Balderis kā pirmais Latvijas pārstāvis uzņemts Starptautiskās Hokeja federācijas Slavas zālē (Hall of Fame). Latvijas Hokeja federācija, godinot sportista ieguldījumu Latvijas hokejā, izņēma H. Baldera numuru (Nr. 19, ar to viņš spēlēja valstsvienībā un Rīgas “Dinamo”) no apgrozības Latvijas izlasē.

2002. gadā kā trīskārtējs pasaules čempions hokejā apbalvots ar Triju Zvaigžņu ordeni (IV šķira; 2002). Arī iepriekš, padomju okupācijas laikā, novērtēts ar dažādu PSRS iestāžu apbalvojumiem. Par teicamiem sasniegumiem 1978. gada pasaules un Eiropas čempionātā PSRS Ministru padomes Fiziskās kultūras un sporta komiteja piešķīra H. Balderim prestižo goda nosaukumu “PSRS Nopelniem bagātais sporta meistars” (1978) un PSRS Augstākās Padomes prezidijs apbalvoja H. Balderi ar Tautu draudzības ordeni (1978).