Dzimis Rīgā strādnieku ģimenē, tēvs kritis Sarkanajā armijā Otrā Pasaules kara laikā. Mācījās Rīgas 36. septiņgadīgajā skolā, kuru pabeidza 1955. gadā, gandrīz visu dzīvi dzīvojis Pārdaugavā, Iļģuciemā. Dzīvesbiedre Olga, dēls – Armands.

Ar futbolu G. Ulmanis sāka nodarboties 13 gadu vecumā “Daugavas” sporta skolā pēc trenera Vadima Ulberga uzaicinājuma. Sākumā paralēli trenējās arī basketbolā pie Jura Silarāja. Pēc sporta skolas beigšanas 1955. gadā G. Ulmanis divus gadus spēlēja “Rīgas tekstila” futbola komandā, kas piedalījās Rīgas čempionātā, kā arī sāka strādāt “Rīgas tekstilā” par vērpšanas meistara mācekli. 1957. gadā Rīgas “Daugavas” meistarkomandas treneris V. Ulbergs uzaicināja G. Ulmani izmēģināt spēkus Latvijas Padomju Sociālistiskās Republikas (LPSR) galvenajā futbola komandā, kur viņš debitēja starptautiskajā draudzības spēlē ar Polijas komandu Katovices “Górnik”, izceļoties ar trīs vārtu guvumiem (“Daugava” uzvarēja ar 5:1). 1957. gadā G. Ulmanis PSRS čempionātā aizvadīja vien piecas spēles, bet nākamajā gadā viņš jau kļuva par vienu no komandas līderiem, gūstot desmit vārtus, kas bija otrs labākais rādītājs komandā.

No 1960. līdz 1962. gadam Rīgas “Daugava” ar G. Ulmani sastāvā spēlēja PSRS meistarsacīkšu augstākajā līgā jeb A klasē. Tas bija pēdējais laikposms, kad Latvijas futbola komanda piedalījās PSRS čempionāta augstākajā līmenī. Pēc tam, jau spēlējot PSRS čempionāta 1. līgā, G. Ulmanis divas sezonas bija “Daugavas” rezultatīvākais spēlētājs (1963. un 1966. gadā). 20. gs. 60. gados “Daugava” PSRS čempionātā piedzīvoja vienu no saviem labākajiem periodiem komandas vēsturē, regulāri Rīgā pulcējot skatītāju pilnas tribīnes, bet komandas populārākie spēlētāji bija uzbrucēju tandēms G. Ulmanis un Georgijs Smirnovs.

1967. gadā “Daugavai” pietrūka viena punkta, lai atkal iekļūtu PSRS augstākajā līgā. Latvijas futbola vēsturē ir ierakstīta šīs sezonas izskaņas spēle ar Krasnodaras “Kubaņ” (Кубань), kad “Daugava” Rīgā ap 20 tūkstošu skatītāju klātbūtnē izcīnīja svarīgu uzvaru, bet pēc spēles līdzjutēji tribīnēs dedzināja avīzes un sarīkoja gājienu no stadiona. Tā laika līdzjutēju sauklis “Lai dzīvo Ulmanis un viņa aizsargi!” bija adresēts futbolistam G. Ulmanim un komandas aizsardzības spēlētājiem, taču faktiski vārdu spēle nozīmēja arī uzsaucienu “lai dzīvo!” pēdējam neatkarīgās Latvijas valsts vadītājam Kārlim Ulmanim un viņa atbalstītajiem Latvijas Aizsargu organizācijas dalībniekiem pirms valsts okupācijas. Divdomību veicināja arī G. Ulmaņa iesauka Kaža (pamazināmā forma no vārda Kārlis). 1968. gadā G. Ulmanis aizvadīja vēl vienu spilgtu starptautisko maču, gūstot abus vārtus, kad “Daugava” viesos ar 2:1 uzvarēja Bulgārijas olimpisko izlasi.

G. Ulmanis “Daugavas” meistarkomandā spēlēja no 1957. līdz 1969. gadam, 13 sezonu laikā PSRS čempionātā gūstot 80 vārtus. Vairāk sezonu “Daugavas” meistarkomandā ir aizvadījuši tikai G. Smirnovs un Aleksandrs Starkovs. Karjeras beigas “Daugavā” G. Ulmanim gan izvērtās bēdīgas – pēc 1969. gada sezonas padomju sporta funkcionāri viņam kopā ar otru komandas zvaigzni G. Smirnovu piesprieda beztermiņa diskvalifikāciju, jo, braucot uz draudzības mačiem Vācijas Demokrātiskajā Republikā, uz robežas PSRS muitas punktā pie “Daugavas” futbolistiem atrada vairāk naudas, nekā bija atļauts ņemt līdzi, kas PSRS bija kontrabanda.

Pēc pusgada diskvalifikācija tika atcelta, taču “Daugavā” G. Ulmanis vairs neatgriezās, vispirms kļūstot par Latvijas čempionāta komandas “Radiotehniķis” spēlējošo treneri, bet no 1975. līdz 1982. gadam “Radiotehniķī” turpinot pildīt tikai trenera pienākumus. Pēc 1982. gada, kad G. Ulmanis beidza trenēt “Radiotehniķi”, viņš līdz 80. gadu beigām bija strādnieks – piektās kategorijas frēzētājs. Neatkarības gados G. Ulmanis vairākus gadus strādāja ar jaunajiem futbolistiem “Pārdaugavā” (no 1991. līdz 1995. gadam) un Rīgas Futbola skolā (no 1996. gada). Vecumdienās G. Ulmanim saasinājās veselības problēmas, un viņam tika amputētas abas kājas.

“Daugavas” meistarkomandā G. Ulmanis spēlēja labējā malējā uzbrucēja pozīcijā. 1966. gadā G. Ulmanis tika ievēlēts par “Daugavas” meistarkomandas kapteini, pildot šos pienākumus nākamās sezonas. “Labākais komandas tehniķis. Gudrs un aukstasinīgs futbolists. Darba apjoms nav sevišķi liels, toties katrā spēles situācijā ļoti bīstams,” tā pēc 1967. gada sezonas G. Ulmanis raksturots laikrakstā “Sports”.

2006. gadā Latvijas Futbola federācijas (LFF) rīkotajā futbola speciālistu aptaujā G. Ulmani iekļāva Latvijas futbola simtgades simboliskajā vienpadsmitniekā. LFF ik gadu rīko G. Ulmaņa un G. Smirnova kausa izcīņu futbola veterāniem, kas 2023. gadā risinājās jau 18. reizi.