Ligzdo tundras zonas dienvidu daļā un mežatundrā no Norvēģijas ziemeļu daļas līdz Čukču pussalai. Ziemo Eiropas dienvidaustrumu daļā, Kaspijas jūras reģiona dienvidu daļā (Azerbaidžānā, Irākā, Irānā, Turkmenistānā) un Āzijas dienvidaustrumu daļā (Ķīnas austrumu daļā, Japānā un Korejas pussalā). Pasaules populācija sarūk.
Ligzdošanas izplatība Eiropā kopš 20. gs. 80. gadiem stipri samazinājusies. Ilgtermiņā populācija Eiropā samazinās, taču īsākā termiņā redzams populācijas pieaugums.
Senākie mazās zoss reģistrēšanas gadījumi Latvijas teritorijā zināmi no Latvijas Nacionālā dabas muzeja eksemplāriem. 1860. gada 22. aprīlī viens pieaudzis putns iegūts “Rīgā” (norāde uz etiķetes). 1902. gada 10. oktobrī vienu jauno putnu F. E. Štolls nopircis Rīgas tirgū. Arī turpmāk laiku pa laikam novēroti atsevišķi caurceļojoši putni. Mūsdienās, visticamāk, caurceļo katru gadu, bet niecīgā skaita dēļ (parasti novēroti 1–3 indivīdi) ne vienmēr tiek pamanīta.
Mazā zoss atzīta par apdraudētu gan pasaulē kopumā, gan Eiropā. Latvijā, ņemot vērā sugas reto sastopamību, tās apdraudētību vērtēt nav atbilstoši.
Būtisks drauds sugai gan ligzdošanas vietās, gan caurceļošanas laikā un ziemošanas vietās ir medības, tostarp arī sugas nejauša nošaušana, sajaucot ar citām zosu sugām. Arī Latvijā 21. gs. zināms gadījums, kad mazā zoss nošauta medībās, – 2023. gada 9. oktobrī Vecsaules pagastā. Īpaši liela ietekme ir medībām apstāšanās un ziemošanas vietās. Nozīmīga negatīva ietekme ir arī traucējumam – gan medībām, gan apzinātai putnu biedēšanai no barošanās vietām apstāšanās un ziemošanas vietās. Zālāju un mitrāju pārvēršana par aramzemēm var samazināt sugas dzīvotni ziemošanas vietās, ja laukos tiek audzētas kultūras, kurās mazā zoss nevar baroties, bet, no otras puses, lauki, kuros zosis var baroties, var kļūt par piemērotu dzīvotni. Negatīva ietekme uz sugas dzīvotni ir arī upju regulēšanai, zālāju pārganīšanai vai pretēji – apsaimniekošanas pārtraukšanai. Potenciāli sugas ligzdošanas dzīvotni negatīvi ietekmēt var arī klimata pārmaiņas.