Areāls ir salīdzinoši neliels un iekļauj Balkānu pussalu, Rumāniju, Ungāriju, Slovākiju, un ziemeļos sniedzas līdz Baltijas jūrai, aptverot Lietuvu, Latviju un Igauniju. Rietumos areāls plešas no Mēklenburgas-Priekšpomerānijas Vācijā cauri Polijai, Baltkrievijai un Ukrainai līdz Novgorodas un Rjazaņas apgabaliem Krievijā austrumos. Nelielā skaitā mazais ērglis ir sastopams izolētās populācijās Kaukāza reģionā – Gruzijā, Armēnijā, Azerbaidžānā, arī Irānā un uz dienvidiem no Melnās jūras, Turcijā. Aptuveni 99 % no populācijas ligzdo Eiropā. Pasaules ligzdojošā populācija varētu būt aptuveni 19 000 pāru liela. Nozīmīgākās populācijas atrodas Latvijā (ligzdo aptuveni 4300 pāru jeb 20 % no pasaules populācijas), Baltkrievijā, Rumānijā, Polijā, Lietuvā, Igaunijā un Ukrainā, kā arī Krievijas Federācijas Eiropas daļā, Slovākijā un Bulgārijā.
Mazais ērglis ir migrējoša suga. Tas ziemo Āfrikā, uz dienvidiem no ekvatora – Dienvidāfrikā, Mozambikā, Zimbabvē un Zambijā. Mazie ērgļi atšķirīgā ligzdošanas blīvumā ir sastopami visā Latvijas teritorijā. Tie izvairās no plašiem sausieņu priežu mežiem un ligzdo galvenokārt mežsaimniecības maz ietekmētos un pieaugušos auglīgo tipu mežos, lauksaimniecībā izmantojamo zemju un jo īpaši zālāju tuvumā. Ligzdas būvē galvenokārt eglēs un bērzos, kā arī ozolos, apsēs un melnalkšņos. Nozīmīgākie barības dzīvnieki ir Microtus ģints peļveidīgie grauzēji un vardes, mazākā skaitā arī kurmji un uz zemes ligzdojošie putni. Medī galvenokārt dažāda veida zālāju biotopos.