Mazais dzenis visvairāk ligzdo gaišos lapu koku mežos un mežmalās, kur ir daudz nokaltušu koku un stumbeņu. Bieži sastopams upju un ezeru piekrastēs, parkos, kapsētās un augļu dārzos.
Areāla lielākajā daļā mazais dzenis ir nometnieks. Ziemeļu populācijām rudeņos raksturīgas neregulāras migrācijas, kurās lielāks skaits indivīdu, pārsvarā jaunie putni, dodas rietumu vai dienvidu virzienā. Tāpat kā citām Eiropas dzeņu sugām, mazajam dzenim gadā ir viens perējums. Ligzdošanas sezonā viena pāra izmantotā teritorija (15–50 ha) ir lielāka nekā dižraibajam vai vidējam dzenim. Ligzdo koku dobumos, kurus parasti katru gadu aprīlī kaļ no jauna. Ļoti bieži izvēlas nelielus, nokaltušus vai nolūzušus lapu kokus (stumbeņus) ar mīkstu koksni: apses, alkšņus, vītolus un bērzus. Latvijā mazākais reģistrētais ligzdas koka diametrs krūšu augstumā ir 15,6 cm, vidēji tas ir 24 cm. Citviet bieži ligzdo lielu, dzīvu koku nokaltušos zaros. Tas ir sevišķi raksturīgi vecos augļu dārzos Vācijā un Anglijā. Par ligzdas materiālu kalpo tikai pēc kalšanas dobumā atstātās skaidas. Dējumā visbiežāk 5–6 baltas olas, perē 10–12 dienas. Dobuma kalšanā un perēšanā piedalās abi pieaugušie putni. Naktis ligzdas dobumā pavada tēviņš. Mazuļi atstāj ligzdu 19–23 dienas pēc izšķilšanās, pieaugušie turpina tos barot aptuveni divas nedēļas pēc izvešanas.
No rudens līdz vēlam pavasarim mazais dzenis barojas pārsvarā ar nelielu koksngraužu kāpuriem, kurus iegūst galvenokārt dzīvu lapu koku nokaltušos zaros vai zem koku mizas. Vasarā tas pārtiek no dažādiem posmkājiem, kas dzīvo uz koku vai lapu virsmas. Ķermeņa izmēri un nelielais svars ļauj izmantot substrātus, kuri citiem dzeņiem nav pieejami – ļoti tievus koku zarus un lielāku lakstaugu stublājus. Mēdz baroties niedrājos. Neligzdošanas sezonā barības meklējumos bieži pārvietojas kopā ar zīlīšu bariņiem. Augu barību – ogas, augļus, sēklas – izmanto reti.