Vēsture Pilsētas ziemeļaustrumu daļā atrodas 7.–17. gs. kapulauks, kas apliecina senu apkaimes apdzīvotību. Madona ir vienīgā pilsēta Latvijā, kuras mūsdienu teritorijā, Salas ezerā, ir zināmas ezermītnes atliekas.
Madonas muiža (Modohnen) veidojusies 17. gs., 1691. gada kartē tā iezīmēta pie nelielās Madonas upītes (Modohn Uppe), kas savukārt iztek no ziemeļos esošā Madonas ezera (Modohn Lacus). Muižas zemnieku sētas atradās ziemeļos un austrumos no centra, dienvidos un rietumos atradās Lazdonas muižas (Lasdohn) zemnieku zeme.
Biezāk apdzīvota vieta pie Madonas muižas veidojās līdz ar šaursliežu dzelzceļa Stukmaņi–Gulbene–Valka būvniecību 19. un 20. gs. mijā (atklāts regulārai satiksmei 1903. gada augustā). Muižas īpašnieks Ādolfs fon Vulfs (Adolf Gerhard Boris Emil Baron von Wulf) iznomāja nelielus centra zemes gabalus apbūvei amatniekiem, tirgotājiem un ierēdņiem. Ēkas tika celtas arī uz līdzās esošā Lazdonas pagasta zemnieku zemēm. Apkārtne ietilpa Cēsu apriņķī, līdz apriņķa centram – 90 km. Šeit tika izvietotas atsevišķu pārvaldes un tiesu iestāžu apakšnodaļas. Par muižas īpašnieka līdzekļiem celti vairāki nami, kuros telpas nomāja policijai, tiesām un cietumam, arī viesnīcai un veikaliem. Topošā Madonas pilsēta tolaik ietilpa Sarkaņu pagasta teritorijā un Lazdonas luterāņu draudzē, kopš 1847. gada apkārtnē darbojās arī Lazdonas pareizticīgo draudze. Abu draudžu baznīcas mūsdienās atrodas pilsētā.
1908. gada rudenī atklāta Biržu Izglītības biedrības meiteņu proģimnāzija, kas pārtapa par pilntiesīgu ģimnāziju, vēlāk tai pievienota zēnu reālskola.
Pirmā pasaules kara laikā, lai apgādātu armiju, dzelzceļa posms Pļaviņas (Stukmaņi)–Gulbene tika pārbūvēts par platsliežu dzelzceļu, no Gulbenes tas turpinājās līdz Pitalovai. Pie Madonas stacijas tika uzceltas vairākas ēkas karaspēka vajadzībām.
Pēc Latvijas Republikas nodibināšanas, vēl pirms agrārās reformas likuma pieņemšanas, muižas īpašnieks Ā. fon Vulfs gadsimta sākumā celtās ēkas vēlākajās Blaumaņa un Poruka ielās pārdeva privātīpašniekiem. 1921. gada pavasarī Cēsu apriņķa padome piekrita Madonas iedzīvotāju priekšlikumam veidot miestu ar savu pašvaldību. 2. maijā iekšlietu ministrs noteica, ka miesta iestādes sāk darbu no 1. jūlija. Miesta, pēc tam pilsētas sākotnējā platība bija 2,62 km2.
Miesta dome atradās miertiesai celtajā namā Blaumaņa ielā, to no muižas īpašnieka bija atpircis namīpašnieks Kārlis Puiše. Dome nesekmīgi centās anulēt muižas īpašnieka slēgtos līgumus par atsevišķu ēku pārdošanu privātpersonām, norādot, ka ēkas vajadzīgas sabiedriskām vajadzībām. Tā Madona bija vienīgā vieta Latvijā, kur cietums atradās privātā ēkā.
Vidzemē no 1925. gada 1. aprīļa tika izveidots jauns apriņķis – Madonas apriņķis – ar centru Madonā.
1923. gadā arhitekts Arnolds fon Maidels (Arnold Konstantin Hermann von Maydell) sagatavoja miesta apbūves plānu, lielāko daļu muižas centra zemes sadalot apbūves gabalos (kopā 308), tika paredzētas vietas arī sabiedriskajai apbūvei un ieplānots ielu tīkls. Pirmie ielu nosaukumi apstiprināti 1923. gada septembrī. Miesta dome 1925. gada sākumā rosināja veidot Madonu par pilsētu, 1926. gada 7. jūnijā Valsts prezidents parakstīja likumu par pilsētas tiesību piešķiršanu Madonai.
1926. gadā tika atklāta jaunuzceltā vidusskolas ēka (mūsdienās Madonas valsts ģimnāzija), 1934. gadā – pilsētas pamatskolas ēka, 1928. gadā – apriņķa valdes un policijas nams, 1933. gadā – slimnīca. 1935. gada nozīmīgākā jaunbūve Latvijā bija oktobrī atklātais Aizsargu nams (mūsdienās Madonas Kultūras nams).
Apkaime bija svarīga Latvijas piensaimniecībā. 1929. gadā Madonas stacija atzīmēta kā Vidzemē lielākais sviesta iekraušanas punkts. Te strādāja vairāki gateri, galdnieku un mehāniskās darbnīcas, ādu ģērētava, darbojās apkārtnē pieprasīta ratu un ragavu darbnīca.
1931. gadā kilometru uz ziemeļiem no pilsētas tika plānots celt retranslācijas staciju, kas Rīgas radiofona programmu ļautu labāk uztvert Latvijas austrumdaļā. Te trūka pietiekama elektroenerģijas nodrošinājuma, raidstaciju uzcēla Kalsnavas pagastā līdzās Aiviekstes spēkstacijai, taču tā darbojās ar nosaukumu “Madona”. 20. gs. 30. gados projektēta dzelzceļa līnija Rīga–Ērgļi–Madona–Lubāna–Kārsava. 1935. gadā atklāts posms Madona–Lubāna, 1937. gadā atklāta līnija Rīga–Ērgļi, turpmākos darbus pārtrauca Otrais pasaules karš. 1939. gada beigās pilsētā un apkārtnē ieradās atsevišķas Latvijas armijas apakšvienības. Nākamajā vasarā te izvietojās sarkanarmieši.
Otrajā pasaules karā pilsēta cieta nedaudz, tika sagrautas sešas ēkas. Līdz 20. gs. 50. gadu vidum Madonā bija padomju armijas garnizons, tad lielāku militāru bāzi ierīkoja Mārcienā (1957–1994).
Pirmajos padomju otrreizējās okupācijas gados vairākkārt mainītas apriņķa, rajona un novada robežas, Madona visu laiku bija centrs. 1951. gadā tika izstrādāts Madonas ģenerālplāns, nākamais – 1974. gadā, tad – 2005. gadā, vēlāk tas papildināts. Pilsētai pievienotas zemes no Lazdonas, Praulienas un Sarkaņu ciema. 60. gadu vidū izveidota Rūpniecības iela kā pilsētas apvadceļš, no kura doties virzienā uz Pļaviņām, Cēsīm, Gulbeni, Rēzekni un Jēkabpili. Daudzdzīvokļu ēku apbūve sākumā koncentrējās pilsētas ziemeļos pie Rūpniecības ielas, vēlāk gar Raiņa ielu, tad rietumdaļā pie Augu ielas. Pie agrākā tirgus laukuma (mūsdienās Saieta laukums) uzcelta administratīvā ēka. Nozīmīgāki saimnieciski uzņēmumi izvietoti ziemeļaustrumos, aiz Rūpniecības ielas. Dienvidaustrumos līdz 70. gadu vidum ieguva smiltis un granti satiksmes būvēm. Pēc strādājošo skaita un arī ražošanas apjoma lielākā bija Kombinētās lopbarības rūpnīca (atklāta 1967. gadā). Metālizstrādājumu rūpnīcas “Darba spars” Madonas filiālē tika montētas galda lampas, lustras, arī mājās izmantojamās kvarca lampas. 90. gados darbs pārtraukts.