Zilupes rašanās un attīstība ir tieši saistīta ar dzelzceļa līnijas Ventspils–Maskava–Ribinska būvniecību – apdzīvotā vieta sāka veidoties ap 1900. gadu uz barona fon Rozena (von Rosen) zemes pie Pasienes pagasta Riucānu sādžas. Dzelzceļa stacija “Rozenova” tika atklāta 1901. gadā – līdzās tai apmetās dzelzceļa strādnieki un kalpotāji, dažādu arodu meistari un tirgotāji. Zilupe kļuva par lokāla lauksaimniecības areāla centru, kas strauji attīstījās. 1908. gadā Zilupē jau bija zemstes priekšnieks, policijas pristavs, darbojās pasts, skola, kā arī daudzi tirdzniecības uzņēmumi.
Cariskās Krievijas laikā Zilupe atradās Vitebskas guberņas Ludzas apriņķī. Saimnieciskās attīstības līmeņa ziņā te pārsvarā bija nelielas zemnieku saimniecības, ievērojami zemāks bija lauksaimniecības kultūru ražīgums un divkārt lielāks lauku apdzīvojums nekā pārsvarā latviešu apdzīvotajās teritorijās. Zilupei piegulošajos pagastos latvieši bija izteikta etniskā minoritāte, jo šeit dominēja austrumslāvu tautas – krievi un baltkrievi.
Zilupes attīstību pārtrauca Pirmais pasaules karš un drīz pēc tā beigām novilktā valsts robeža, kas atradās vien 2 km uz austrumiem no šīs apdzīvotās vietas. Līdz ar to ievērojami saruka Zilupes ietekmes areāls un arī samazinājās tās nozīme kā satiksmes centram. 1925. gadā Zilupei tika piešķirts biezi apdzīvotas vietas statuss, bet 1931. gadā – arī pilsētas tiesības. Tolaik Zilupē bija 287 dzīvojamās mājas, no kurām tikai 6 bija mūra vai jaukta materiāla ēkas, visas pārējās bija no koka, bet 97 % māju bija vienstāva ēkas. Kaut gan Zilupe oficiāli skaitījās pilsēta, tomēr lauku apdzīvotās vietas raksturu tā nezaudēja – galvenā iedzīvotāju nodarbošanās bija tirdzniecība, lauksaimniecība un sīkamatniecība. Pilsētā darbojās Zilupes iecirkņa miertiesnesis un tiesu izpildītājs, Ludzas apriņķa policijas 3. iecirknis, Zilupes virsmežniecība, Zilupes rajona agronoms, būvtehniķis un dārzkopības instruktors, kā arī Zilupes muitnīca.
Starpkaru periodā Zilupe bija izteikti daudznacionāla pilsēta. 1935. gada tautas skaitīšana uzrāda, ka Zilupē tolaik dzīvojuši 472 latvieši, 471 ebrejs, 362 krievi, 180 baltkrievi, 54 poļi, 11 vācieši, 10 lietuvieši un 6 citu tautību pārstāvji, kopumā – 1566 cilvēki. Pēc iedzīvotāju skaita Zilupe bija 42. lielākā pilsēta Latvijā, Latgalē aiz sevis atstājot Viļānus, Abreni un Gostiņus. Multikulturālas vides veidošanos Zilupē lielā mērā veicināja pierobežas pilsētas statuss – armijas garnizonā visi karavīri bija no Zemgales, Vidzemes un Kurzemes, savukārt latgalieši un vietējie krievi tika nosūtīti dienēt citos Latvijas novados.
Otrā pasaules kara sākumā 1941. gada 27. jūnijā Zilupes dzelzceļa stacijā vācu aviācijas uzlidojuma laikā eksplodēja militārā ešelona munīcijas vagons – sprādziena rezultātā lielākā daļa pilsētas centra nodega, bojā gāja ievērojams (joprojām nezināms) skaits kara bēgļu un Sarkanās armijas militārpersonu, kas apbedīti masu kapos stacijas tuvumā. Kara gados holokaustā tika iznīcināta liela daļa Zilupes ebreju, daudzi cilvēki devās bēgļu gaitās uz rietumiem vai arī tika izsūtīti Josifa Staļina (Иосиф Виссарионович Джугашвили/Сталин) režīma īstenotajās deportācijās.
Līdzās pilsētas skvēram atrodas divi pieminekļi Otrajā pasaules karā Sarkanās armijas pusē bojā gājušajiem. Viens no tiem uzstādīts Zilupes apkaimē kritušo 15 sarkano partizānu apbedījuma vietā (1948), bet otrs – frontē kritušajiem 39 Zilupes iedzīvotājiem (1972).
1949.–1959. gadā Zilupe bija rajona centrs, kas sekmēja apdzīvotās vietas attīstību – lielākais daudzums pilsētas iedzīvotāju arī mūsdienās dzīvo tieši šajā laika periodā būvētajās ēkās. Padomju okupācijas gados Zilupē strauji pieauga krievu īpatsvars. Pilsētā darbojās Ludzas rūpnīcas “Metālists” cehs, kurā ražoja bērnu ragaviņas un citas plaša patēriņa preces, bija trikotāžas un adīšanas darbnīcas, maizes ceptuve.
Neatkarības atjaunošanas laikā 1989. gada 17. novembrī arī virs Zilupes sāka plīvot Latvijas sarkanbaltsarkanais karogs – tas tika pacelts uz perona pie dzelzceļa stacijas ēkas.