Dzimis krodzinieka Matīsa Ruškevica ģimenē (pats nepamatoti uzdeva tēva profesiju kā laukstrādnieks, taču iemesls acīmredzot bija Jēkaba Ruškevica darbošanās pretalkohola organizācijās). Mācījās Mežotnes pagasta skolā, Jelgavas Aleksandra pilsētas skolā, 1901. gadā beidzis Bauskas pilsētas skolu. 1904. gadā iestājies Viļņas kājnieku junkurskolā (Виленское пехотное юнкерское училище; beidzis ar I šķiru 04.1906.). 12.1908. nokārtojis artilērijas virsnieka zināšanu pārbaudījumu Mihaila Artilērijas skolā (Михайловское артиллерийское училище), Pēterburgā, no 1910. gada mācījās elektrotehniskajos kursos Pēterburgas lielgabalu fabrikā un 10.1911. beidzis tos. 1911. gadā iestājās Artilērijas akadēmijā Pēterburgā (beidzis trīsgadīgo kursu 06.1914.). 29.04.–11.06.1923. mācījies militāro sakaru un ziņojumu nosūtīšanas kursos Francijā.

1901.–1904. gadā strādājis Rīgas Pasta un telegrāfa pārvaldē. Bijis atturības biedrības “Auseklis” valdes loceklis. Mācību laikā junkurskolā, 10.1905., paaugstināts par jaunāko portupejjunkuru (junkuru rotas jaunākais unteroficieris). No 04.1906. – podporučiks Varšavas cietokšņa 1. kājnieku pulkā, rotas jaunākais virsnieks. Poručiks (09.1909.), štābkapteinis (09.1913.), kapteinis (1915.), apakšpulkvedis (1917.). No 03.1907. piekomandēts Varšavas cietokšņa artilērijai, rotas jaunākais virsnieks (03.1909. oficiāli pārcelts uz to). No 05.1911. – Varšavas cietokšņa forta (artilērijas nocietinājumu punkta) “Suvorov” priekšnieks, no 06.1914. – Varšavas cietokšņa artilērijas Tehniskā dienesta komandas pārziņa palīgs. Piedalījās arī sabiedriskajā dzīvē – 1910. gadā bija 1. Viskrievijas pretalkohola kongresa dalībnieks Pēterburgā. 07.1914, sākoties Pirmajam pasaules karam, pārcelts uz Pēterburgas (Petrogradas) Pētera Lielā arsenālu, jaunākais tehniķis, no 12.1916. – arsenāla Instrumentu darbnīcas pārzinis, no 01.09.1917. – arsenāla Konstruktoru daļas pārzinis. 01.04.1918. Petrogradā atvaļināts no armijas saistībā ar tās pilnīgu demobilizāciju; izbrauca uz Dāniju. No 04.1918. dzīvoja Kopenhāgenā. Vēlāk atgriezies Latvijā.

18.11.1918. Rīgā iestājās Latvijas Pagaidu valdības bruņotajos spēkos (pulkvedis-leitnants). No 11.12.1918. – Artilērijas daļas priekšnieks. 02.01.1919. ar Apsardzības ministrijas personālsastāvu devies uz Liepāju, kur atvaļināts saistībā ar ministrijas darbības izbeigšanu uz laiku. Pa jūras ceļu aizbrauca uz Dāniju, dzīvoja Kopenhāgenā, 04.1919. atgriezās Latvijā. Dzīvoja pie ģimenes Jaunsvirlaukas pagastā. 16.07.1919. ieskaitīts Latvijas armijā, armijas artilērijas apgādības priekšnieks, vadījis artilērijas daļu formēšanu un apmācību. 09.–30.10.1919. un 04.–20.02.1920. atradās dienesta komandējumā Lietuvā, 30.11.–26.12. – Igaunijā, koordinējot sadarbību ar abu valstu armijām. 08.03.1920. iecelts par Galvenās artilērijas pārvaldes priekšnieka palīgu (vairākkārt pārvaldes priekšnieka vietas izpildītājs). Pulkvedis (04.04.1920.), ģenerālis (20.06.1925.). No 21.08.1920. – armijas Artilērijas un tehniskās apgādības pārvaldes priekšnieks, no 18.12.1920. – Tehniskās pārvaldes priekšnieks. 27.08.–05.11.1920. bija komandējumā Lietuvā saskaņā ar abu armiju virspavēlniecību 26.07.1920. vienošanos par vairāku vecāko virsnieku piekomandēšanu uz laiku Lietuvas armijai atbalsta sniegšanai tās vadošo struktūru organizēšanai. 16.01.1922. iecelts par Bruņošanās pārvaldes priekšnieku. 12.1922. piešķirts kara inženiera grāds artilērijas nozarē, vairākkārt bijis dienesta komandējumā ārzemēs (15.12.1923.–15.01.1924. Lielbritānijā, Londonā, 20.11.–12.12.1926. Lielbritānijā un Francijā, 25.–30.05.1932. Zviedrijā). 1926., 1932. un 1936. gadā bija arī Kara virstiesas loceklis. 1921.–1924. gadā darbojās komisijā “Latviešu karavīru vēsturisko kaujas vietu apzīmēšanai”. No 11.04.1933. – Apgādes pārvaldes priekšnieks. Pasniedzis speciālos priekšmetus kara mācību iestādēs (Kara skolā, Virsnieku kursos). 03.1934. valdība apstiprināja J. Ruškevicu par Kara ministrijas pārstāvi Pasaules enerģijas konferences Latvijas komitejā. 25.07.1938. pēc paša vēlēšanās atvaļināts ar tiesībām valkāt uniformu. Dzīvoja Rīgā un Ceraukstes pagasta Pamūšās (bijušās muižas centrā, kas piešķirts J. Ruškevicam agrārās reformas gaitā), nodarbojās ar biškopību. Bija Latvijas Universitātes studentu korporācijas “Fraternitas Lataviensis” goda filistrs un tās filistru palīdzības biedrības priekšsēdētājs, aktīvi darbojās Latvijas Pretalkohola biedrībā, bija tās valdes loceklis, no 1923. gada bija Rīgas pilsētas Žūpības apkarošanas komisijas loceklis (1938. gadā iecelts par komisijas priekšsēdētāju), darbojās Kara aviācijas fondā (bija tā kasieris), Latvijas aeroklubā (Padomes priekšsēdētāja biedrs) un citur. Rakstījis par atturības u. c. jautājumiem periodiskajos izdevumos, Latviešu konversācijas vārdnīcā. 14.01.1941. dzīvoklī Rīgā apcietināts un izvests uz Krieviju, ievietots Soļikamskas (Usoļlaga) soda nometnēs (izsūtīta arī dzīvesbiedre Ludmila Ruškevica, dzimusi Zemgala).

J. Ruškevics bija viens no Latvijas armijas pieredzējušākajiem artilērijas virsniekiem – tehniskā nodrošinājuma speciālistiem. Vadīja par artilērijas tehniskajiem jautājumiem atbildīgās centrālās iestādes, koordinēja un vadīja Latvijas armijas artilērijas daļu apgādi un tehnisko nodrošinājumu Latvijas Neatkarības kara laikā un pēc tā, no 1922. gada vadīja bruņošanos, no 1933. gada, reorganizējot armijas centrālās iestādes, vadīja Apgādes pārvaldi, būdams atbildīgs par karaspēka nodrošināšanu ar bruņojumu, ekipējumu, intendantūras u. c. iekārtām un priekšmetiem. Iespēju robežās modernizēja armijas apgādes sistēmu atbilstoši finansiālajām iespējām. Sabiedriskajā dzīvē bija viens no vadošajiem valsts pretalkohola kustības dalībniekiem.

Par dienesta sasniegumiem Krievijas armijā J. Ruškevics apbalvots ar Krievijas Svētā Staņislava ordeni (III šķira), Svētās Annas ordeni (III šķira); par nopelniem Latvijas armijas dienestā apbalvots ar Triju Zvaigžņu ordeni (II šķira; III šķira), Igaunijas Brīvības krustu (I šķiras II pakāpe), Somijas Baltās Rozes ordeni (I šķira), Čehoslovākijas Baltās Lauvas ordeni (I šķira), Lietuvas Republikas neatkarības 10 gadu jubilejas piemiņas medaļu.