No 1922. līdz 1938. gadam Vītoliņš strādāja Rīgas skolotāju institūtā par dziedāšanas un mūzikas teorētisko priekšmetu pedagogu un vadīja audzēkņu kori, ar kuru daudz koncertēja. Darbojās Dziesmu svētku biedrības valdē, bija virsdiriģents vairākos novadu dziesmu svētkos – Ventspilī, Kuldīgā, Saldū, Malienā, Ļaudonā un citur. J. Vītoliņš sarakstījis vairākas dziedāšanas un diriģēšanas metodoloģijai veltītas grāmatas.
1925. gadā (sākumā ar pseidonīmu J. Dandens) J. Vītoliņš aktīvi sāka darboties mūzikas kritikā kā žurnālu “Teātra Vēstnesis”, “Mūzikas Apskats” redaktors, rakstīja recenzijas un apceres par mūziku laikrakstos “Darba Balss”, “Rīgas Ziņas”, “Jaunākās Ziņas”, “Pēdējā Brīdī”. Izdeva mūziķiem veltītas grāmatas: “Latvju skaņu mākslinieku portrejas” (kopā ar Robertu Kroderu, 1930) un “Rihards Vāgners. Dzīve un darbi” (1930). Tāpat J. Vītoliņa redakcijā iznāca pirmā vispārīgā mūzikas vēsture latviešu valodā – grāmata “Mūzikas vēsture” (1934–1939) ar plašu latviešu mūzikai veltītu nodaļu. Šis izdevums pieder pie 20. gs. 20. un 30. gadu latviešu muzikoloģijas lielākajiem sasniegumiem. 30. gados J. Vītoliņš organizēja Latvijas Konversācijas vārdnīcas mūzikas sadaļas darbu, bija mūzikas šķirkļu autors un redaktors.
J. Vītoliņš bija arī Skaņražu kopas (1923–1939) biedrs. 20. un 30. gados lasījis lekcijas par mūziku Latvijas Radiofonā. Lektora darbu viņš turpināja arī pēc Otrā pasaules kara – īpaši atzīmējams lekciju cikls “Visas Alfrēda Kalniņa solodziesmas” (1958) Latvijas PSR Valsts filharmonijā.
1938. gadā J. Vītoliņš sāka pasniedzēja gaitas (1938–1962, ar pārtraukumu 1944–1946) Latvijas Konservatorijā, kur vadīja Mūzikas vēstures un enciklopēdijas katedru. 1946. gadā Latvijas Valsts konservatorijā tika nodibināta Mūzikas vēstures nodaļa un katedra, un tajā līdz 1962. gadam J. Vītoliņš darbojās kā mūzikas vēstures katedras profesora vietas izpildītājs, bet kopš 1957. gada arī tās vadītājs. Darbs konservatorijā viņam bija jāpamet politiska skandāla dēļ saistībā ar 1960. gadā iznākušo viņa rediģēto Jāņa Zālīša rakstu krājumu, kurā tika saskatīta “smaga ideoloģiska kļūda”, un grāmata izņemta no apgrozības.
Pēc Otrā Pasaules kara J. Vītoliņš veica organizatorisko darbu kā Latvijas Padomju Sociālistiskās Republikas (PSR) Mūzikas fonda valdes priekšsēdētājs (1951–1954) un kritikas sekcijas priekšsēdētājs Latvijas PSR Komponistu savienībā. Pēc J. Vītoliņa iniciatīvas un ar viņa aktīvu organizatorisko līdzdalību 1960. gadā sākta regulāra Baltijas muzikologu konferenču rīkošana.
Latviešu mūzikas vēstures kodolu veido vairāki J. Vītoliņa darbi: monogrāfiskais apcerējums “Jāzepa Vītola dzīve” (grāmatā “Jāzeps Vītols”, 1944), raksts “Emīlis Melngailis kā mūzikas folklorists” (krājumā “Emīlis Melngailis”, 1949), monogrāfisks apcerējums “Alfrēds Kalniņš” (1968), pētījums “Rainis latviešu mūzikā” (grāmatā “J. Raiņa daiļrade”, 1954) un citi. Viņš ir E. Dārziņa rakstu krājuma “Par mūziku” (1951) sastādītājs, ievada un komentāru autors, veicis tekstoloģisko redakciju, rakstījis ievadu un komentārus J. Vītola memuāriem “Manas dzīves atmiņas” (almanahi “Latviešu mūzika”, 1958, 1962), sagatavojis publicēšanai ar ievadu un komentāriem J. Vītola vēstules Kārlim Kalējam un A. Kalniņam (“Latviešu mūzika”, 1958, 1962, 1965, 1966, 1967), sakopojis divus A. Kalniņa kora dziesmu krājumus (1960, 1964). Kopā ar Liju Krasinsku sarakstījis “Latviešu mūzikas vēstures” 1. daļu (1972).
Folkloras padziļinātai pētīšanai J. Vītoliņš pievērsās 1946. gadā, kad tika nodibināta Latvijas PSR Zinātņu akadēmija un viņu uzaicināja par vecāko zinātnisko līdzstrādnieku Folkloras institūtā (tagadējā Folkloras krātuve Latvijas Universitātes Literatūras, folkloras un mākslas institūtā). J. Vītoliņš piedalījās folkloras ekspedīcijās un ir atstājis ievērojamu skaitu tautasdziesmu melodiju pierakstu. Ļeņingradas Konservatorijā (Ленинградская консерватория, mūsdienās Санкт-Петербургская консерватория имени Н. А. Римского-Корсакова) viņš aizstāvēja mākslas zinātņu kandidāta disertāciju “Latviešu tautas mūzikas pētījumu problēmas” (1956), bet 1961. gadā J. Vītoliņam kā pirmajam Latvijas muzikologam Ļeņingradas Konservatorijā piešķīra mākslas zinātņu doktora grādu par darbu “Latviešu tautas mūzikas pētījumi”.
Strādādams latviešu folkloristikā, J. Vītoliņš ir sakārtojis sērijas “Latviešu tautas mūzika” piecus sējumus izdevumos “Darba dziesmas” (1958), “Kāzu dziesmas” (1968), “Bērnu dziesmu cikls. Bēru dziesmas” (1971), “Gadskārtu ieražu dziesmas” (1973), “Precību dziesmas” (pēc nāves, 1986), kopumā publicējot gandrīz 7000 melodiju. Tautasdziesmu klasifikācijā balstījies uz Krišjāņa Barona “Latvju dainu” (1894–1915) sistematizācijas principiem. J. Vītoliņš apcerējis dažādus mūzikas folkloristikas jautājumus – žanru klasifikācijas problēmas, melodijas uzbūves jautājumus, pētījis dziesmu teksta un melodijas attiecības. J. Vītoliņa pētniecības tradīcijas pēc viņa nāves aktualizētas sērijas 6. sējumā “Kara dziesmas” (2008; sastādītāja Anda Beitāne).
