Dzimis apdrošināšanas biedrības ierēdņa, Krievijas impērijas virsnieka Pētera Kļaviņa un mājskolotājas Adeles Kļaviņas (dzimusi Lāce) ģimenē. Krievijas pilsoņu karā tēvs piedalījās karadarbībā pret lieliniekiem, pēc tam, 20. gs. 20. gadu sākumā, Kļaviņu ģimene pārcēlās uz Latviju.
1926.–1930. gadā J. Kļaviņš mācījās Rīgas Valsts tehnikuma Būvniecības nodaļā; no 1930. līdz 1940. gadam (ar pārtraukumiem) studēja Latvijas Universitātes (LU) Arhitektūras fakultātē; kļuva par studentu korporācijas “Beveronija” biedru. Līdztekus studijām 20. gs. 30. gadu pirmajā pusē J. Kļaviņš strādāja Tautas labklājības ministrijā. 1934. gada sākumā bija latviešu nacionālistu politiskās organizācijas “Pērkonkrusts” biedrs. 1934.–1935. gadā dienēja Latvijas armijā, 6. Rīgas kājnieku pulkā. 1940. gadā sekmīgi pabeidza LU arhitektūras studijas; diplomdarbs – sporta nama izbūves projekts. Strādāja par arhitektu Rīgas pilsētas valdes Būvnodaļā; pēc Padomju Sociālistisko Republiku Savienības (PSRS) īstenotās Latvijas okupācijas sākuma – arhitekts Rīgas projektēšanas trestā.
No 1940. gada nogales J. Kļaviņš bija viens no pretpadomju organizācijas Latvju Tautas apvienība veidotājiem un aktīvākajiem dalībniekiem. PSRS varas iestādes J. Kļaviņu 04.1941. apcietināja, izveda uz Krieviju. J. Kļaviņam 10.1941. piespriests nāvessods, kas tika izpildīts.