Dzimis Paīslīces muižas rentnieka Jāņa Jankovska un viņa sievas Dārtas (dzimusi Ķēniņa) ģimenē. Tāpat kā vecākais brālis Kārlis, arī Jānis kristīts Žeimes luterāņu draudzē. Pēc tēva nāves mātei piederēja Teodoravas muiža (tagad Puiģišķi Lietuvā), ko vēlāk mantoja J. Jankovskis un viņa atraitne, kura 1937. gadā īpašumu pārdeva.
24.06.1906. Jelgavas Sv. Annas latviešu lauku draudzē J. Jankovskis salaulājās ar Doru Otīliju Neibergu, kuras brāļi Kristaps Neibergs, Aleksandrs Neibergs un māsa Milda Neiberga bija ārsti. Laulībā piedzima trīs bērni – Paulis Georgs, Sigrīda Milda (mirusi bērnībā), Andrejs. Atraitne un jaunākais dēls Andrejs (inženieris) dzīvoja trimdā Zviedrijā, bet vecākais dēls, kurš bija ārsts, jau kopš studiju gadiem dzīvoja Francijā (vēlāk tur miris).