Dzimis lietuviešu izcelsmes šļahtiču ģimenē. Beidzis ģimnāziju Viļņā, studējis medicīnu Harkovas Universitātē (Харківський національний університет імені Василя Назаровича Каразіна), darbojies kreisi noskaņotajā pagrīdē.

Pirmais neatkarīgās Polijas Valsts vadītājs (Naczelnik Pánstwa, galva; 22.11.1918.–12.1922.), armijas virspavēlnieks (1919–1920), maršals (1920). Viens no vadošajiem poļu neatkarības kustības vadītājiem, Polijas kara par robežām un starpkaru autoritārās iekārtas vadītājs un simbols. Polijas armijas dibinātājs.

1887.–1892. gadā J. K. Pilsudskis atradās izsūtījumā Austrumsibīrijā par piedalīšanos atentāta organizēšanā pret caru Aleksandru III (Александр III Александрович Романов). No 1892. gada darbojās Polijas Sociālistiskās partijas (Polska Partia Socialistyczna, PPS) vadībā. Krievijas–Japānas kara laikā 1904.–1905. gadā izveidoja Polijas Sociālistiskās partijas Kaujas organizāciju un centās panākt Japānas atbalstu Polijas neatkarībai. No 1906. gada vadīja Polijas Sociālistiskās partijas Revolucionāro frakciju, kuras mērķis bija pilnīga Polijas neatkarība. 1908. gadā Austroungārijā izveidoja Aktīvās cīņas savienību.

Centās ar diplomātiskiem un militāriem līdzekļiem izveidot Polijas, Ukrainas, Baltkrievijas, Baltijas valstu un Somijas federāciju, kurā noteicēja būtu Polija – t. s. federatīvā Polijas robežu koncepcija.

Sākoties Pirmajam pasaules karam, 1914. gadā J. K. Pilsudski iecēla par Austroungārijas armijas Poļu leģionu 1. brigādes komandieri. 09.1916. viņš no amata atkāpās. 07.1917. internēts Magdeburgas cietoksnī. Atbrīvots 11.1918., J. K. Pilsudskis atgriezās Varšavā. Pārņēma varu no t. s. Reģentu padomes. 1920. gadā bija viens no galvenajiem Polijas–Padomju Krievijas kara iniciatoriem. Vadīja visas svarīgākās Polijas armijas operācijas Lietuvā, Baltkrievijā, Latvijā un Ukrainā. 26.01.1920. Daugavpilī kopā ar Edvardu Ridzu-Šmigliju (Edward Rydz-Śmigły) tikās ar Latvijas armijas virspavēlnieku Jāni Balodi, vienojoties par turpmāko sadarbību.

1922. gadā J. K. Pilsudskis atteicās piedalīties Prezidenta vēlēšanās partiju nesaskaņu dēļ. Ģenerālštāba priekšnieks (1922–1923). 1923. gadā no politikas aizgāja, nodarbojās ar publicistiku un savu atbalstītāju konsolidāciju. 05.1926. organizēja valsts apvērsumu, pēc kura valsts nostājās uz autoritārisma ceļa, pastāvot J. K. Pilsudska vadonības kultam. 1926. gadā Seims ievēlēja J. K. Pilsudski  par prezidentu, taču viņš no amata atteicās. Faktiski vadīja valsti, atrodoties parlamentam nepakļautā armijas ģenerālinspektora amatā. Premjerministrs (1926–1928; no 1930. gada). Galvenokārt J. K. Pilsudska realizētās politikas dēļ, 30. gadu sākumā Polijā izveidojās autoritārs režīms, kurā J. K. Pilsudskis un viņa uzticamības personas pilnībā kontrolēja valsts pārvaldes sistēmu. Nodibināja sanācijas režīmu (1926–1939). Panāca Polijas–Vācijas deklarācijas parakstīšanu par spēka nepielietošanu nesaskaņu gadījumā (1934).

Pēctecis valsts vadītāja amatā prezidents Gabriels Narutovičs (Gabriel Narutowicz).

Apbalvots ar I šķiras Lāčplēša Kara ordeni. Daugavpilī Pilsudska vārdā nosaukta poļu vidusskola, pie ēkas, kur J. K. Pilsudskis tikās ar ģenerāli J. Balodi, uzstādīta piemiņas plāksne.

Saskaņā ar J. K. Pilsudska testamentu, lai izteiktu savu piederību ar Poliju cieši saistītai Lietuvai, viņa sirds 1936. gadā tika apbedīta Viļņā, Rasu kapsētā mātes kapā.