Pirmie ksilofonam radniecīgie instrumenti tiek datēti ap 2000. gadu p. m. ē. Austrumāzijas reģionā, tagadējās Ķīnas teritorijā. Līdzīgi instrumenta paveidi un to saknes meklējami arī Āfrikā. Pirmie ksilofoni bija veidoti kā dažāda izmēra koka plāksnes, kas tika sarindotas virs zemē izgrebtām bedrītēm – rezonatoriem – un sistas ar koka mietiem, tādējādi radot dažādus skaņu augstumus. Laika gaitā bedres tika aizstātas ar izgrebtiem ķirbjiem; atsevišķos reģionos ķirbju atveres tika noklātas ar plāna papīra membrānas kārtu, kas spēles laikā rezonēja līdzi, radot zumēšanai līdzīgu skaņu. Zināmākie ksilofonu priekšteču nosaukumi ir ranats Āzijas un balafons Āfrikas teritorijā.
Laikā, kad no Āfrikas uz Latīņamerikas zemēm tika izvesti vergi, kopā ar viņiem aizceļoja arī ksilofons. Nozīmīgākie apvidi, kur tas turpmāk attīstījās, bija Meksika, Gvatemala un Brazīlija, iegūstot un nostiprinot jaunu nosaukumu – “marimba”. Joprojām lietojot plānās membrānas, izdobtie ķirbji tika aizstāti ar precīzi izgatavotiem koka rezonatoriem, saglabājot reģioniem raksturīgo instrumenta skanējumu.
Pirmās ziņas par ksilofonu Eiropas kontinentā datējamas ar 16. gs., kad to izmantoja kā tautas instrumentu. Īpaši tas attīstījās Polijā, Vācijā, Beļģijā un Nīderlandē. Tobrīd plāksnītes tika izkārtotas četrās rindās (virzienā prom no spēlētāja).
19. gs. sākumā ksilofons tika iepazīts jau kā orķestra instruments, kuru komponisti pamazām iekļāva simfoniskajos darbos. Divi no tiem ir franču komponista Kamila Sensānsa (Camille Saint-Saëns) darbi “Nāves deja” (La Dance Macabre) un “Dzīvnieku karnevāls” (Le Carnaval des Animaux).
20. gs. pirmajā desmitgadē Džona Kalhona Dīgana (John Calhoun Deagan) sitaminstrumentu ražošanas uzņēmums sāka izgatavot pirmos ksilofonus un marimbas, kas atbilda mūsdienu standartiem. Ksilofonu plāksnītes tika izvietotas tikai divās savstarpēji hromatiski izkārtotās rindās, savukārt koka rezonatori tika nomainīti ar metāla caurulēm.
Tā kā mūsdienās ksilofons lielākoties tiek izmantots tikai kā orķestra tutti instruments, radikālas izmaiņas instrumentu uzbūvē netiek realizētas. Vienīgie vērā ņemamie tehnoloģiskie uzlabojumi novērojami instrumenta loģistikas un ergonomijas aspektos vai skaņojuma kvalitātes līmenī.