1787. gadā zviedru armijas leitnants Karls Aksels Arrēniuss (Carl Axel Arrhenius) netālu no Iterbijas (ciems Zviedrijā) atrada interesantu jaunu minerālu. Viņš domāja, ka ir atradis jaunu volframa minerālu, un iedeva to analizēt somu ķīmiķim Juhanam Gadolīnam (Johan Gadolin). Pēc padziļinātas izpētes J. Gadolīns secināja, ka K. A. Arrēniusa atrastais minerāls satur jaunu elementu. Šim elementam vēlāk tika dots nosaukums “itrijs”. Apmēram 50 gadus kopš tā brīža nekas jauns par itriju netika noskaidrots. Jau vēlāk zviedru ķīmiķis Karls Gustavs Mūsanders (Carl Gustaf Mosander) atklāja, ka atrastais minerāls satur ne tikai itriju. Patiesībā tas bija triju jaunu vielu maisījums. Līdztekus itrijam K. G. Mūsanders 1843. gadā atrada vēl divus jaunus elementus. Viņš šos elementus nosauca par terbiju un erbiju. Kā izrādījās, ne terbijs, ne erbijs nebija tīri elementi. Abi jaunatklātie elementi saturēja arī citus jaunus elementus. Savukārt šie jaunie elementi saturēja vēl citus jaunus elementus. Iterbijs tika izolēts 1878. gadā, kad Šveices ķīmiķis Žans Šarls Galisārs de Mariņaks (Jean Charles Galissard de Marignac) strādāja Ženēvas Universitātē (Université de Genève). Ž. Š. G. de Mariņaks atdalīja iterbiju no K. G. Mūsandera izdalītā erbija. Viņš karsēja erbija nitrātu, līdz tas sadalījās, pēc tam atlikumu ekstrahēja ar ūdeni un ieguva divus oksīdus: sarkanu, kas bija erbija oksīds, un baltu. Ž. Š. G. de Mariņaks saprata, ka baltais oksīds ir jauns elements, un nosauca to par iterbiju. Vēlāk, 1907. gadā, tika pierādīts, ka arī tas satur vēl citu retzemju elementu – lutēciju. Elementa nosaukums “iterbijs” cēlies no Iterbijas ciema Zviedrijā, kas ir viena no slavenākajām vietām ķīmijas vēsturē, jo no tur atrastajiem minerāliem tika atklāti vairāki elementi. Tīrs iterbija paraugs tika iegūts tikai 1953. gadā.