Mineraloģija ir viena no senākajām dabaszinātņu jomām. Tā radās jau akmens laikmetā, kad cilvēki iemācījās atrast un atšķirt ieroču un saimniecībā noderīgu priekšmetu izgatavošanai derīgus akmeņus. Jau agrajā paleolītā ieguva mālus keramikas izgatavošanai. Kā pirmā tirdzniecības prece, iespējams, bija vārāmā sāls. Pirmās rakstiskās ziņas par minerāliem un iežiem ir atrodamas ap 2000. gadu p. m .ē. Ķīnā sarakstītā darbā “Senie nostāsti par kalniem un jūrām” (山海經, Šan Hei Dzin; Shan Hai Jing). Vidusjūras reģionā mineraloģija attīstījās no praktiskajām zināšanām kalnrūpniecībā un sengrieķu dabas filozofijas. Ap 600. gadu p. m. ē. sengrieķu domātājs Taless no Milētas (Θαλῆς ὁ Μιλήσιος) pēc novērojumiem par sedimentācijas procesiem un vulkānisko darbību radīja teoriju par minerālu veidošanos, liekot pamatus mineraloģijai kā zinātnei. Minerālu apraksti ir atrodami seno grieķu un romiešu darbos, piemēram, sengrieķu filozofa Aristoteļa (Ἀριστοτέλης) darbā “Meteoroloģika” (Μετεωρολογικά, 4. gs. p. m. ē.), sengrieķu zinātnieka Teofrasta (Θεόφραστος) darbā “Par akmeņiem” (Περὶ λίθων, 4. gs. p. m. ē.), romiešu zinātnieka Plīnija Vecākā (Gaius Plinius Secundus) enciklopēdiskajā 37 sējumu darbā “Dabas vēsture” (Naturalis Historia, 1. gs.). Viduslaikos mineraloģija Eiropā tika izmantota praktiskiem mērķiem, bet kā zinātne neattīstījās, jo to spēcīgi ietekmēja alķīmija. Lapidārijos, kas bija vienīgā tā laika mineraloģiskā literatūra, galvenokārt ir sniegti fantastiski akmeņu maģisko īpašību apraksti. Viduslaikos nozīmīgākie darbi mineraloģijā bija persiešu zinātnieka Avicennas (Avicenna) “Ārstniecības grāmata” (کتاب الشفاء, Kitab Al-Shifaʾ, 10. gs.), kurā dota zināmo minerālu klasifikācija, dalot tos četrās grupās – akmeņos, degošos vai sēru saturošos izrakteņos, sāļos, metālos, un persiešu zinātnieka Al Biruni (persiešu ابوریحان بیرونی, Abū Raihāns Bīrūnī) grāmata par minerāliem (لجماهر في معرفة الجواهر, Kitab al-Dschamahir fi ma'rifat al-dschawahir, 1. gs.), kurā sniegti lieliski minerālu apraksti to noteikšanai, lietojot arī precīzas fizikālās konstantes, piemēram, blīvumu.
16. gs. Eiropā mineraloģija balstījās uz empīriskiem novērojumiem. Mineroloģijas kā zinātnes sākums saistīts ar vācu zinātnieka Georgija Agrikolas (Georgius Agricola), saukta par “mineraloģijas tēvu”, darbu “Par metāliem (minerāliem)” (De re Metallica, 1556), kurā sniegta pirmā minerālu klasifikācija, nodalot minerālus no iežiem. 17. gs. attīstījās kristalogrāfijas virziens – dāņu zinātnieks Nikolauss Stenonis (Nikolaus Stenonis) u. c. zinātnieki sāka pētīt kristālus, tādējādi radās pirmie priekšstati par to iekšējo uzbūvi, bet par svarīgākajiem tomēr kļuva minerālu ķīmiskie pētījumi. 18. gs. mineraloģija attīstījās kā patstāvīga zinātne ar mūsdienīgu saturu, pateicoties vācu ģeologa Ābrahama Gotloba Vernera (Abraham Gottlob Werner) darbiem, kuros viņš aprakstīja un klasificēja minerālus pēc to ārējā izskata un pazīmēm, kas tam laikam bija progresīvi. 18.–19. gs. mijā vairākās universitātēs sāka darboties daudzi tā laika nozīmīgi mineralogi, piemēram, Torberns Olofs Bergmanis (Torbern Olof Bergman) Upsalas Universitātē (Uppsala universitet) Zviedrijā, Gustavs Roze (Gustav Rose) Berlīnes Universitātē (Universität zu Berlin) Vācijā. Turpināja attīstīties mineraloģijas ķīmiskais virziens. Līdz ar polarizācijas mikroskopa parādīšanos sākās intensīvi minerālu optisko īpašību pētījumi. Izveidojās mineraloģijas kvalitatīvi aprakstošais (fiziogrāfiskais) virziens. Tika izdoti pirmie apkopojumi un mācību grāmatas mineraloģijā. Notika kristālu iekšējās uzbūves pētījumi pirms rentgenstaru atklāšanas. Uzkrājās informācija reģionālajā mineraloģijā, kas bija svarīga minerālu paraģenēžu un tālākiem ģenētiskiem pētījumiem. 19. gs. strauji attīstījās eksperimentālā mineraloģija. 18.–19. gs. nozīmīgākie zinātnieki mineraloģijā: vācu minerologi Augusts Breithaupts (Johann Friedrich August Breithaupt) un Pauls Grots (Paul Heinrich von Groth); austriešu mineralogs Gustavs Čermaks (Gustav Tschermak arī Czermak); krievu mineralogi Vasīlijs Severgins (Василий Михайлович Севергин) un Nikolajs Kokšarovs (Николай Иванович Кокшаров); amerikāņu mineralogs Džeimss Dvaits Deina (James Dwight Dana) un citi.
19.–20. gs. mijā mineraloģija izveidojās kā mūsdienu zinātne. Tas saistāms ar diviem notikumiem – Mendeļejeva periodiskā likuma atklāšanu ķīmijā un rentgenstruktūrmetodes lietojumu kristalogrāfijā. Mineraloģijā aktualizējās eksperimentālais un fizikāli ķīmiskais virziens. Arvien nozīmīgāki kļuva minerālu ģenēzes, pašu minerālu un to sintētisko analogu tehniskā lietojuma pētījumi. Fāzu likuma atklāšana tika izmantota minerālu veidošanās procesu analīzei saistībā ar metamorfismu. Tika izstrādāta vēl arvien izmantotā minerālu kristālisko struktūru atomu un jonu izmēru sistēma. Tika radīti jauni apkopojoši darbi par minerāliem un kristāliem, piemēram, franču mineraloga Alfrēda Lakruā (Alfred Antoine François Lacroix) “Francijas un tās koloniju mineraloģija” (Minéralogie de la France et de ses colonies, 1893) piecos sējumos. Tika ieviestas jaunas mācības, piemēram, mācība par minerālu tipomorfismu – minerālu morfoloģijas, sastāva, īpašību un to pavadošo minerālu atkarību no veidošanās apstākļiem; par minerālu veidošanās secību atradnēs atkarībā no procesu enerģētikas; teorija par minerālu krāsu. Būtiskāks kļuva pētnieku kolektīvu, nevis atsevišķu zinātnieku devums. Lielu ieguldījumu mineraloģijas attīstībā deva somu ģeologs Penti Eskola (Pentti Eelis Eskola), norvēģu mineralogs un petrologs Viktors Goldšmits (Victor Moritz Goldschmidt), norvēģu mineralogs, petralogs un ģeoķīmiķis Tomass Barts (Thomas Fredrik Weiby Barth), šveiciešu kristalogrāfs Pauls Nigli (Paul Niggli), angļu fiziķis Viljams Lorenss Bregs (William Lawrence Bragg), angļu petrologs Sesils Tilijs (Cecil Edgar Tilley), krievu mineralogs Jevgrafs Fjodorovs (Евграф Степанович Фëдоров), krievu ģeoķīmiķis un mineralogs Aleksandrs Fersmanis (Александр Евгеньевич Ферсман), amerikāņu ģeologs Normens Bouens (Norman Levi Bowen), jaunzēlandiešu ģeologs un petrologs Frānsiss Terners (Francis John Turner) un citi.