16. gs. niecīgā aktivitāte fizikā saistīta ar to, ka Rīgā nebija akadēmiskā centra. Rīgas Rāte konsekventi pretojās idejām par universitātes veidošanu Rīgā, vēlāk noraidot atkārtotus priekšlikumus arī par Tērbatas Universitātes (Universität Dorpat) iespējamo pārcelšanu uz Rīgu. Pirmā augstskola Rīgā – Rīgas Politehnikums (vēlāk Rīgas Politehniskais institūts) – izveidota tikai 1862. gadā, ilgi pēc tam, kad Viļņā jau bija izveidota Viļņas Universitāte (Vilniaus universitetas, 1579) un Tērbatas Universitāte (1632), tagadējā Tartu. Taču arī Rīgas Politehniskajā institūtā pētniecība fizikā gandrīz nenotika. Fizika bija tikai viens no mācību priekšmetiem inženieriem. Pēc neatkarīgas valsts dibināšanas izveidojās Latvijas Augstskola (1919, vēlāk – Latvijas Universitāte) un sāka attīstīties fizika kā daļa no Matemātikas un dabaszinātņu fakultātes aktivitātēm. Šīs fakultātes paspārnē izveidots Fizikas institūts ar laboratorijām, kura uzdevums bija nodrošināt studijas fizikā. Vienlaikus 20. gs. 20. un 30. gados Latvijas Universitātes Matemātikas un dabaszinātņu fakultātes pasniedzējiem Latvijas Universitāte nodrošināja iespējas izstrādāt doktora darbus ārzemēs. Daudzi, tai skaitā arī Ludvigs Jansons, kuram bija liela loma fizikas studiju un pētniecības atjaunošanā Latvijā pēc Otrā pasaules kara, to darīja Eksperimentālās fizikas institūtā (Instytut Fizyki Doswiadczalnej) Varšavā, bet Alfons Apinis – Nilsa Bora Teorētiskās fizikas institūtā (Niels Bohr Institut for Teoretisk Fysik) Kopenhāgenā. Patstāvīga ar fizikas apmācību un pētniecību saistīta struktūra – Fizikas un matemātikas fakultāte – Latvijas Universitātē tika izveidota tikai 1940. gada vasarā. Pēc Otrā pasaules kara, izveidojoties Latvijas Padomju Sociālistiskās Republikas (LPSR) Zinātņu akadēmijai (1946), fizikas pētniecība tika koncentrēta tās institūtos: Fizikas institūtā (1946), kura sastāvā no 1961. gada līdz 1998. gadam darbojās Salaspils atomreaktors, un Polimēru mehānikas institūtā (1963). Arī Latvijas Universitātes (tolaik – Latvijas Valsts universitātes) paspārnē aktīvi attīstījās pētniecība fizikā. Tai paplašinoties, dibināts Latvijas Valsts universitātes Cietvielu fizikas institūts (1978), kura vajadzībām uzcelta ēka Ķengaraga ielā 8, un Latvijas Valsts universitātes Ķīmiskās fizikas institūts (1988). Pēc Latvijas neatkarības atjaunošanas zinātnē sākās straujas, tai skaitā strukturālas, pārmaiņas. Mainījās Latvijas Zinātņu akadēmijas loma. Tās sastāvā esošie institūti kļuva par patstāvīgiem pētniecības institūtiem vai arī iekļāvās augstskolu darbībā. Būtiski mainījās zinātes finansēšanas avoti un mehānismi. Ar Ministru padomes lēmumu (1990) izveidota Latvijas Zinātnes padome, kas uz projektu konkursa pamata nodrošināja zinātnei, tai skaitā fizikai, iedalīto valsts budžeta līdzekļu sadali. Straujāk attīstījās fizikas virzieni, kuriem bija izveidojušies starptautiski kontakti – cietvielu fizika, magnetohidrodinamika, atomu un molekulu fizika un spektorskopija. Sāka attīstīties arī jauni – starpdisciplināri – pētniecības virzieni, piemēram, medicīniskā fizika un nanofizika. 1999. gadā Latvijas Universitātes Fizikas institūtā pirmo reizi pasaulē demonstrēts magnētiskā lauka pašieroses mehānisms, kas ieguva nosaukumu – Rīgas dinamo eksperiments. Pētījuma galvenie autori bija Agris Gailītis, Oļģerts Lielausis un Ernests (Ēriks) Platacis.