Prvé pracovisko SAV zamerané na fyzikálny výskum bol Kabinet fyziky SAV, ktorý bol zriadený rozhodnutím P SAV dňa 1. októbra 1956. Kabinet fyziky sa v roku 1958 pretransformoval na Laboratórium fyziky SAV, ktoré dňa 1. januára 1963 získalo štatút samostatného vedeckého pracoviska – Fyzikálneho ústavu SAV. V prvom období hľadania a formovania vedeckého zamerania ústavu stála v jeho čele významná osobnosť slovenskej fyziky, odborník v oblasti fyzikálnej chémie a polarografie, spolupracovník nositeľa Nobelovej ceny prof. Heyrovského a iniciátor založenia Kabinetu fyziky SAV profesor Dionýz Ilkovič. Externe vykonával funkciu riaditeľa do roku 1961.
Z pobočiek Fyzikálneho ústavu SAV vznikli aj ďalšie ústavy SAV. V roku 1963 bolo v úzkej spolupráci s Fakultou prírodných vied UPJŠ v Košiciach zriadené Laboratórium fyziky SAV, ktoré v roku 1966 získalo štatút samostatného, dnes veľmi úspešného Ústavu experimentálnej fyziky SAV. Na samom začiatku existencie ústavu, vtedy ešte Kabinetu fyziky SAV, sa rozvíjali tri základné smery fyzikálneho výskumu – fyzika pevných látok, jadrová fyzika a subjadrová fyzika. Významnú úlohu pre výskum v oblasti fyziky pevných látok zohral profesor Július Krempaský, ktorý svojimi radami rozhodujúcim spôsobom usmerňoval zameranie výskumu. V oblasti fyziky pevných látok sa položili základy skúmania prenosu hmoty, elektrického náboja a tepla v pevných látkach. Vývoj ústavu bol dynamický a v priebehu svojej histórie vznikali a zanikali rôzne oddelenia, v súčasnosti má ústav šesť oddelení.
Snaha o užšiu spoluprácu s priemyslom viedla v roku 1976 k zriadeniu spoločného pracoviska FÚ SAV a ElÚ SAV – oddelenie fyzikálnej elektroniky pri národnom podniku TESLA Rožnov, závod Piešťany. Zo spoločného laboratória neskôr vznikol Ústav fyzikálnej elektroniky SAV, kde boli vyvíjané C-MOS a V-MOS štruktúry, ktoré sa neskôr vyrábali v Tesle. Po likvidácii piešťanského závodu bol rozhodnutím P SAV v roku 1993 zrušený aj Ústav fyzikálnej elektroniky a pracovisko sa znova stalo spoločným detašovaným pracoviskom FÚ SAV a ElÚ SAV.
Významnú inováciu fyzikálneho programu znamenal príchod Pavla Duhaja v roku 1969 a jeho prínos pre zavedenie technológie prípravy špeciálnych kovových materiálov priamo z taveniny metódou veľmi rýchleho ochladenia. Príprava a výskum materiálov pripravených rýchlym ochladením, predstavuje dodnes jeden z pilierov materiálového výskumu na oddelení fyziky kovov na špičkovej svetovej úrovni. Vzorky pripravené na Fyzikálnom ústave SAV sa rozšírili nielen cez rámcové projekty EÚ do celej Európy, ale aj do celého sveta.
Vlastnosti amorfných a nanokryštalických zliatin umožnili aj vývoj zaujímavých aplikácií, okrem transformátorov s nízkymi stratami sú to najmä senzory na meranie mechanických napätí a deformácií, použiteľných aj v drsných podmienkach ako sú bane, tunely a iné cestné a vodné stavby.
Výskum v oblasti vývoja a štúdia kovových multivrstiev, vhodných pre rtg optiku viedol v poslednom období k etablovaniu moderného výskumného smeru v príprave a výskume nanomateriálov. Nová experimentálna infraštruktúra umožnila na oddelení multivrtiev a nanoštruktúr študovať nanoštruktúry, ako sú koloidné kovové nanočastice a ich tendenciu k samousporiadaniu, ktoré možno pozorovať najmä v oblasti trojfázového rozhrania koloidného roztoku superparamagnetických nanočastíc. Výskum je zameraný aj na nanoštruktúry, ktoré je možné využiť ako senzory rôznych plynov ako CO, CO2, N2O a ďalších chemických látok.
Už počas existencie Kabinetu fyziky sa začala rozvíjať problematika jadrovej fyziky. Okrem počiatočných meraní aktivity ovzdušia a technologickými aplikáciami rádioaktívnych látok v priemysle sa začala na oddelení jadrovej fyziky rozvíjať fyzika rýchlych 14 MeV neutrónov, produkovaných v D +T reakciách. Experimentálny základ pre celé zameranie umožnil úspešný vývoj malých elektrostatických urýchľovačov na energie rádovo 100 keV. Boli vyvinuté tri generácie urýchľovačov, ktoré slúžili ako neutrónové generátory na základný a aplikovaný výskum nielen na Fyzikálnom ústave, ale tvorili bázu aj pre ďalší vývoj malej urýchľovačovej techniky na Slovensku.
Jadrové reakcie boli študované najprv aktivačnými metódami, neskoršie sa prešlo k tzv. in-beam experimentom, ktoré umožnili podrobnejšie štúdium jadrových reakcií. Po teoretickej stránke viedlo štúdium reakcií so vznikom zloženého jadra k vývoju veľmi úspešného predrovnovážneho modelu, Zariadenie pre experimenty na zväzku 14 MeV neutrónov z reakcie D(T,α)n, bolo používané najmä na štúdium produkcie γ-kvánt a na spektroskopiu neutrónov.
Neutrónové reakcie mali aj významné aplikácie, najmä neutrónová aktivačná analýza, používaná na analýzu prvkového zloženia rôznych vzoriek. Metóda bola natoľko úspešná, že sa na ústave vykonávali rutinné analýzy obsahu kyslíka pre viaceré bratislavské i mimobratislavské chemické závody. Vrcholom použitia aktivačnej analýzy bola analýza mesačnej vzorky, privezenej automatickou stanicou Luna 20, čo predstavovalo v tej dobe jedinú vykonanú analýzu mesačných vzoriek v bývalom Československu.
Vývoj v odbore jadrovej fyziky viedol najmä pre vysoké finančné náklady od polovice minulého storočia k zriaďovaniu nadnárodných výskumných ústavov a tomu sa prispôsobila aj výskumná aktivita ústavu. Pracovníci FÚ SAV realizovali svoje výskumné zámery najprv v SÚJV Dubna a v súčasnosti aj v CERN v Ženeve a GSI v Darmstadte a ďalších popredných európskych laboratóriách.
Výskum v oblasti fyziky vysokých energií bol na oddelení teoretickej fyziky od začiatku zameraný najmä na vybraté teoretické problémy. Významné sú práce v oblasti zrážok elementárnych častíc, vedúcej k riešeniu obrátenej úlohy kvantovej teórie rozptylu a model vedúcej častice, ktorá sa svojho času často používala pri analýze experimentálnych údajov. Ďalším zameraním v oblasti fyziky vysokých energií je výskum elektromagnetickej štruktúry silne interagujúcich častíc, kde bol odvodený modelovo nezávislý popis elektromagnetického formfaktoru π mezónu v priestorupodobnej oblasti. V rámci štandardného modelu boli interpretované viaceré pozorované skalárne mezóny ako stavy quarkonia. Prácami spojenými s kalibračnými teóriami na mriežke sme významným spôsobom prispeli k chápaniu fyzikálneho mechanizmu uväznenia kvarkov a gluónov v teórii silných interakcií elementárnych častíc a ďalšiemu k rozvoju kvantovej chromodynamiky.
V oblasti štatistickej fyziky sú významné práce realizované na oddelení komplexných fyzikálnych systémov, ktoré poskytujú presné výsledky rovnovážnej štatistickej mechaniky systémov interagujúcich pomocou coulombovskej interakcie. Práce o štatistických vlastnostiach elektrónového transportu v neusporiadaných systémoch, ale najmä o optických vlastnostiach metamateriálov, konkrétne tzv. „Left-handed“ materiálov, predstavujú významný prínos v teórii tuhých látok. Búrlivý rozvoj informačných technológií umožnil v poslednej dobe výpočty vlastností komplexných materiálov stochastickými Monte-Carlo metódami, ktoré umožňujú modelovať vlastností zložitých štruktúr vychádzajúc zo základných fyzikálnych princípov. Pomocou týchto metód boli získané nielen informácie o povrchových štruktúrach komplexných intermetalických zlúčenín, ale tiež informácie o katalytických vlastnostiach zlúčeniny Al13Co4 s významným aplikačným potenciálom. podobnými metódami boli študované mechanické a termické aktivácie systému thiolát-meď a mechanické a optické excitácie molekulárnych spínačov, konkrétne styku azobenzénu s kovom, pričom zistili, že spôsob aktivácie hrá v týchto systémoch významnú rolu.
V poslednom období sa začal na ústave rozvíjať moderný vedný odbor kvantovej optiky a informatiky a v roku 2001 bolo na ústave zriadené Centrum pre výskum kvantovej informácie. Centrum je zamerané najmä na problematiku kvantového previazania (entanglement), kvantového kráčania (quantum walks), kvantových odhadov z neúplných dát, programovateľné kvantové procesory a kvantovú kryptografiu. Za pomerne krátku dobu trvania oddelenie zverejnilo veľký počet publikácií vo významných periodikách a dosiahlo veľký medzinárodný ohlas.