Institut for Matematiske oprettet samtidig med Det naturvidenskabelige Fakultet den 20. august 1954. Svend Bundgaard, der var instituttets første professor forestod instituttets opbygning og var dets leder indtil han i 1971 blev universitetets rektor. De første studerende blev optaget i 1956 og instituttet fik egne bygninger i 1958. Indflytning i instituttets nuværende bygninger skete i 1967. Ud over de klassiske matematiske discipliner, matematisk analyse, geometri og algebra, blev der etableret forskningsgrupper i sandsynlighedsteori, statistik og datalogi. I 1971 blev der etableret formelle afdelinger ved instituttet for henholdsvis matematik, teoretisk statistik og datalogi. I 1986 blev afdelingen for statistik udvidet med en gruppe i operationsanalyse overført fra den økonomiske faggruppe ved Det samfundsvidenskabelige Fakultet. Med fakultetets overgang til universitetsloven i 1996 blev den formelle afdelingsstruktur ophævet. Samtidig ændredes instituttets navn til Institut for Matematiske Fag for at afspejle den faglige bredde. Den 1. januar 1998 blev Datalogisk Afdeling udskilt som et selvstændigt institut under fakultetet. Den 1. august 2011, blev instituttet så igen til Institut for Matematik, som en del af de strukturelle forandringer ved Aarhus Universitet.