Le origini di Matera sono molto remote e ne è testimonianza il ritrovamento nel territorio circostante di alcuni insediamenti senza soluzione di continuità sin dall'età paleolitica. Infatti nelle grotte sparse lungo le Gravine materane sono stati ritrovati diversi oggetti risalenti a quell'epoca, testimonianti la presenza di gruppi di cacciatori. Nel periodo Neolitico gli insediamenti diventarono più stabili, tanto che sono presenti tracce evidenti di diversi villaggi trincerati che risalgono a quel periodo, in particolare sulla Murgia Timone. Con l'Età dei metalli nacque il primo nucleo urbano, quello dell'attuale Civita, sulla sponda destra della Gravina. Sorta su un preistorico villaggio trincerato, questa, ha probabili origini greche, come afferma il Volpe nelle sue Memorie storiche profane e religiose sulla città di Matera, citando anche l'Ughelli, il Pacichelli ed il Padre Bonaventura da Lama che erano giunti a tale conclusione. Ciò sarebbe confermato dall'emblema della città, il bue con le spighe di grano, che secondo il Volpe stesso è un simbolo tipico della Magna Grecia; inoltre il Gattini cita l'ipotesi di alcuni storici secondo i quali riprodurrebbe l'emblema della città di Metaponto, che era appunto un bue, mentre le spighe di grano erano figure ricorrenti nelle monete greche. Gattini a conferma di ciò cita anche alcuni versi del poeta Tommaso Stigliani: «Il marinaro di Metaponto antica, la quale a nostra età dett'è Matera», e fa riferimento all'accoglienza data da Matera ai profughi metapontini dopo la distruzione della loro città da parte di Annibale.
Secondo alcune ipotesi (per esempio quella di Cely-Colaianni), Matera anticamente veniva chiamata Mataia ole dai Greci, che deriva da Mataio olos, il cui significato è tutto vacuo, con riferimento alla Gravina, fossa attraversata da torrenti; ulteriore ipotesi è che il nome derivi da Mata (cumulo di rocce), radice utilizzata per diversi nomi geografici. Un'altra teoria, piuttosto fantasiosa, fa derivare Matera dal greco Meteoron ovvero cielo stellato, dato che alcuni cronisti del passato, osservando i Sassi illuminati di notte, li hanno descritti come un riflesso del cielo stellato soprastante. E non manca chi ricollega il toponimo a Mater ovvero "madre terra", a Materia (matheria) o Materies, termini che indicavano la legna da taglio o da costruzione, in riferimento alle zone boschive in cui la città sorgeva; il Gattini, invece, riferisce il toponimo ai termini ebraici Matterah (carcere) o Me terah (acqua pura). Altri sostengono che il nome derivi dalle iniziali di Metaponto ed Heraclea, avendo accolto profughi delle due città dopo la loro distruzione; infine Mateola, nome antico della città, potrebbe derivare dal consolato romano di Quinto Cecilio Metello Numidico, che la riedificò e la fece cingere di mura e di alte torri. Plinio il Vecchio nella sua Naturalis historia (Liber III, 105) chiamò Mateolani gli abitanti della città e li elencò tra gli Apuli, anche se la desinenza dell'aggettivo in -anus evidenzia chiaramente l'influenza osca dei Lucani, in quanto la città era situata proprio sul confine apulo-lucano nella regione anticamente chiamata Peucezia.
Nel periodo della Magna Grecia Matera ebbe stretti rapporti con le colonie situate sulla costa metapontina e, successivamente, in età romana fu solo centro di passaggio ed approvvigionamento. Nel 664 d.C. Matera passò sotto il dominio longobardo e venne annessa al Ducato di Benevento. I secoli IX e X furono caratterizzati da aspre lotte fra gli stessi Longobardi, i Saraceni ed i Bizantini, che tentarono più volte di impadronirsi del territorio; la città fu distrutta dalle truppe di Ludovico II, imperatore dei Franchi, proprio nel tentativo di cacciare i Saraceni.
Nel frattempo, a partire dall'VIII secolo, il territorio materano fu teatro di una notevole immigrazione di monaci benedettini e bizantini, che si stabilirono lungo le grotte della Gravina trasformandole in chiese rupestri. Dopo l'insediamento dei Normanni avvenuto nel 1043 la città conobbe un periodo di pace. Nei secoli seguenti, fra carestie e terremoti, Matera fu a lungo città Regia, in quanto si liberava dal dominio feudale riscattandosi più volte, ma sotto gli Aragonesi la città fu ceduta al conte Giovan Carlo Tramontano, che nel 1514 venne ucciso dalla popolazione oppressa dalle tasse. Nel 1663, in epoca spagnola, Matera uscì dalla provincia di Terra d'Otranto, di cui fino ad allora era parte integrante, diventando capoluogo della Basilicata. Tale titolo le rimase fino al 1806, quando Giuseppe Bonaparte trasferì le competenze a Potenza. Nel periodo risorgimentale, il comitato prodittatoriale lucano non mantenne le promesse sulla redistribuzione delle terre demaniali, cominciò a diffondersi un malessere, anche fomentato dai legittimisti, che a Matera esplose l'otto agosto 1860 con l'eccidio Gattini, primo sintomo di ribellione che precedette il brigantaggio postunitario. Nel 1927 la città divenne capoluogo di provincia.
Matera fu la prima città del Mezzogiorno ad insorgere contro i nazisti; infatti il 21 settembre 1943, giorno dell'insurrezione e della strage di Matera, il popolo materano insorse contro l'oppressione esercitata dall'occupazione nazista. Undici persone trovarono la morte a seguito dei mitragliamenti tedeschi in ritirata. La giornata raggiunse il suo culmine con la feroce rappresaglia nazista che costò la vita ad altre 15 persone, sia civili che militari, fatte saltare in aria nel "palazzo della milizia". Nel 1945 vi furono tra le prime nel meridione, sommosse popolari per l'assegnazione delle terre incolte che si risolsero con l'emanazione fra il 1946 e il 1947 dei decreti Ponte, da (Aurelio Ponte Prefetto di Matera); furono anticipatarie della riforma agraria. Nel 1948 nacque la questione dei Sassi di Matera, sollevata da Palmiro Togliatti prima, e da Alcide De Gasperi dopo. Nel 1952 una legge nazionale stabilì lo sgombero dei Sassi e la costruzione di nuovi quartieri residenziali che svilupparono la città nuova nella quale confluirono i 15.000 abitanti dei Sassi. Nel 1980 fu parzialmente danneggiata dal terremoto dell'Irpinia e dalle scosse che seguirono. Nel 1986 una nuova legge nazionale finanziò il recupero degli antichi rioni materani, ormai degradati da oltre trent'anni di abbandono.