Secondo un documento, la città fu fondata dai Saraceni, sfaldando, di fatto, l'ipotesi che Altamura sarebbe stata fondata come la mitica Altilia, ovvero l'Alter Ilia, Altra Troia.
Con la distruzione da parte degli stessi, l'imperatore Federico II di Svevia decise di rifondare l'abitato (nei documenti notarili noto come Ad murum, riferendosi alle estensioni territoriali che ogni suddito del re possedeva) ponendo le basi per la costruzione della Cattedrale. Dopo la rifondazione, la ripopolò, portando varie popolazioni della contea di Gravina, tra cui maggior parte gravinesi, ma anche bitettesi, torittesi e grumesi, e la chiamò Altamura, utilizzando un toponimo preesistente, dovuto alla presenza delle mura megalitiche. Ordinò la costruzione della grande Cattedrale (1232), destinata a divenire uno dei più venerati santuari in terra di Puglia. Nel 1248, sotto la pressione di Federico, Papa Innocenzo IV dichiarò Altamura fuori dalla giurisdizione del vescovo di Bari, rendendo la Cattedrale di fatto una "chiesa palatina", equivalente a una cappella di palazzo.
Rinata la città, si svuotarono lentamente i villaggi sparsi nelle campagne dove la gente si era rifugiata nei secoli bui della storia di Altamura, così ricrebbe velocemente e si arricchì in breve tempo.
Il territorio di Altamura fu feudo di varie famiglie nobiliari, in particolare degli Orsini Del Balzo e dei Farnese (1538-1734), questi ultimi committenti della costruzione di numerosi palazzi e chiese. Nel 1648 l'insurrezione di Masaniello a Napoli coinvolse molte altre città del regno in un moto contro la feudalità, tra cui Altamura, che si era opposta con decisione ai tentativi di riconquista da parte di Giangirolamo II Acquaviva d'Aragona, il potente conte di Conversano. In quell'occasione, Altamura aderì alla Repubblica Napoletana e si autogovernò. Nel 1748 Carlo VII di Napoli vi fondò una università: un difficile percorso di affermazione, tra le prime in assoluto in tutta l'Italia Meridionale.
I toponimi della città erano: Altilia o Lupetia.