Il nome antico era Canusion (Kανύσιον) in Greco Antico e Canusium in Latino. Città daunia fondata secondo la leggenda dall'eroe omerico Diomede decantato nell'Iliade, Canusium è stato tra i più importanti centri indigeni della Daunia prima e della Apulia poi.
I primi insediamenti autoctoni (composti dai Dauni, ramo settentrionale del popolo degli Iapigi), stabiliti su quella fascia di terra chiamata dagli archeologi Campi Diomedei, risalgono ad un'epoca di gran lunga precedente a quella diomedea, e precisamente al Neolitico (6000-3000 a.C.). Le epoche successive vedono il costituirsi dell'abitato arcaico di Toppicelli, sulla piana ofantina, caratterizzato dalla presenza di edifici e tombe aristocratiche ricchissime di corredi appartenenti al ceto di quelli definiti poi "principi dauni".
Nel corso dei secoli, Canosa diviene un importante centro commerciale e artigianale, specie di ceramiche e terrecotte. Con lo sviluppo della Magna Grecia, il centro è influenzato dalla cultura ellenica (morfologicamente e urbanisticamente, Canosa doveva essere territorio ideale per la formazione di una polis greca). Nel 318 a.C. diventa città alleata di Roma, accogliendo i Romani anche nel 216 a.C. dopo la disfatta di Canne, piccolo villaggio nei pressi dell'Ofanto, ad opera di Annibale. Dall'88 a.C. diventa municipium e beneficia del passaggio della via Traiana (109 d.C.) e della costruzione dell'acquedotto di Erode Attico (141 d.C.), di un anfiteatro, di mausolei e archi. Più tardi l'imperatore Antonino Pio eleva il centro al rango di colonia con il nome Aurelia, Augusta, Pia, Canusium. Da ricordare anche che veniva definita "la piccola Roma", poiché anch'essa sorge su sette colli.
Era rinomata per l’industria della lana e per la produzione delle ceramiche, testimoniata da numerosissimi esemplari, spesso di grandi dimensioni, provenienti dalle tombe della città e dalle necropoli di tutta la Puglia e appartenenti a epoche diverse. Dai più antichi senza vernice e a decorazione geometrica (caratteristica fra tutte la forma di cratere a imbuto) ai cosiddetti vasi listati, con decorazione a fasce parallele, geometrica e figurata insieme, a quelli d’imitazione greca a vernice nera con figure rosse, fino ai grandi aschi bianchi con ornamentazione figurata plastica.
Verso la fine del III secolo diviene capoluogo della Regio II Apulia et Calabria, diventando nel secolo successivo anche sede di una tra le più importanti diocesi di Puglia, che raggiunse il culmine della sua importanza con il vescovo san Sabino (dal 514 al 566); la presenza della sede episcopale ha lasciato testimonianze artistiche di valore, tipiche dei luoghi di culto e l'architettura civile dimostra la centralità della città (di cui Barletta era solo un porto) rispetto al territorio pugliese (da cui l'appellativo "città dei vescovi").
Diventata sede di gastaldato con l'invasione longobarda nel VI secolo, subisce successivamente diverse devastazioni per mano dei Saraceni (scacciati intorno all'871).
Canosa ritrova un certo rilievo nel millennio successivo (XI - XII secolo) con i Normanni, grazie al particolare interesse mostrato dal principe Boemondo I d'Antiochia (che dal 1111 d.C. giace nel mausoleo ivi presente) e poi, sotto gli Svevi, da Federico II.
Danneggiata dalle guerre dinastiche in epoca angioina (XIV - XV sec.), resistette eroicamente nel 1502 a fianco degli Spagnoli contro le truppe francesi, che la occuparono solo dopo lungo assedio. Nel 1530 Carlo V la diede in dono a Filiberto d’Orange, ma due anni dopo la concesse a Onorato Grimaldo, i cui discendenti la vendettero nel 1643 a Filippo Affaitati; nel 1818 fu assegnata al vescovo di Andria.
Dall'età imperiale incomincia il declino, perdurato sino al XVIII secolo, accentuato dai molteplici terremoti (1361, 1456, 1627, 1659), dai numerosi saccheggi (in particolare, dei tarantini nel 1451 e dei soldati francesi di Napoleone nel 1803) e dalla perdita della sede vescovile.