I Cartaginesi conoscevano l'isola come YRNM (Punico: 𐤉𐤓𐤍𐤌) o ʾYRNM (Punico: 𐤀𐤉𐤓𐤍𐤌).
I geografi greci lo registrarono come Kossyra (greco antico: Κόσσυρα) e Kossyros (greco antico: Κόσσυρος), che divenne il latino Cossura. Questo appare in arabo come Qawṣirah (قوصرة) e in maltese come l'antico nome Qawsra.
Il nome arabo originale dell'isola era Bint al-Riyāh (بنت الرياح), che significa "Figlia dei venti" dopo le forti tempeste che possono sorgere al largo della costa settentrionale dell'Africa.
Il suo nome siciliano è Pantiddirìa, che ha dato origine all'attuale nome maltese Pantellerija.
Preistoria
L'isola venne sicuramente frequentata sin dal Neolitico, come dimostrano i rinvenimenti della sua caratteristica ossidiana in tutto il bacino del Mediterraneo occidentale. Si data alla fine dell'Eneolitico un gruppo di vasi, forse di un corredo funerario, rinvenuto casualmente a Bugeber. Per quanto noto ad oggi, il più antico stanziamento è il villaggio fortificato con mura ciclopiche di Mursìa, dell'età del Bronzo, databile ad un periodo compreso tra il XXII e il XV secolo a.C., di cui sono note numerose capanne, le più antiche delle quali dalla curiosa planimetria che ricorda lo scafo di un'imbarcazione, ed un imponente muro di fortificazione, tra i meglio conservati del Mediterraneo preistorico, il quale, spesso circa 10 metri e alto almeno altrettanto, circonda l'insediamento sul suo lato est per una lunghezza di 300 metri.
Assai caratteristiche sono anche le tombe, dette sesi (termine di oscura etimologia, esclusivo del dialetto pantesco), delle quali sopravvive un centinaio di esemplari sparsi nell'aspra contrada Cimillia che forma il retroterra orientale dell'abitato. I sesi sono costruzioni in pietra lavica murata a secco, a pianta circolare con spiccato emisferico o troncoconico, talora a gradoni. Al loro interno si cela un numero variabile di celle (da due a dodici) a pianta circolare con volta a cupola ogivale, cui si accede da uno stretto e basso cunicolo. Gli scavi archeologici condotti nell'insediamento hanno restituito una notevole quantità di oggetti importati da svariate regioni del Mediterraneo (Micene ed Egitto), che testimoniano il ruolo centrale dell'isola in una fitta rete di scambi che aveva come principale obiettivo i principali metalli, rame e stagno, necessari alla produzione del bronzo.
Età antica
Dopo un considerevole lasso di tempo, durante cui l'isola rimase apparentemente disabitata, i fenici vi fondarono una colonia, Cossyra, i cui resti archeologici si trovano sulle colline di San Marco e Santa Teresa nell'immediato retroterra dell'attuale capoluogo. Cossyra entrò presto nell'orbita della vicina potenza cartaginese, della quale seguì i destini. Al periodo punico si fanno tradizionalmente risalire le centinaia di cisterne che costellano il territorio dell'isola.
Pantelleria venne più volte occupata dai romani durante le guerre puniche, nel corso del terzo secolo a.C., fino alla definitiva conquista avvenuta nel 217 a.C. I Romani diedero un forte impulso all'economia dell'isola come dimostrano i numerosi insediamenti sparsi nel suo territorio e i rinvenimenti nello stesso sito di Cossyra, tra i quali tre ritratti in marmo raffiguranti Cesare, Tito ed una donna identificata con Antonia minore.
Ad epoca tardo-antica (V-VI secolo d.C.) risalgono alcuni insediamenti, di cui rimangono le necropoli costituite da tombe a fossa scavate nella roccia ed una caratteristica produzione ceramica, detta pantellerian ware, rinvenuta in vari luoghi del Mediterraneo. Conquistata dall'ammiraglio bizantino Belisario nel 540, per conto dell'imperatore Giustiniano, Pantelleria conobbe un periodo di profonda decadenza, durante la quale venne usata, come forse già in epoca romana, quale luogo di esilio di importanti personaggi. Risale a questo periodo, se non l'introduzione, almeno la profonda cristianizzazione della sua gente: le fonti storiche citano anche un monastero di cui si ignora il sito. All'epoca bizantina risale anche il nome attuale dell'isola, che nella sua forma originaria Patelareas, Πατελαρέας in greco, compare per la prima volta nella regola di questo monastero.
Età medievale e moderna
Saccheggiata dagli Arabi a partire dal 700, fu da essi stabilmente occupata probabilmente dall'845, nel contesto della Conquista araba della Sicilia divenendo parte dell'Emirato di Sicilia. Agli Arabi si attribuisce per tradizione l'arrivo di gran parte degli elementi caratteristici del suo attuale paesaggio, tra i quali i dammusi. Certamente gli Arabi introdussero la coltivazione del cotone e la loro lingua che, con una variante locale simile al maltese, rimarrà in uso fino agli inizi del XIX secolo e che ancora oggi influenza profondamente il siciliano che si parla localmente. Nel 1123 l'isola fu conquistata dai Normanni di Ruggero I di Sicilia ed annessa al Regno di Sicilia, del quale seguirà i destini fino ad oggi. Nel 1311 una flotta aragonese, al comando di Luigi di Requesens, vi conseguì una notevole vittoria; la famiglia Requesens ottenne in seguito il principato dell'isola.
Nel giugno del 1488 fu saccheggiata da una squadriglia di 11 fuste turche, le quali portarono via schiavi 80 dei 250 abitanti che Pantelleria allora contava e inoltre razziarono tutta la produzione di cotone e di tele, in quei tempi principale ricchezza dell'isola (J. Zurita, Anales de Aragon. T. 2-2, l. XX, cap. LXXIX. Saragozza, 1579). A causa della sua vicinanza con le coste africane, Pantelleria venne poi ripetutamente saccheggiata anche dai corsari barbareschi. Particolarmente cruenta fu l'incursione che nella metà del XVI secolo vi condusse il corsaro Dragut: il capoluogo venne completamente distrutto e la popolazione massacrata, con circa mille persone tratte in schiavitù. Allo stesso periodo risale l'assetto attuale del Castello Barbacane, che ancora oggi domina il porto del capoluogo, anche se probabilmente il primo impianto era di epoca normanna.
I sovrani borbonici trasformarono l'isola in colonia penale, funzione che mantenne anche sotto i Savoia e che è cessata del tutto solo con la caduta del fascismo.