İlk yerleşim. Tarsus'ta bilinen en eski yerleşim Gözlükule Höyüğü'dür. Höyükteki katmanlar Geç Neolitik Çağ'dan Orta Çağ'a kadar süren bir yaşamı gösterir. Hitit dönemi metinlerinde kentin adı “Tarsa” olarak geçer.
Kilikya'nın merkezi. Kent sırasıyla Hitit, Asur ve Pers egemenliğine girdi. MÖ 333'te Büyük İskender Tarsus'a geldi. Roma döneminde Kilikya eyaletinin merkezi oldu; MÖ 51–50'de eyalet valisi Cicero burada görev yaptı. MÖ 41'de Kleopatra ile Marcus Antonius bu kentte buluştu.
Pavlus'un kenti. Hristiyanlığın yayılmasında belirleyici rol oynayan Pavlus (St. Paul), MS 1. yüzyılın başında Tarsus'ta doğdu. Roma döneminde kent, sanat ve felsefe okullarıyla Atina ve İskenderiye ile birlikte anılıyordu.
Bizans'tan Ramazanoğulları'na. İmparator Justinianus 6. yüzyılda taşkınlara karşı Berdan'ın yatağını değiştirdi; bugünkü şelale böyle oluştu. 7. yüzyıldan sonra kent Bizans, Abbasi, Selçuklu, Kilikya Ermeni Krallığı ve Memlük yönetimleri arasında el değiştirdi. Abbasi Halifesi Me'mun 833'te Tarsus'ta toprağa verildi. 14. yüzyıldan itibaren kente Ramazanoğulları yön verdi; Ulu Cami, Kırkkaşık Bedesteni ve Kubat Paşa Medresesi bu ailenin eserleridir.
Osmanlı ve Cumhuriyet. Tarsus 1517'de Osmanlı topraklarına katıldı. 19. yüzyılda pamuk ticareti ve 1886'da açılan Mersin–Tarsus–Adana demiryolu kenti canlandırdı. 1902'de Berdan üzerindeki bir su değirmenine bağlanan dinamoyla sokaklar elektrikle aydınlatıldı. 1918'de başlayan Fransız işgali 27 Aralık 1921'de sona erdi. Mustafa Kemal Atatürk kenti ilk kez 17 Mart 1923'te ziyaret etti.
Savaş yıllarında bir buluşma. 30–31 Ocak 1943'te Cumhurbaşkanı İsmet İnönü ile İngiltere Başbakanı Winston Churchill, Tarsus'un Yenice Garı'nda bekleyen bir vagonda görüştü. Görüşme tarihe Adana Konferansı ya da Yenice Görüşmesi adıyla geçti.
Bugün. St. Paul Kilisesi, St. Paul Kuyusu ve çevresindeki tarihi mahalleler 2000 yılında UNESCO Dünya Mirası Geçici Listesi'ne alındı. 2024'te Çukurova Uluslararası Havalimanı ilçe sınırları içinde açıldı. 2026'da Kleopatra Kapısı'nın yanındaki Kleopatra Meydanı ve Tarsus Belediyesi Sanat Galerisi hizmete girdi.