Archiwum powstało w 1950 r. jako Oddział Powiatowy w Tarnowie Wojewódzkiego Archiwum Państwowego w Krakowie. W latach 1952-1975 działało jako Powiatowe Archiwum Państwowe w Tarnowie podlegające Archiwum Wojewódzkiemu w Krakowie (do 1957 r.) a następnie Archiwum Państwowemu Miasta Krakowa i Województwa Krakowskiego.

W latach 1976-1983 działało Wojewódzkie Archiwum Państwowe w Krakowie Oddział w Tarnowie, a od lipca 1983 r., po wprowadzeniu ustawy archiwalnej z dnia 14.07.1983 r. placówka w Tarnowie została Oddziałem zamiejscowym Archiwum Państwowego w Krakowie (od 2012 r. Archiwum Narodowego w Krakowie). Pierwszą siedzibą Archiwum był niewielki pokój w budynku na ul. Kniewskiego (obecnie Bernardyńska), magazyny znajdowały się w budynkach ul. Bernardyńska 19 i 24. W 1985 r. Archiwum otrzymało budynek w Tarnowie-Mościcach przy ul. Chemicznej 16, siedzibę przeniesiono do wyremontowanego budynku w 1991 r. 

Większość zasobu Archiwum Narodowego w Krakowie Oddział w Tarnowie pochodzi z okresu XIX i XX wieku. Gromadzone w tarnowskim oddziale dokumenty to w przeważającej większości akta urzędów miast i gmin, rad narodowych, jednostek wymiaru sprawiedliwości, instytucji kultury, szkół, stowarzyszeń, cechów, zakładów przemysłowych oraz zbiory akt metrykalnych. Użytecznym dla badaczy jest także zbiór prasy oraz księgozbiór biblioteczny liczący około 4600 woluminów.