Zalążkiem obecnego gliwickiego oddziału Archiwum było Archiwum Miejskie (Stadtarchiv Gleiwitz), które mieściło się w gmachu staromiejskiego ratusza. Staraniem władz miejskich przebudowano w 1936 roku budynek dawnej ujeżdżalni pułku pruskich ułanów i przeniesiono do niego zbiory archiwalne. Był to pierwszy budynek zaadaptowany specjalnie dla potrzeb archiwalnych na pruskim Górnym Śląsku, ze specjalnymi regałami i pudłami archiwalnymi. Kierownikiem archiwum do 1945 roku był dr Oswald Völkel. Duża część z wyposażenia tego archiwum, w tym regały aktowe i biblioteczne, pudła archiwalne, szafki katalogowe i część umeblowania pracowni nadal służą archiwistom jak i użytkownikom. Same w sobie stanowią obiekty muzealne warte stosownej ochrony. Już od marca 1945 roku Archiwum Miejskie rozpoczęło działalność jako komórka organizacyjna polskiego Zarządu Miejskiego Gliwic. W 1951 roku gliwickie Archiwum Miejskie zostało włączone do państwowej służby archiwalnej, podporządkowane wojewódzkiemu Archiwum w Katowicach. Zasięgiem terytorialnym obejmowało i nadal obejmuje miasta Gliwice i Zabrze oraz ziemski powiat gliwicki. Kierownikami gliwickiego archiwum byli od 1945 roku: dr Józef Opacki (1945-1946), Izydor Uniowski (1946-1953), Bronisława, de domo Pisarek, Spyrowa (1953-1955), Julia Mękicka (1955-1961), Alfred Sulik (1961-1963), Jerzy Jaros, p.o. kierownika (1963), Janina Wolanin (1963-2004). Aktualnie Oddziałem kieruje Bogusław Małusecki.