Początkiem archiwum w Gdyni było utworzenie w 1950 r. Oddziału Powiatowego Archiwum Państwowego w Gdańsku. Formalnie Oddział Powiatowy w Gdyni zaczął pracę 1 stycznia 1951 r. w pomieszczeniach wynajmowanych w budynku Prezydium MRN przy al. Piłsudskiego (wówczas Czołgistów) – dzisiejszego Urzędu Miasta Gdyni. Swoim zasięgiem działania Oddział obejmował wówczas miasta: Gdynię i Sopot, a w początkowym okresie (do 1955 r.) również powiaty: kościerski, starogardzki i tczewski. Jednocześnie w 1951 r. rozpoczęto działalność w drugim lokalu Oddziału w Sopocie, w dwóch pomieszczeniach ulokowanych w gmachu ówczesnego Prezydium MRN w Sopocie ( ul. Kościuszki 23/25).

W 1951 r. na podstawie dekretu o archiwach państwowych z 23 marca 1951 r. utworzono Powiatowe Archiwum Państwowe (PAP) w Gdyni. Do głównych zadań archiwów powiatowych należało: gromadzenie i opracowanie zasobu przejmowanego z państwowych jednostek organizacyjnych, inspekcje i lustracje w ramach opieki nad narastającym zasobem archiwalnym oraz tzw. prace kulturalno-oświatowe (np. rejestrowanie i gromadzenie wiadomości o materiałach archiwalnych). Przez długi czas dużym problemem dla działalności archiwum w Gdyni był brak właściwej siedziby. Stąd też kilkakrotnie zasób archiwalny był przenoszony - w gmachu Prezydium MRN archiwum mieściło się do 1957 r., następnie nastąpiła przeprowadzka do budynku przy ul. Świętojańskiej 9, skąd w 1968 dokonano kolejnej częściowej przeprowadzki do lokali przy ul. ul. Świętojańskiej 139 oraz Szenwalda 14, zajmowanych poprzednio przez Miejski Zarząd Budynków Mieszkalnych. W ten sposób w 1975 r. archiwum w Gdyni zajmowało w sumie 3 lokale w Gdyni ( Szenwalda 14, Świętojańskiej 9 i 139) oraz 1 w Sopocie ( Kościuszki 23/25), przy czym były to niewielkie pomieszczenia magazynowo-biurowe. Przeprowadzona w 1975 r. reforma administracyjna i likwidacja powiatów spowodowała przekształcenie w 1976 r. PAP w Gdyni w Ekspozyturę Wojewódzkiego Archiwum Państwowego w Gdańsku. Ranga ekspozytury, jako archiwum terenowego była znacznie mniejsza niż powiatowego archiwum państwowego sprzed 1975 r. W praktyce ekspozytura, niezależnie od wielkości zasobu, pełniła rolę magazynu archiwalnego, czasami bez stałej obsady personalnej. Problemy lokalowe Ekspozytury spowodowały zmniejszenie się ilości przejmowanych akt. W 1976 r. cofnięto WAP w Gdańsku decyzję o przydziale dotychczas zajmowanych lokali, jednocześnie przyznano Archiwum lokal zamienny przy ul. Starowiejskiej 37 (dokąd przeniesiono się w 1979 r.). W 1991 r. nastąpiła kolejna przeprowadzka. Archiwum musiało opuścić zajmowany lokal przy Starowiejskiej 37 i przenieść się do budynku Zespołu Szkół Przemysłu Spożywczego w Gdyni (ul. Grabowo 2).

Problem znalezienia właściwej siedziby dla Archiwum – budynku mogącego pomieścić nie tylko dotychczasowy zasób Ekspozytury w Gdyni, ale również akta z Komitetu Wojewódzkiego PZPR w Gdańsku (przejęte przez AP w Gdańsku w 1990 r.), oraz inne, które archiwum powinno było przejąć, został w końcu rozwiązany w 1993 r. Wówczas to przejęto w bezpłatne użytkowanie budynek magazynowy w Gdyni przy ul. Hutniczej 42 (obecnie Handlowa 11), stanowiący majątek po likwidowanym Przedsiębiorstwie „Energoblok”. W końcu 1993 r. opuszczono dotychczas zajmowane pomieszczenia w Gdyni i Sopocie, a całość akt przewieziono do zajętego w prowizoryczny sposób budynku na przy ul. Hutniczej. Tutaj również przeniesiono akta z Archiwum KW PZPR w Gdańsku. Po gruntownym remoncie w latach 1997-1998 gdyński Oddział  Archiwum Państwowego w Gdańsku (utworzony 1 października 1997 r.) zaczął przejmowanie akt, których do tej pory APG nie mogło przejąć ze względu na brak powierzchni magazynowej (stąd też dużą część zasobu stanowi depozyt AP w Gdańsku). W 1998 r. zamontowano komorę do dezynfekcji akt, co umożliwiło dezynfekcję akt przejmowanych przez AP w Gdańsku i gdyński Oddział, w 1999 r. zorganizowano pracownię konserwacji, a w 2007 r. pracownię odkwaszania papieru.