Archiwum Państwowe w Poznaniu powstało 5 IV 1919 r., kiedy Komisariat Naczelnej Rady Ludowej wypowiedział pracę niemieckim urzędnikom Królewsko-Pruskiego Archiwum Państwowego w Poznaniu, utworzonego w okresie rozbiorów przez rząd pruski, i mianował dyrektorem tej instytucji prof. Józefa Paczkowskiego. Podstawą prawną organizacji polskiej państwowej sieci archiwalnej na terenie byłego zaboru pruskiego były: ustawa Sejmu RP z 1 VIII 1919 r. o tymczasowej organizacji zarządu byłej dzielnicy pruskiej oraz rozporządzenie Ministerstwa byłej Dzielnicy Pruskiej z 12 IV 1920 r. o organizacji archiwów państwowych byłej dzielnicy pruskiej.

Archiwum Państwowe w Poznaniu wywodzi się z tradycji i zasobu archiwum grodzkiego w Poznaniu, ulokowanego w 1783 r. przez starostę generalnego Wielkopolski, Kazimierza Raczyńskiego w odbudowanej przez niego części zamku (grodu) królewskiego i starościńskiego, nazywanej odtąd „dworem Raczyńskiego”. Archiwum to w czasach I Rzeczypospolitej przechowywało akta instytucji państwowych pierwszej instancji, obejmujących swymi kompetencjami teren powiatu i województwa poznańskiego. Podobnie własne archiwa posiadały także pozostałe grody starościńskie, z zasobem związanym z terenem ich powiatów i województw, natomiast akta sądów ziemskich prawie wszędzie przechowywane były w ratuszach miejskich.

Po pierwszym rozbiorze Polski w 1772 r. zostały przez zaborców zniszczone prawie wszystkie akta sądów grodzkich i ziemskich na terenie Prus Królewskich, natomiast w północnej Wielkopolsce przejęte i zamknięte zostały kancelarie i archiwa grodów inowrocławskiego, kruszwickiego, bydgoskiego, nakielskiego, kcyńskiego i wałeckiego, a po drugim rozbiorze w 1793 r. także grodów poznańskiego, kościańskiego, wschowskiego, gnieźnieńskiego, pyzdrskiego, konińskiego i kaliskiego. Akta tych grodów, wielokrotnie przewożone i lokowane w budynkach sądowych, kościelnych i poklasztornych, zostały w 1849 r. złożone w zamku byłych królów polskich i starostów generalnych w Poznaniu i oddane pod nadzór mieszczącego się tam pruskiego Sądu Powiatowego (Kreisgericht).

Dnia 8 III 1869 r. ukazało się rozporządzenie naczelnego prezesa Prowincji Poznańskiej, Karla Wilhelma Horna o utworzeniu przez rząd pruski Królewsko-Pruskiego Archiwum Państwowego w Poznaniu (Königlich-Preussisches Staatsarchiv in Posen). Archiwum to zostało ulokowanie w zabudowaniach pojezuickich, przejętych na siedzibę Naczelnego Prezydium Prowincji Poznańskiej (Oberpräsidium der Provinz Posen) i objęło przechowywane tam archiwalia, zwożone od 1816 r.  ze skasowanych klasztorów katolickich, położonych na terenie prowincji.

W 1874 r. do tego archiwum, poszerzonego o pomieszczenia w budynkach poklasztornych, zostały z dawnego zamku starościńskiego, oddanego na potrzeby Wyższego Sądu Apelacyjnego (Ober-Appellationsgericht), przeniesione akta grodzkie i ziemskie, a w 1879 r. zaczęło ono przejmować także akta miejskie i cechowe z okresu I Rzeczypospolitej.

W 1884 r. po wystawieniu nowego budynku na siedzibę Wyższego Sądu Apelacyjnego, władze pruskie przekazały dawny zamek królewski i starościński w Poznaniu na siedzibę Królewsko-Pruskiego Archiwum Państwowego.

W efekcie burzliwych starań o repolonizację urzędów i instytucji, 16 IV 1919 r. prof. Bolesław Erzepki fizycznie przejął Archiwum od ustępującego zarządu niemieckiego, usuniętego 5 IV tego roku przez Komisariat Naczelnej Rady Ludowej w Poznaniu.

W celu objęcia opieką państwową licznych registratur władz państwowych, samorządowych i kościelnych, których akta pozostawały poza Archiwum, 2 II 1920 r. powołano Urząd Główny Archiwów Państwowych byłej Dzielnicy Pruskiej. Do jego kompetencji należało przejmowanie archiwaliów od rządu niemieckiego, delegowanie rzeczoznawców przy zawieraniu konwencji archiwalnych w sprawie dzielnicy, administracja ogólna archiwów dzielnicy, organizowanie nowych archiwów, przygotowanie i wyszkolenie urzędników, nadzór nad registraturami urzędów państwowych i opieka nad archiwami i registraturami gmin i ciał autonomicznych oraz nad archiwami prywatnymi. Urząd Główny opracował też statut własny i Archiwum Państwowego w Poznaniu i przystąpił do kompletowania personelu archiwum.

W 1922 r. po likwidacji Ministerstwa byłej Dzielnicy Pruskiej Archiwum Państwowe w Poznaniu weszło w skład polskiej państwowej sieci archiwalnej, podległej Wydziałowi Archiwów Państwowych w Ministerstwie Wyznań Religijnych i Oświecenia Publicznego w Warszawie.

10 IX 1939 r. Archiwum Państwowe w Poznaniu zostało przejęte przez niemieckie władze okupacyjne i przemianowane na Archiwum Rzeszy dla Kraju Warty w Poznaniu (Reichsarchiv Wartheland in Posen). Pod koniec wojny gmach archiwalny spłonął 29 I 1945 r., wskutek czego Archiwum zostało ulokowane w pomieszczeniach byłego zamku cesarskiego (dawniej Kaiserliche Schloss) w Poznaniu. W 1947 r. na potrzeby Archiwum Państwowego przekazane zostały pomieszczenia Archiwum Miejskiego przy ul. Stawnej, a w 1951 r. po przejęciu zasobu Archiwum Miejskiego w Poznaniu, także jego magazyn przy ul. Sierocej.

Od 22 VII 1951 r. główna siedziba Archiwum Państwowego w Poznaniu mieści się w odbudowanym wówczas gmachu dawnego Sądu Apelacyjnego w Poznaniu.