Powiatowe Archiwum w Ełku zostało utworzone w 1954 roku i podlegało Wojewódzkiemu Archiwum Państwowemu w Białymstoku. Początkowo mieściło się w budynku Prezydium Powiatowej Rady Narodowej przy ul. 6 Kwietnia. Zasób Archiwum Państwowego w Ełku gromadzono powoli, przejmując początkowo akta likwidowanych jednostek administracji państwowej, szkół, spółdzielni z terenu działania archiwum, czyli z powiatów Ełk, Gołdap, Olecko i Grajewo (I przejęcie dokumentacji nastąpiło w 1955r.).

Rok 1963 przyniósł poważne zmiany. Archiwum otrzymało budynek przy ul. Kąpielowej, gdzie poprzednio była łaźnia miejska i zajmowało go do 2001 r. Wzbogaciło też poważnie swój zasób: z Wojewódzkiego Archiwum Państwowego w Białymstoku przyjęto akta niemieckich instytucji z powiatów Ełk, Gołdap, Olecko – banków, urzędów katastralnych, notariuszy, ewangelickich urzędów parafialnych, superintendentury w Ełku oraz z powiatu Grajewo – akta notariuszy biebrzańskich.

Pod koniec lat sześćdziesiątych zasób archiwum wzbogacił się o akta byłego powiatu szczuczyńskiego z okresu rozbiorów, które w ramach rewindykacji wróciły z ZSRR, początkowo do AGAD-u, a stamtąd, poprzez WAP w Białymstoku, do Ełku.

Kolejną datą graniczną był rok 1976. W wyniku reformy administracyjnej zmienił się teren działania Archiwum w Ełku i do chwili obecnej obejmuje miasta: Biała Piska, Ełk, Giżycko, Mikołajki, Orzysz, Pisz, Ruciane-Nida, Ryn, Węgorzewo i gminy: Banie Mazurskie, Budry, Kalinowo, Kruklanki, Miłki, Pozezdrze, Prostki, Stare Juchy. Archiwum w Ełku stało się oddziałem Wojewódzkiego Archiwum w Suwałkach (od 1984 Archiwum Państwowego w Suwałkach). W związku ze zmianą podległego obszaru Archiwum przejęło nowe materiały archiwalne zlikwidowanych jednostek administracji państwowej.

We wrześniu 2001 roku Archiwum zmieniło siedzibę, przenosząc się do budynku byłych warsztatów Zespołu Szkół Mechaniczno-Elektrycznych przy ul. Armii Krajowej 17 A, staraniem władz miasta adoptowanego na potrzeby Archiwum. Przygotowując zasób do przeprowadzki poddano go w całości dezynfekcji w komorze próżniowej. Warunki lokalowe Archiwum znacznie się poprawiły: powierzchnia magazynowa wzrosła nieporównanie, pracownia naukowa (czytelnia) oferuje dobre warunki pracy użytkownikom, co zaowocowało zwiększeniem ich odwiedzin, zarówno obywateli polskich, jak i obcokrajowców, zwłaszcza Niemców zainteresowanych genealogią.