El antecedente más remoto de lo que, con el tiempo sería el Archivo General del Ejército Argentino, lo hallamos con el nombre de Ley de Creación del Registro Marcial, dictada por la Asamblea General Constituyente o Asamblea del Año XIII, el 20 de agosto de 1813.

Pero recién aparece una acción planificada respecto a sus funciones, a partir del período de la Organización del Estado Nacional.

El 29 de diciembre de 1890, se reorganiza a la Dirección del Estado Mayor General y Comando en Jefe del Ejército en seis subdivisiones, en la que la Sexta Subdivisión es el Archivo.

Sus misiones y funciones iniciales fueron: Recibo y Archivo de legajos numerados y clasificados; Expedir informes pedidos por la Sección Inspección General de las Armas; Clasificar y Archivar los expedientes o documentos que le sean pasados por la Sección Primera; Registro de todas las resoluciones de gobierno y las que emanas en del Jefe del Estado; Matrícula de los señores generales.

A partir de la Reorganización del 4 de septiembre de 1895, el Estado Mayor General del Ejército, se dividió en tres Divisiones: 1ra Técnica; 2da Instrucción y 3ra Inspección. De la segunda División, dependía la Biblioteca General del Ejército y el Archivo del Estado Mayor.

El 31 de diciembre de 1900 se dicta el decreto presidencial para la reorganización del Ministerio de Guerra y del Estado Mayor General del Ejército. A este último se lo dividió en Divisiones, siendo la Sexta división: “Historia Militar de la República, Archivo del Estado Mayor y Biblioteca”.

A fines del año 1916, fueron disueltos el Gabinete Militar y la Administración Central; y la Dirección General de Personal, es dividida en cinco divisiones, siendo la V División el Archivo General del Ejército, y es la primera oportunidad que se lo nombra con su actual denominación.

El 21 de marzo de 1924 el Estado Mayor General del Ejército pasa a depender del Ministro de Guerra, conservando sus elementos dependientes.

El 20 de octubre de 1961 es creada la Dirección de Estudios Históricos del Ejército, la que contaba con las divisiones Investigaciones, Archivo y Biblioteca.

En 1966 al disolverse la Secretaría de Guerra, la Dirección de Estudios Históricos pasa a depender del Comando en Jefe del Ejército.

Desde 1967 y hasta marzo del año 2000, el Archivo General del Ejército sufre innumerables cambios de dependencias, conservando su misión y funciones básicas.

El 13 de agosto de 1983 el Archivo es trasladado del edificio Libertador, sito en la calle Azopardo 250, al edificio de la Ex Casa de Moneda, en la calle Balcarce 677.

En el año 2000, es disuelta la Dirección de Estudios Históricos del Ejército y el 31 de marzo del mismo año, es creada la Dirección de Asuntos Históricos del Ejército (DAHE). Entonces, el Archivo General del Ejército pasa a depender de dicho Organismo juntamente con el Museo del Ejército, el Servicio Histórico del Ejército y la Biblioteca Central del Ejército.

A fines del año 2007 el Archivo General del Ejército abandona sus instalaciones sobre la calle Balcarce para la construcción en ese lugar, de un jardín materno infantil, trasladándose al piso superior del mismo edificio.

En enero del año 2009 se termina de trasladar por completo el AGE al piso superior, con accesos por las calles México 350 y Defensa 628, donde actualmente funciona.