Va ser creat per a augmentar les possibilitats espacials del Subsistema Arxivístic de l'Exèrcit de Terra, que els seus dos principals Arxius Històrics -l'Arxiu Central del Servei Històric Militar, hui Arxiu General Militar de Madrid, i l'Arxiu General Militar de Segòvia- es trobaven saturats.
En l'antiga seu de l'Acadèmia d'Intendència d'Àvila, situada al costat del Palau de Polentinos -declarat Monument Nacional- l'Exèrcit de Terra disposa d'un conjunt d'instal·lacions que, al costat del gran valor cultural que atresoren, permeten afrontar el creixement dels seus Arxius amb una perspectiva de futur clara.
El nucli inicial dels fons de l'Arxiu General Militar d'Àvila el constituïx l'antic Arxiu Històric de la Campanya, que en 1939 va unificar en un sol arxiu la documentació militar de l'Exèrcit Franquista i de l'Exèrcit Republicà. A este fons inicial s'incorporaria posteriorment l'Arxiu de la Milícia Nacional, compost de dos fons: d'una banda el de les pròpies unitats de la Milícia Nacional (Falange i Requetés) i, per un altre, el fons de la Divisió Espanyola de Voluntaris (Divisió Blava). Tots dos blocs van ser transferits des de l'Arxiu Central del Servei Històric Militar, hui Arxiu General Militar de Madrid, en 1994.
En este nucli principal de l'Arxiu es conserven els fons de les institucions i òrgans de l'Administració Central, tant anteriors a la Guerra, com és el cas del Ministeri de l'Exèrcit, com de la zona republicana i franquista (Ministeri de la Guerra, Ministeri de Defensa Nacional, Ministeri de Governació, Ministeri d'Hisenda, Ministeri d'Estat, Junta de Defensa Nacional, Caserna General del Generalíssim, etc.).
Igualment, es conserven fons d'institucions i òrgans de l'Administració Territorial, com són els del Govern d'Euskadi, la Generalitat de Catalunya, Comandàncies i Governs Militars.
Quant a les unitats de l'Exèrcit Popular, reuneix la documentació d'Exèrcits, Cossos d'Exèrcits, Divisions, Brigades Mixtes, Brigades Internacionals, Columnes i Forces Aèries, entre altres. Les unitats de l'anomenat Exèrcit Nacional, reuneixen la documentació dels diferents Exèrcits, Cossos d'Exèrcit, Divisions, etc.
A estos fons es van incorporar posteriorment uns altres, com els d'Hospitals de Sang, Capitanies Generals, Casa Militar de Franco, Comandàncies d'Obres, Fàbrica d'Armes de Toledo, documentació de les unitats situades en els territoris d'Ifni i Sàhara, Acadèmies i Centres d'Ensenyament, entre els més rellevants.
Completen els fons de l'arxiu les diverses col·leccions documentals de fotografies, objectes o retallades de premsa, moltes d'elles recollides i remeses pel Servei Històric Militar i alguns arxius privats donats pels seus propietaris.
La major part de la documentació va arribar a l'arxiu organitzada en uns casos pel reglament d'arxius militars de 1898, en uns altres per la instrucció de 1939 i més recentment pel principi de procedència, donant-se la circumstància que fons transferits en diferents moments poden haver arribat classificats per diferent normativa.
