All Boys participa en los torneos de AFA desde 1937, donde fue de la partida junto a 16 equipos más del primer torneo oficial de Segunda División. A lo largo de su historia alternó buenas y malas.
En 1938 terminó a un punto de los dos primeros, Argentino de Quilmes y Quilmes A.C., por lo que el ascenso a Primera División estuvo muy cerca.
En 1939 terminó segundo, detrás de Banfield, quien se coronó campeón pese a incurrir en el delito de soborno.
