Después de algunos años de convivencia, en noviembre de 1859, el 5.º Regimiento abandonó toda la parte del cuartel que ocupaba, lo que provocó que en agosto del año siguiente el director general de Artillería solicitara al ministro de la Guerra la parte desalojada, para utilizarla por algunos cadetes y así permitir que el resto estuviera hospedado en el Alcázar con mayor desahogo.
Se consideró entonces que los nuevos alumnos debían estar separados de los subtenientes, para lo cual se facilitó a los primeros parte del recinto que había estado ocupado por el regimiento. Se estimó que esto sería factible ya que el principal obstáculo para la entrega de esa zona, constituir en caso de necesidad el alojamiento provisional de la tropa de la guarnición, podría subsanarse en parte con el cuartel de la Trinidad, actual Dirección Provincial de Educación de Segovia, en la calle José Zorrilla.
En consecuencia, por real orden de 29 de octubre de 1860 se entregó al Colegio una parte del antiguo cuartel que había ocupado el regimiento. Siempre a condición de que se hiciera uso del menor número de locales, y que los gastos de adaptación y de aislamiento del resto de los alumnos de la Escuela de Aplicación corrieran a cargo del Cuerpo de Artillería.
A partir de este momento comenzaron a realizarse las obras precisas, confirmándose en marzo de 1861 la total independencia de cadetes y subtenientes. En la nueva zona se habilitaron tres pabellones para los oficiales, uno para un jefe y catorce para unos setenta alumnos de nuevo ingreso.
En vista de que el espacio cedido continuaba siendo insuficiente, y que se preveía un incremento del número de alumnos, el director del Colegio solicitó de nuevo en octubre de 1861 el resto del cuartel. Las necesidades iban creciendo ya que además de tener que alojar a los profesores y cadetes, se necesitaban locales para el comedor, la cocina, la enfermería, el cuerpo de guardia, etc. Definitivamente, el resto del cuartel que aún quedaba por ocupar fue puesto a disposición del director general del Cuerpo el 9 de marzo de 1862.
Todo parece indicar que esta decisión se tomó a raíz del incendio del Alcázar acaecido tres días antes. A partir de ese momento el exconvento se convirtió en la sede de la actual Academia de Artillería, lugar donde ha permanecido prácticamente hasta el día.