Perché non trasformare quel vasto edificio in un Collegio in cui istruire ed educare i figli del popolo, dal momento che i Gesuiti del Collegio di S. Francesco Saverio nel palazzo aderente al suo educavano i figli dei Nobili? 

L'idea fu ben presto realtà. Il palazzo del Giglio divenne il Collegio S. Carlo sotto la direzione del Conte Zani, che accolse ragazzi e giovani del popolo. Per nove anni lavorò fra quei giovani il Conte. Alla vigilia della sua morte volle presso il suo capezzale il P. Rettore del Collegio S. Francesco, al quale affidò anche la Direzione del suo Collegio. 

Così nel 1654 i PP. Gesuiti prendevano anche la direzione del Collegio S. Carlo, denominandolo però Collegio S. Luigi, dal grande Santo Gesuita. Da questo momento diressero ambedue i Collegi separatamente per più di un secolo, cioè fino al 1773, anno della bolla Pontificia di Papa Clemente XIV che ordinava la soppressione dell'Ordine. 

L'indirizzo del Collegio S. Luigi, pur rimanendo sostanzialmente orientato verso il popolo, prese però al contatto con gli Educatori del Collegio dei Nobili una tinta nobiliare, the si accentuò sempre più fino al 1797, quando per ordine dei Francesi napoleonici i due Istituti si fusero in uno a nella fusione del S. Francesco rimane lo spirito a del S. Luigi rimane il nome. 

Larga traccia di bene lasciarono i PP. Gesuiti in questi anni di attività educativa a religiosa. Accanto all'opera nucleare di educazione impartita nei due Collegi avevano organizzato ben sette Congregazioni di varia attività religiosa. Avevano aperto una Biblioteca Pubblica per la diffusione della Religione a della Cultura. Tale e tanta era la responsabilità di queste opere che costituì una grande difficoltà per i PP Barnabiti che furono chiamati dal Card. Malvezzi, Arcivescovo di Bologna, a succedere nella direzione dei due Collegi, dopo la soppressione del 1773. Ci volle un ordine del Cardinale per metterli in possesso dei due Collegi: ordine e possesso confermato un anno dopo dal Papa Clemente XIV.