Mit 8 Schülern begann der Unterricht, 1924 gab es bereits 54 Schüler. Da die Räumlichkeiten nicht ausreichen, entscheidet sich Zimmermann schließlich für einen großen Neubau in seiner Heimatstadt Bad Driburg, wo er kostengünstig ein Gründstück für die mittlerweile 190 Schüler erwerben und bebauen kann. Im Frühjahr 1928 werden die Gebäude feierlich eingeweiht. 1932 erfolgt die erste staatliche Anerkennung der Schule. Ziel des anfangs altsprachlichen Aufbaugymnasiums ist es, Priesternachwuchs (Priester-Spätberufene) zum Abitur zu führen. Angeschlossen ist als Wohn- und Lebensort das „Studienheim St. Clemens“ bzw. Klemensheim, in dem die Schüler internatsmäßig untergebracht werden. Während des Zweiten Weltkrieges wird das Klemensheim geschlossen und eine Lehrerinnen-Bildungs-Anstalt dort eingerichtet. Nach dem Krieg wird hier die Max-Planck-Gesellschaft gegründet. Die Schülerzahl nimmt wieder stetig zu, ein weiteres Gebäude entsteht. 1968 stirbt Bernhard Zimmermann.
Das Clemens-Hofbauer-Kolleg war damals die erste Einrichtung des Zweiten Bildungsweges im gesamten deutschsprachigen Raum. In den 80er Jahren nahmen die Möglichkeiten an öffentlichen Einrichtungen das Abitur zu machen jedoch stetig zu, was zu einem Rückgang der Schülerzahlen im Klemensheim führte. 1997 wurde der Unterricht eingestellt und das „Clemens-Hofbauer-Kolleg/Studienheim Sankt Klemens“ musste aufgegeben werden. Heute befindet sich dort ein Jugendwohnheim des Kolping-Bildungswerkes. Fast 1000 ehemalige Klementiner wurden Priester. Ein bekannter ehemaliger Schüler ist Max Raabe.
