L’immeuble doté d’une cheminée abritait la fabrique de pâtes Jules Besson, transférée en 1908 au bord du lac, sur la rive droite de la Thièle. On a édifié à son emplacement le garage des Remparts, auquel se substituera par la suite le Crédit suisse.
Déjà utilisé dès le moyen âge pour les jeux, et surtout pour le tir à l’arbalète puis au mousquet, le magnifique espace polyvalent de la place d’Armes, vide au centre et défini par des allées de marronniers, presque aussi vaste que la ville ancienne, a suggéré aux édiles de la fin du siècle l’échelle des ambitieux projets du collège et du casino, réussites incontestables, réalisées par des architectes alors très en vue. Le coût du collège, comportant certes de considérables dépassements, s’est monté à l’équivalent d’un budget annuel communal de l’époque. On attendait de l’édifice qu’il transforme la petite bourgade paysanne et industrielle en une ville élégante. Voici ce que déclarait la Municipalité pour défendre son projet : « Le cadre des hauts marronniers, la forme de la place, le fond qui se dessine dans le Jura, tout semble destiné à parer au mieux l’édifice qui serait appelé à remplacer noblement la masure qui porte le nom de douane. L’entrée dans notre bonne ville serait d’un effet citadin et de bon goût, et la première impression qui doit toujours être ménagée pour l’étranger à son arrivée serait sans doute très favorable à notre cité. »
Avec l’apparition du chemin de fer en 1855 et surtout l’inauguration de la gare en 1859, la place d’Armes n’est plus simplement comme auparavant « derrière la ville » - une ville qui n’ajamais été tournée vers le lac. Elle lui sert au contraire de parvis. Ses promenades agrémentées de marronniers vont maintenant conduire le visiteur en ville. Flanquées de beaux édifices, elles doivent l’impressionner et rehausser le prestige de la petite cité.
L’implantation du collège répond positivement à de tels objectifs, puisqu’on recommence peu après avec son pendant, le casino-théâtre, à l’autre extrémité de la place. A la silhouette sévère du premier, inspirée de la Renaissance italienne et chargée d’exprimer la culture classique et latine, celle des élites donc, s’oppose celle plus fantasque, plus légère, du casino, qui invite le voyageur à profiter des délassements que propose la cité thermale.

Au centre de la photo, Georges (dit Géo) Oltramare, le chef de l’Union. On distingue au fond à gauche l’ancien collège secondaire, à droite les dépôts Decoppet, que les bâtiments de la Poste remplaceront à la fin des années 1950.
Avant de se lancer dans la politique active, Georges Oltramare, que certains surnomment le «mini-duce genevois», travaille comme journaliste et écrivain. Après son licenciement du journal La Suisse, rétif à son ton de plus en plus agressif, il publie, animé d’un esprit de revanche, la première version du Pilori, journal satirique au ton antisémite. Cette publication connaît un succès surprenant, devenant l’organe de diffusion de l’Union Nationale (UN).
Il s’agit, selon l’UN, de combattre la «juiverie» et le marxisme sous toutes leurs formes. Pour mener cette lutte, elle préconise un front commun de tous les partis de droite, des défilés en uniformes et des manifestations souvent accompagnées d’actes de violence.
Néanmoins l’UN demeure un groupe très minoritaire. Les événements sanglants du 9 novembre 1932 à Genève constituent la traduction la plus dramatique du rapport de force qui oppose la gauche et la droite. Ce jour-là, suite à l’intervention de l’armée suisse, treize personnes trouvent la mort et soixante-cinq autres sont blessées. A l’origine de cette situation de guerre civile, une manifestation de l’UN et les réactions qu’elle a provoquées dans les milieux de gauche.
A Yverdon, l’Union ne rassembla jamais que quelques dizaines de membres, parmi lesquels le pasteur. Philippe Lugrin, habitant Montagny, un certain Criblez, le commerçant Emile Robellaz et l’architecte Béguelin. Une liste de huit candidats sera tout de même déposée pour les élections communales de 1937 sous la bannière «Union nationale yverdonnoise».