Une résidence, aussi prestigieuse soit-elle, se transforme au cours des ans. Le château qui a près d'un millénaire, n'a plus grand chose à voir avec ce qu'il était en 1013 où Bresles devint propriété de l'évêché de Beauvais, l'évêque prenant le titre de comte de Beauvais.
Ainsi, en 1212, dans l'insécurité résultant du régime féodal, Philippe de Dreux, cin¬quante septième évêque de Beauvais, célèbre à la guerre, compagnon de Philippe-Auguste, fait transformer sa maison de plaisance de Bresles en château fort, avec fossés pleins d'eau et donjon. Une partie sera ruinée bientôt par la comtesse Catherine de Clermont et son allié le comte de Danmartin. En 1214, Philippe de Dreux fit réparer sa forteresse, non sans avoir rasé, pour se venger, celle que la comtesse de Clermont avait érigée en 1187 à La Neuville-en-Hez.
Pendant la longue période où les rois de France luttent à l'intérieur pour asseoir leur au¬torité, le château fort n'est pas épargné, les évêques, le plus souvent, soutenant leur souve¬rain (l'exception la plus célèbre sera Pierre Cauchon qui dirigea le procès de Jeanne d'Arc en 1431).
A la fin de la guerre de Cent ans (1453) le château est en ruine.
Avec la défaite et la mort de Charles le Téméraire (1477) et le traité d'Arras (1482) rattachant la Bourgogne à la France, le calme revient. En 1498, l'évêque Louis de Villers fait reconstruire le château. Celui-ci est encore défensif, bien qu'agrémenté d'un parc, de pièces d'eau, d'un jardin. Ses successeurs continueront son oeuvre. Pendant ce début de la Renaissance ils bénéficient à Bresles d'une résidence agréable.
Malheureusement, les troubles reprennent avec les guerres de religion. L'évêque Odet de Châtillon, qui avait fait du château un palais et un haut lieu de culture, adopte le protestantisme. Il est destitué en 1568 et remplacé par Charles de Bourbon puis par Nicolas Fumée qui sera bientôt trouvé trop tiède par les Ligueurs commandant Beauvais (la Ligue était menée par des nobles catholiques s'opposant à la venue d'Henri IV le protestant au trône ; Nicolas Godin, maire de Beauvais, était un de leurs chauds partisans). Nicolas Fumée se retire à Bresles où il reçoit Henri IV en 1589. Cependant les Ligueurs ne désarment pas. Le 19 novembre 1590, ils investissent le château, le pillent ainsi que le vil¬lage, et emprisonnent l'évêque. Le 5 janvier 1591 Bresles est repris par Lanoue pour Henri IV. Une première fois repoussés le 6 mars, les Ligueurs reprennent la forteresse le 24 octobre 1591. Mais le commandant de Gerberoy pour Henri IV est fait prisonnier par les Ligueurs. Pour sa libération, ceux-ci exigent le démantèlement des forteresses de Gerberoy, Ons-en-Bray et Bresles. Henri IV accepte, et le 28 octobre 1592, l'envoyé de Beauvais à Bresles rapporte que les fossés, les retranchements sont comblés, les ponts levis, les tours, abattus, et que la garnison est partie à Mouy avec ses canons. C'est la fin de la forteresse. Le 5 novembre 1592, le commandant de Gerberoy est libéré. Le château est aussitôt restauré.
Pendant la "guerre de Trente Ans" (1619-1648), le nord est menacé. En 1634 on tente de redresser la forteresse. En 1636 les Espagnols ravagent la Picardie... et Bresles.