Mientras la influencia de Ruy Gómez crecía sobre la figura de Felipe, el recelo de éste hacia el duque de Alba iba en aumento. De esta forma, y aprovechando el intento de invasión francesa de los Países Bajos, a finales de 1554, rechazado finalmente por las tropas de Carlos y la entrada de una nueva fuerza en el Piamonte, bajo el mando de Charles de Cossé, conde de Brissac, Felipe convenció a su padre para que mandase al duque a poner en orden los asuntos en Italia.
Allí fue el duque a comienzos de 1555, teniendo que hacer frente no solo a los franceses, sus enemigos externos, sino a las maquinaciones de sus enemigos en la Corte, especialmente el vil Ruy, quien hizo todo lo posible para privarle de fondos y hombres para su campaña en Italia. Y es que ya antes de la partida del duque, a los soldados acantonados en el Estado de Milán se les debía, en concepto de pagas atrasadas, se les debía la desorbitante cantidad de 600.000 ducados. No solo no se le fueron entregadas estas cantidades, sino que apenas se le asignaron 200.000 ducados a última hora, pues uno de sus más fieles partidarios, Francisco de Eraso, se había pasado al bando de Ruy e intentó todo lo que estuvo en su mano para que no le llegasen esos dineros.
Mientras el duque se reunía en Augsburgo con el rey Fernando, las intrigas continuaban en la Corte, negándole incluso su propio sueldo de 12.000 ducados. Llegado a Innsbruck envió una carta a Felipe advirtiendo de que no tomaría posesión de sus cargos en Italia a menos de que se le abonaran las cantidades prometidas. En vistas de la situación, Alba trató de conseguir dinero de todas las formas posibles, tanto en Italia, a través de Bernardino de Mendoza, como en sus posesiones en España, desarrollando una gran actividad agrícola en sus tierras.