Palacio reconstruido en el siglo XIX, aunque data su origen del año 1521 (siglo XVI). Siendo en ese momento Don Juan de Valdivielso el escribano de la villa. Tiene el escudo haciendo esquina y consta de una puerta de muralla con tres torres. Esta rodeado con la Cruz de Calatraba, una orden militar de la edad media a la que pertenecía Don Pedro de Valdivielso (nieto de Don Juan de Valdivielso).

También fueron de esta casa Don Francisco Manuel, Caballero de Alcántara, Don Andrés, Prior de San Pablo de Valladolid; y Don José, Canónigo de Santiago; Don Pedro que lo fue de Santillana; Don Andrés, Teniente de Navío y Comendador de la Orden de San Juan; Don Juan Manuel Canónigo de Santillana y otros.