En 1728, Jacques-Philippe, fils de l’ancien ambassadeur d’Angleterre à Berne Philibert d’Herwarth, et son épouse Jeanne-Esther, fille de l’architecte bernois Jean-Jacques Dünz, s’établissent à Vevey. Jacques-Philippe achète du banquier Aimé Grenier une « maison nouvellement bâtie » sur la place du Marché. Il enrichit le décor des façades et aménage l’intérieur de manière somptueuse. Maison et jardin abritent un nombre extraordinaire d’œuvres d’art. L’unique héritière du couple Herwarth-Dünz ayant épousé un noble anglais, ces richesses artistiques sont transférées en 1780, avec les archives, au château de Nostell Priory. Si la maison, tout d’abord transformée en douane, a totalement disparu en 1896, c’est donc en Angleterre que l’on peut encore admirer les derniers vestiges de la splendeur voulue par Jacques-Philippe. Les archives permettent de connaître un peu mieux le milieu culturel d’Herwarth, qui fit également exécuter le fameux salon peint du château d’Hauteville.
