Sidney und Jenny Brown ließen sich kurz vor der Jahrhundertwende in Baden nieder. 1891 hatte Sidneys Bruder Charles Brown dort zusammen mit Walter Boveri das Elektrotechnikunternehmen Brown, Bovery & Cie. gegründet, das später weltweite Bedeutung erlangte und dessen technische Leitung Sidney Brown übernahm. 1900/1901 ließ sich das Ehepaar Brown von Karl Moser die Villa Langmatt bauen.
Noch bevor Sidney und Jenny Brown ihre Villa beziehen konnten, hatte sich auf ihrer Hochzeitsreise 1896 den Grundstein für ihre spätere Sammlung gelegt. In Paris hatten sie beim renommierten Kunsthändler Georges Bernheim ein Bild von Eugène Boudin und eines von Paul-Désiré Trouillebert gekauft. Diese beiden Werke von Vorläufern des französischen Impressionismus ließen ihren späteren Sammlungsschwerpunkt bereits erahnen. In die Schweiz zurückgekehrt, setzte sich in ihrer Sammlungstätigkeit jedoch zunächst der in der Deutschschweiz gültige Geschmack für Münchner Kunst durch.
Als die zunehmende Zahl der Gemälde im ursprünglichen Bau der Villa Langmatt nicht mehr untergebracht werden konnte, ließen die Browns 1905/1906 wiederum durch Karl Moser eine Bildergalerie anfügen. Prägend für die erste Sammlung der Browns, die in dieser Galerie gezeigt wurde, war Julius Exter, mit dem die Familie eine mehrjährige Freundschaft verband. Der Maler besucht die Browns mehrmals in der Langmatt und schuf dort verschiedene Familienporträts. Ein vertrautes Verhältnis pflegten die Browns auch zum Pfälzer Postimpressionisten Peter Koch. Einer der nahrhaftesten in der Sammlung vertretenen Maler und gleichzeitig einer der bedeutendsten Jugendstilkünstler war Franz von Stuck. Von ihm besaßen die Browns das Gemälde Susanna und die beiden Alten. 1913 kam es in den Besitz des Kunstmuseums St. Gallen. Er gehörte wie alle bisher genannten Malter der Münchner Sezession an. Die Mitglieder dieser 1892 gegründeten ersten europäischen Sezession wahrten ihre künstlerische Freiheit und waren keinem neuen Stilideal verpflichtet.
Was genau der Grund war, lässt sich nicht klären, aber um 1907/1908 wandten sich Sidney und Jenny Brown von den Münchner Sezessionisten ab und der französischen Kunst zu. In der Folge versuchten sie, ihre Münchner Bilder abzustoßen. Doch es gelang ihnen nur, gerade einmal fünf der ‚Münchenschinken‘, wie sie diese jetzt nannten, gegen drei Werke französischer Provenienz einzutauschen. Ernsthaft mit impressionistischer Malerei setzten sich die Badener Sammler im Umfeld der Versteigerung der Sammlung Georges Viau auseinander, die im März 1907 in der Galerie Durdan Ruel in Paris stattfand. Der Pariser Zahnchirurg besaß eine umfangreiche Kunstsammlung mit Schwerpunkt im Impressionismus, die von Camille Corot und Honoré Daumier bis Paul Cézanne und Paul Gauguin reichte. Im kurzen Zeitraum von 1909 bis 1910 gelang durch die Vermittlung des in Paris lebenden Kunstmalers Carl Montag der Erwerb von sechzehn bedeutenden impressionistischen Gemälden bei Georges Viau, womit der Grundstock zur neuen Sammlung gelegt war. Die konsequente Hinwendung von Sidney und Jenny Brown zum französischen Impressionismus, die ab 1907/1908 erfolgte, stellte innerhalb der Schweiz eine sehr fortschrittliche Haltung dar.
Sidney und Jenny Browns Sohn John Brown, der nach seinen beiden Brüdern als letzter der Familie ohne Nachkommen verstarb, entschloss sich, sein Erbe einer Stiftung zu überantworten. Damit wurde 1990 nach zwei Generationen die eigentliche Pioniersammlung des französischen Impressionismus in der Schweiz permanent zugänglich. Ihr reizvoller privater Charakter in der Villa Langmatt mit der weitgehend erhaltenen Innenausstattung kann nicht darüber hinwegtäuschen, dass man es hier mit einer kapitalen Sammlung zu tun hat. Allein von Pierre-Auguste Renoir besitzt die Sammlung 22 Gemälde und damit eine der größten Sammlungen dieses Künstlers außerhalb Frankreichs. Daneben finden sich Werke von Künstlern wie Edgar Degas, Paul Cézanne, Camille Pissaro, Marie Cassatt, Gustave Courbet, Paul Gauguin, Claude Monet, Odilon Redon, Alfred Sissley und Vincent van Gogh. Das Sammlungsinventar liest sich wie ein Lehrbuch zum Impressionismus.
Darüber hinaus zeigt die Sammlungsgeschichte ein einzigartiges Zeugnis des Geschmackswandels von deutscher zu französischer Kunst, der sich in der Deutschschweiz um 1907/1908 anbahnte, aber sich erst viel später durchsetzen konnte. Die Browns waren diesbezüglich, wie in der Elektrotechnik, ihrer Zeit voraus.