En 1888, cuando Frederick Layton construyó una galería de arte otras personas con mentalidad cívica formaron la Asociación de Arte de Milwaukee, más tarde el Instituto de Arte de Milwaukee. En 1957, la Galería de Arte Layton trasladó su colección conjuntamente la del Instituto de Arte de Milwaukee, al War Memorial Center, diseñado por Eero Saarinen