Brogårdshøjs historie er næsten 100 år gammel. Den 28. maj 1924 blev grundstenen nedlagt til den oprindelige bygning. Grundstensdokumentet underskrevet af enkedronning Louise hænger over klaveret i dagligstuen. Den 10. juni 1925 kunne Sygehjemmet med plads til 32 patienter indvies. Patienterne boede dels på fællesværelse dels på eneværelse med fælles bad og toilet på gangene.

Bygningen kostede dengang ca. 200.000 kr. og for at skaffe penge til inventaret blev der udarbejdet en inventarliste – lige fra æggebægere til elevator, som erhvervsfolk og andre donatorer kunne sponsorere.

Siden indvielsen af Sygehjemmet er Brogårdshøj vokset sig større med en ombygning af værelserne til selvstændige boliger med eget bad og toilet. Der er desuden kommet en tilbygning til fællesområdet, og senest i 1996 blev en ny tilbygning med 15 nye to-rumsboliger taget i brug.

Den oprindelige bygning er stadig en del af Brogårdshøj og har 100 års jubilæum i 2025.