六鹿会館の中心施設になっている六鹿邸は、明治40年に六鹿清七が建設した。六鹿清七は弘化2（1845年）、美濃国羽栗郡円城寺(現岐阜県)に生まれ、材木商を営み、名古屋師団の御用商人を勤めていた。

明治30年～35年頃、幾多の苦難に耐え、新馬場（現高岡町）の地に百余町歩(約160ヘクタール)を開墾した。

晩年は現在の六鹿邸をかまえ、地主として地方の農業の振興に尽くし、大正6年73歳で没した。

昭和22年6月、当時の高岡村が高岡中学校の特別教室として六鹿家より譲り受ける。

昭和23年5月、高岡公民館、昭和24年4月、高岡和洋裁学園、昭和30年4月、高岡村立高等家政学校と多様な利用に共され昭和38年3月に閉校に至るまで、農村女子青年の育成の場として幾多の人材を育てた。

閉校後、再び高岡町立公民館として昭和51年まで高岡地区の社会教育活動の拠点施設となった。

昭和53年3月、有形文化財として市の指定を受け、将来にわたって保存されることになった。

昭和54年より、六鹿邸・六鹿庵を中心とした純日本的な文化施設とするため周辺の景観整備も行った。

平成4年、高岡コミュニティセンター開館後は、一体的に管理されるようになり、文化財としての位置付けを重視しつつ、利用施設として必要な改修工事を実施した。

平成15年7月1日にリニューアルオープンし、地域の先達者や歴史などを紹介するための展示を行っている。