「芬園」此一地名最早於光緒年間出現，據傳有人在此地種植菸草，閩南語稱“菸”為“芬”，故稱「芬園」。

芬園寶藏寺建於康熙11年(1672)，原為供奉觀音佛祖的小寺廟。經過多次整修，現為三殿雙進雙護龍的廟寺建築。