香色山頂上には弥生時代の祭祀跡があり、その側には「佐伯直遠祖坐神(さえきのあたいえんそにますかみ)」の文字が刻まれた石碑がある。