柱状節理が発達した讃岐岩質安山岩の岸壁をご神体とする奥社。この白い岸壁は、麓からだけでなく瀬戸内海の沖のほうからもよく目立ち、船の航行の目印とされた。