寛文12年(1673)、岡山藩主池田光政の発願で福島の持玄院観音堂跡地へ邑久郡藤井村(現在の西大寺一宮)から住吉宮を移し、航海の守護神としてまつったのがはじまりといわれる。祭礼には藩主の名代が船で参拝しており、参勤交代の時にも必ず同社に参拝したうえ出航していた。福島の港が岡山の外港として栄えていたころは多くの船が行き来し、船乗りの信仰を集めていた。また、周辺一帯は船着き場として栄えた町筋で、岡山の海の玄関としてにぎわったという。