宇喜多秀家の岡山城開府に伴い岡山と呼ばれた小さな丘から現在の場所に移されたもの。秀家は本殿を新たに造営し、次いで城主となった小早川秀秋は拝殿以下を造営。岡山城の守護神として歴代藩主の尊崇が厚く、また現在では学問の神様として多くの人々の尊信を集めている。