江戸時代末期の混乱した政治情勢に、岡山藩の対応を物語る遺跡がいくつもありますが、その代表的なものは台場（砲台）跡といえます。横井上お台場遺跡はその一つです。

　江戸幕府が鎖国を解いて諸外国と交易を行うようになった結果、多くの外国人が居留する一方でトラブルも頻(ひん)発して、世情不安を来しました。時の朝廷は、その対応に外国人を排除する攘夷令(じょういれい)を、文久2（1862）年に出しました。これを受けて岡山藩は、翌年に城下町への海路の門戸となる小串と外波崎、さらには瀬戸内航路の要港である下津井港の周辺に台場を構築して、外国船への警戒体制を採りました。また、藩内の軍備体制の再編を図って、各地に警備の番所を整備し、特に岡山城下町の郊外の警備強化に努めました。北方の近郊の横井上村（現・横井上）には、内陸部としてはまれな本格的な台場を設けていて、それが横井上お台場なのです。

　この台場は、岡山平野の背後の半田山丘陵から、西側の横井盆地に延びた尾根筋の先側の頂を占め、城下町からこの山地を通って、津山城下町に至る津山往来（街道）沿いに位置しています。構造は、径約40mの円形の陣地をなし、防壁と砲座の土塁が周りを囲んでいて、北方向に4門の砲列を敷いています。設備面では、沿岸部の台場のような兵舎や弾薬庫や工作場などを整えた常駐施設の様相にはなく、第二線配備の陣地の感にあります。藩兵の洋式砲術の教練場と見なされています。

　しかし、津山往来沿いで砲列を北方に向けていることは、北隣の幕府の親藩の津山藩や譜代大名の松山藩に対し、外様(とざま)大名である岡山藩の有事への施設整備を示しています。

　なお、この台場は、5世紀ごろの円墳を利用して円形の砲台を構築しているので、古墳との複合遺跡となっています。