岡山城の外堀の北にあった町人町で、町内には延喜式神名帳に記された伊勢宮があり、伊勢宮町と呼ばれていました。のちに小畑町と変わりました。

この伊勢宮(現、伊勢神社)は、伊勢国(現在の三重県)の小俣(おばた)村にある小俣神社とともに豊受大神宮(外宮)と深いつながりがあるところから、小俣が小畑となりその後、町名のもととなったと推測されます。

かつては、この神社の裏門あたりは裏門町、西部には井戸が多かったため井戸町、町の北部には榎の大木があったので榎の町と呼ばれていました。残念なことに、この榎は宝暦7年(1757)の大火で焼けてしまいました。

伊勢宮から土手下までは大部分が伊勢宮の社領地で、地子銀(じしぎん：土地の固定資産税)と、家屋売買の時に買主は価格の10分の1の金額を伊勢宮に納めることとされていました。

小畑町は嘉永7年(1854)の資料によれば、戸数185戸、人口446人(男242人、女204人)とされています。

昭和39年（1964）には住居表示事業の実施により、番町二丁目と広瀬町に変わりました。