北武蔵一帯にいつ頃から人が住み始めたかは定かではないが、少なくとも平安時代の中ごろには、武蔵なかでも坂東武士団が割拠していた。熊谷には私市党から熊谷郷を支配したのが熊谷直実の父・直貞で、その直貞と結婚したのが同じく私市党の久下郷の郷主・久下氏の娘であった。熊谷と久下の共存共栄である。この時代から鎌倉時代にかけて熊谷周辺で活躍した坂東武士は、箱田氏、成田氏、別府氏、中条氏などであった。妻沼の斉藤別当、川本の畠山氏も大きな勢力を誇っていた。

1141年（永治元年）は熊谷次郎直実が熊谷館で生まれるが、その2年後に父直貞が亡くなったため、母の実家・久下郷の久下直光の元で育てられる。
久下館は現在荒川新久下橋付近の「古城」と呼ばれるあたりである。久下氏と熊谷直実は叔父甥の深い親戚関係であった。直実28才の時、叔父の代役で京で大番役をつとめていたが、無断で平知盛に仕えたことで、領地境界などでも争いが絶えなくなる。

久下領は久下館の守護のために南東に三島神社を三方に配置したが、そのひとつが現在、新川上分に残る三島神社の古鳥居といわれている。