伊奈忠次祖父忠基是松平广忠的侍从、以三河谱代家臣而活跃。 永禄6年（1563年）伊奈忠次的父亲忠家参加三河一向一揆而出奔。 天正3年（1575年）在长篠之战中伊奈家因立下军功，回归德川家。成为之家康嫡男松平信康的家臣后来信康因为与武田氏的内通之罪被逼自杀。伊奈家再次出奔，流亡和泉国堺。 天正10年（1582年）发生本能寺之变，在堺游玩中的德川家康穿越伊贺回归本国，因为伊奈家此次的功绩，得以再次回归德川家，伊奈忠次得到父亲忠家的旧领小岛城。成为三河奉行的一人，作为检地的代官而活跃、之后成为代官众的笔头，作为在骏・远・三的奉行活跃。在豊臣秀吉的小田原征伐，朝鲜之役中负责兵粮的输送、街路的整备等活动、代官地位逐渐稳固。