1895年，日本开始于台湾的统治。隔年，1896年，”台湾总督府”辖下之“学务部”以普及日语为目的，于6月公布“国语传习所规定”，并在同年9月总督府公布“国语学校规则”。在此两规则下，”台湾总督府”在各地设置14所国语传习所。其中，这规则里面所称的“国语”指的是日本语。
因为国语传习所设立以普及日语与台湾学童为主，因此，针对在台的日籍学童，“台湾总督府”特别成立国语传习所的“小学分教场”或相关机构传授义务教育。其科目与日本本土完全相同，而学制定为四年。当时，日本本土尚未全面实施义务教育，因此台湾该教育制度的实施，多少具有实验性。
1898年“台湾总督府”见国语传习所成效斐然，针对日籍学生与台籍学生于1898年8月16日再行发布“台湾公立小学校规则”、“台湾公立小学校官制”、“小学校令”、“台湾公立公学校规则”、“台湾公立公学校官制”与“公学校令”。其中，这些法令明定以中央或地方的经费开办小学校等初等教育学校。