在中国，汉语元帅一词最早出现在公元前633年的春秋时期，其名源于《左传·僖公二十七年》（前633年）所载晋文公的“谋元帅”（即考虑中军主帅人选），晋国名将先轸在城濮之战与崤之战中屡立战功，成为了我国历史上第一位有元帅头衔并有着元帅战绩的军事统帅。当时只是表示对“将帅之长”的称呼，还不是官职名称。
元代外省和边疆常设有都元帅、元帅府或分元帅府及置达鲁花赤、元帅等，为地区军事长官。元末地主武装首领多称元帅。
明代在枢密院之下设诸翼元帅府，任命元帅、同知元帅等官职，统军征战。元、明两朝的元帅职权较前减轻，仅为二、三品官职。