我国古代原本并没有将军，管民政的叫司徒，管经济的叫司空，管军事的叫司马。每军的统帅也不叫将军，而叫卿，卿以下叫大夫（师级），大夫以下叫士。到了春秋时代，诸侯为了扩大自己的势力范围，不断增加兵力。大国诸侯常常拥有三军以上的兵力，但等级制度又不允许诸侯突破三军（只能设三卿）。于是，就把扩充军的统帅称作“将军”，为“将领一军”的意思。以后军队数量越来越多，将军也就越来越多。作战时军队得由一人统率，因此，又在将军中选拔出“大将军”或“上将军”来全盘指挥。到了汉代，军队数量更多，单设一位大将军也管不过来了。于是又出现了膘骑将军、车骑将军、卫将军等级别。以后，各朝代将军的名衔虽不完全相同，但将军分成许多级别这一原则却是相同的。
将军一词产生的时间非常早，在春秋时期就已经有了。按照周礼，天子统六军，诸侯可领一军。晋文公时期，为适应争霸战争的需要，扩建三军，为"上、中、下"三军，其他诸侯纷纷效法。 三军之统帅，由三卿任之，出将边营，人掌机密。
春秋时尚没有"将军"的官职，至于三卿，据《礼记。王制》："大国三卿，皆命于天子。"孔颖达疏："崔氏云：三卿者，依周制而言，谓立司徒，兼冢宰之事；立司马，兼宗伯之事；立司空，兼司寇之事。"可见，三卿指的是司空、司徒、司马3个官职，大诸侯国的三卿如果严格按照周礼规定还需要周天子的任命。
"三军"产生后，由三卿各掌一军，卿代行将军之职。"将军"的初始含义就是"将领一军"的意思。战国时期，开始设立"将军"的官职。后来由于军队的数量一再扩充，将军也越来越多，需要一人来加以统帅，所以又有了"大将军"或"上将军"的称呼。
汉代以后，由于兵种的增多，一个大将军也管不过来了。 所以又有了骠骑将军、车骑将军、卫将军等级别。明清两代，有战事出征，置大将军和将军，战争结束则免。清朝，将军为宗室爵号之一，驻防各地的军事长官也称将军。