1931年4月，国民党政府颁布《陆军军官佐及士兵等级表》，沿用北洋政府时期的军衔制，衔级和衔称都不变。当时授军衔没有统一的机构，国民政府可以授，总司令部可以授，军事委员会可以授，甚至上级机关或军政长官也可以授。1932年，西北军阀马步芳曾把还在小学读书、只有12岁的儿子马继援，委派为青海省南北边区警备司令部的上校参谋长。更为荒唐的是，上报到南京中央军政部后，竟然给予正式命令，发给了委任状。另外，当时军衔和职务相比，衔高职低的情况比较普遍，军长大都授上将。一些地方军阀，手中不过万把人最多几万人，也自封为上将。1933年，当时蒋介石在一次纪念周上讲话说：“国民党军队同列强相比，战斗力特弱而将官特多，上将都数不清了。”
为了整顿军队军衔混乱状况，以适应其军事上的需要，国民政府决定对军衔进行修订。1934年7月和1935年1月，国民政府重新制定了陆、海、空军《官制表》和《士兵等级表》。1935年3月，颁布了新的军衔等级表，把上将分为第一、第二两级，增设特级上将。整个军衔等级为六等十八级：
将官：特级上将、一级上将、二级上将、中将、少将;
校军：上校、中校、少校;
尉官：上尉、中尉、少尉;
准尉;
军士：上士、中士、下士;
兵：上等兵、一等兵、二等兵。
海军士兵分八级，称谓与北洋政府时期相同。
国民政府时期的军佐衔，最初等级设置与北洋政府时期相同，但改变了称谓，即在军官衔的前面冠以专业名称，如“军需少将”、“军医中校”、“军法上尉”等。1934年以后，军佐衔改用新称谓，将级军佐衔统称“监”，校级军佐衔统称“正”，尉级军佐衔统称“佐”。
抗日战争结束后，国民党军队为适应全面内战的需要，对各级军官的服现役限龄作了大幅度降低：一级上将，62岁;二级上将，60岁;中将，56岁;少将，52岁;上校，46岁;中校，44岁;少校，42岁;上尉，40岁;中尉，38岁;少尉，36岁。这在当时主要军事国家中是比较低的。
国民党军队的上将衔，比较复杂。除了分特级、一级、二级三个档次外，还有中将加上将衔和追赠上将几种。
特级上将为最高军衔，授予陆海空军最高军事长官。实际上这一衔级是专为蒋介石而设的。
特级上将、一级上将和二级上将常服的军衔标志，抗战结束前都是金版领章上缀3颗三角星。抗战以后，常服的军衔标志，由领章改为肩章，二级上将为3颗五角星，一级上将、特级上将分别为4颗星、5颗星。因此，也分别被俗称为“三星上将”、“四星上将”、“五星上将”。也有人是死后才被追赠的，如张自忠、廖磊等;还有人生前死后都为正式晋升二级上将，如钱大钧、罗卓英等。
此外，国民政府于1934年12月对驻蒙古、新疆、西康、西藏等地的武职官员，颁行了一种特殊的官衔，共分三等十级，其称谓类似于清末的军官衔称：一等一级称都统、一等二级称副统、一等三级称协统，二等一级称都领、二等二级称副领、二等三级称协领，三等一级称都卫、三等二级称副卫、三等三级称协卫，此外还设有准卫一级。
中国的军衔制从清末建立到民国的几次改动，军衔等级中都没有“大元帅”这一级，那么孙中山和蒋介石等人的大元帅是怎么回事呢?
实际上，孙中山等人的大元帅并不是军衔，而是职务，是一种权力象征。1917年7月张勋复辟后，孙中山即提出拥护约法、恢复国会的主张。8月，孙中山在广州召开国会非常会议，有130多名议员出席，决议成立中华民国军政府，规定军政府设海陆军大元帅一人，元帅二人，均由国会选举产生。大元帅是国家元首兼行政首长，元帅则协助其工作。9月1日国会选举孙中山为大元帅，桂系军阀陆荣廷、滇系军阀唐继尧为元帅。10日，孙中山在广州就大元帅职，但陆、唐二人不愿和孙中山合作，分别通电拒受元帅职务。可见，孙中山的大元帅是一种职务，即最高军政长官，其权力相当于实行“总统制”国家的总统，即国家元首兼政府首脑，而不是军衔。
其实，在晚清实行军衔制时，就有陆海军大元帅一职，是由光绪皇帝兼;光绪病逝后，宣统皇帝即位，因他当时才3岁，大元帅之职由其父摄政王载沣兼。
而民国时期的大元帅也不止孙中山一人。北洋政府历届元首(总统或执政)，均兼陆海军大元帅。1924年11月，孙中山督师北上，国民党元老谭延、胡汉民在广州先后代理大元帅职。张作霖在北京组织安国军政府，宣誓就任“中华民国陆海军大元帅”。张作霖的大元帅也是一种实际职务名称，其权力相当于实行“内阁制”国家的总统。
1934年3月溥仪在日本帝国主义的扶持下，在长春当上了“满洲国”儿皇帝，并兼“满洲国陆海军大元帅”。
1937年7月“七七事变”发生后，抗日战争全面爆发。8月12日，国民政府国防最高会议及党政联席会议决定，军事委员会委员长蒋介石为中华民国陆海空军大元帅，即最高军事统帅。蒋介石是旧中国最后一位大元帅。
以上这些大元帅都不是军衔。如蒋介石就任大元帅时，军衔仍为特级上将，直到1975年蒋在台湾去世时，其特级上将的军衔都未曾改变过。
