中共中央警卫团的前身是一支有着革命光荣传统的部队。1928年5月，为保证红四军军部和首长的安全，毛泽东在井冈山组建了军部特务连。特务连在此后的斗争中不断发展壮大。1942年10月20日正式组建中共中央警备团，对外称第十八集团军总司令部警备团，是抗日战争时期中共中央的警卫部队。1949年3月下旬，中共中央机关进驻北平后不久，中央警备团扩编为中央警卫师。1953年5月，因中央警卫机构的变动，在中央警卫师一团（前身是延安中央警备团）的基础上，调整充实组成新的中共中央警卫团（实际是师的建制）。该团番号全称：中央人民政府革命军事委员会警卫团。中央警卫团的建制在中国人民解放军总参谋部，按编制序列，总参谋部下达给中央警卫团的代号为8341部队。
1976年粉碎“四人帮”后，经中共中央、中央军委批准，中共中央警卫团于1977年11月又恢复中央警卫师的番号，总参为其下达新的代号，任务和隶属关系不变。