在汉代，太尉名义上是中央掌军事的最高官员，和“
丞相”、“御史大夫”（东汉是司徒、
司空）并为“
三公”。
但实际上，只是加衔的虚职
西汉时期中央和地方各级官吏的名称基本沿用了秦朝的制度。但与秦朝不同的是，在皇帝之下设立了三套平行的官僚体系，分别为丞相率领的外朝官、大将军率领的内朝官、以及处理皇帝与皇族私人事务的宫廷官。其中外朝官为西汉中央政府的最高行政权力由丞相、太尉、御史大夫三人分掌，其下分设
九卿、列卿等。但由于官制名目甚多也有一定的分权目的，所以太尉的实权性时时不定。按《汉书·百官公卿表》：“太尉，秦官，金印紫绶，掌武事。”是汉朝的最高武职，不常置。不设置太尉时，则以太尉职归丞相。相当于今天的
军委主席。
东汉时期，以太尉、司徒司空为三公，太尉管军事，司徒管民政，司空管监察，分别开府，置僚佐。但东汉实权已转移到
尚书台，太尉实为丞相﹐与西汉早期掌武事的太尉名同而实异。太尉作为最高武职，除了评定全国武官的功绩高下、以为升降的依据外，就是作为皇帝的最高军事顾问。汉朝军队由各将军、校尉统领，太尉不能直接指挥军队。