黄霸, 字次公, 是淮阳郡阳夏县人,身为豪杰而役使乡里人迁徙到云陵。黄霸年轻时学习法律, 喜欢做官,
汉武帝末年以待诏的身份因纳钱有功被赏给官职, 授官侍郎谒者, 因兄弟有罪受牵连被弹劾免官。以后又纳谷沈黎郡, 被授官担任左冯翊二百石卒史。因为黄霸是交纳钱财才担任官职的, 所以不让他担任高职, 而让他管理郡国钱粮的出入之数。其簿册清楚没有侵隐, 因廉洁被称赞, 被
察举而升任河东均输长, 又因廉洁被推举担任河南太守丞。黄霸善于观察, 思维敏捷, 又通晓法律, 温和善良又能谦让, 足智多谋, 善于驾驭众人。黄霸担任守丞时, 处事及议论都符合法律, 适合人心, 太守非常信任他, 吏民都爱戴尊敬他。自汉武帝末年, 施法严厉苛刻。
汉昭帝即位, 年幼, 大将军
霍光秉政, 大臣争权, 上官桀与燕王筹谋叛乱, 霍光在诛杀他们之后, 就遵循汉武帝时的法度, 用刑罚严厉约束属下, 因此平庸无能的官吏都崇尚严酷的刑罚, 认为这是才能, 而黄霸却只用宽厚温和的政策进行治理而出名。正碰上
汉宣帝即位, 汉宣帝在民间时深受小吏之苦, 听说黄霸执法公平, 即位后征召黄霸让他担任廷尉正, 多次决断疑难官司, 廷尉称赞黄霸公平。守丞相长史, 与公卿聚会议于朝廷之中, 知道长信宫少府夏侯胜非议诏书犯了大不敬, 黄霸讨好他, 不检举弹劾, 皇上将他们俩都委付给廷尉, 囚禁在牢狱之中, 应当处死。黄霸于是在狱中跟随夏侯胜学习《
尚书》, 又过了一个冬天, 总共三年才被释放出来, 这些都记载在《夏侯胜传》里。夏侯胜出狱后, 重新担任谏大夫, 让左冯翊宋畴推荐黄霸为有德行的人。夏侯胜又在皇上面前口头推荐, 皇上于是提拔黄霸担任扬州刺史。三年后, 汉宣帝下诏说:“诏令御史: 以德行最优的扬州刺史黄霸担任颍川太守, 官俸与二千石等同, 在位赐车盖, 特许其一个人车盖高一丈, 另乘主簿车, 把橘红色的油涂在轼前的屏泥上, 以昭明他有德行。”当时皇上注意国家治理, 多次颁发恩泽诏书, 但官吏没有让百姓都知道。黄霸为太守挑选品行好的官吏, 分别宣布诏令, 让百姓都知道皇上的好意。命驿馆、乡里治所都喂养鸡猪, 以便赡养鳏寡贫弱的人。然后制订教令, 设置父老、师帅、伍长, 颁行于民间, 勉励他们做好事防止奸邪之徒, 以及致力农桑, 节俭增财, 种植树木、喂养牲畜, 不喂养吃谷的马匹。细小之事, 起初极为繁多, 但黄霸凭自己的精力极力推行它。黄霸见到吏民, 从与他们的谈话之间探求, 询问其他隐私, 以作参考。黄霸曾想有所考察, 于是挑选了年长廉洁的属吏并派他巡视,告诫他不要泄露出去。这一属吏出去后, 不敢在驿站停留, 在道旁进食时, 乌鸦迅速抓取了他所要吃的肉。有个准备到郡府谈论事情的人刚好看见了, 黄霸与这人谈到了这件事。过了两天这个属吏回来拜见黄霸, 黄霸看见他后欢迎并慰劳他, 说:“ 非常辛苦! 在路旁进食却被乌鸦把肉叼走。”这个属吏大惊, 认为黄霸全部知道他的行踪, 黄霸所询问的,这一属吏连极小的事情都不敢隐瞒。鳏寡孤独有死了而无法埋葬的, 乡部用信告诉黄霸, 黄霸全都为其分别加以处理,某地的大树木可做棺材, 某亭的猪子可用来祭祀, 下吏前去验看后发现一切都如黄霸所说。他记事的能力之强达到这种地步, 吏民不知道他用的什么方法, 都称赞他神明。因此, 奸邪之徒离去到了别的郡国, 盗贼一天比一天减少。黄霸尽力实行教化, 若有不从的, 然后才使用刑罚, 从不轻易替代损伤长吏。许县丞年老, 犯耳聋病, 督邮将此事告诉黄霸并想赶走他, 黄霸说:“ 许县丞是一名廉洁的官吏, 虽然年老, 但还能拜起送迎, 即使很聋, 又有什么妨碍呢? 姑且好好地帮助他, 不要使贤能人失去志向。”有的人询问他的缘由, 黄霸回答说:“ 多次变换长吏, 欢送旧官迎接新官的费用和奸滑小吏乘交接之际弃匿簿书来盗取公物, 公私所耗费用很多, 这些都应当由百姓拿出, 所更换的新官又不一定贤能,有的不如以前的官吏, 只是增加混乱。大凡治理之道, 不能太苛求吧。”