黄霸，字次公，淮阳郡阳夏县人，后徙云陵县，西汉时期名臣。少学律令，初任侍郎、谒者。昭帝即位，历任河东均输长、河南太守丞，汉朝官吏多以严酷为主，唯独黄霸以宽和着名。宣帝即位，听闻黄霸持法公平，召其为廷尉正，后历任谏大夫、扬州刺史、颍川太守、京兆尹、太子太傅。为政时，劝客耕桑，节用殖财，力行教化，而后诛罚，深得吏民之心，治下户口岁增，治为天下第一。迁御史大夫，官至丞相，封爵建成侯，后去世。
黄霸，出生于淮阳郡阳夏县，自幼攻读法律之学，胸有大志，喜欢做官。
汉武帝末年，黄霸以待诏身份，捐官做了侍郎谒者，后因兄弟犯罪，被弹劾罢官。随后，黄霸捐谷求官，授补左冯翊，管辖沈黎郡，负责郡内钱粮事宜。黄霸在任内，公正无私，经上司考察，升任河东均输长，负责征收、买卖和运输郡内货物。因清正廉洁被举荐为河南太守丞，黄霸熟稔法律条文，在任内勤于观察，待人接物温良谦让，处事议政合乎法度，顺应人心，深得太守信任和百姓爱戴。
汉武帝病逝，汉昭帝即位，由大将军霍光辅政，左将军上官桀等人与燕王合谋作乱，霍光杀掉他们之后，仍沿用汉武帝末年的严刑峻法制度，以严厉的刑罚约束臣民，导致各地官吏以执法严酷为能，唯有黄霸宽和以待，爱民如子，因此赢得了仁厚的名声。
汉昭帝崩，没有儿子，权臣霍光等立昌邑王刘贺为帝，刘贺“荒淫无行，失帝王礼宜，乱汉制度”，在位27天后被废。
光禄大夫邴吉，建议把流落民间的汉武帝曾孙刘病已迎入宫中，入继大统，为汉宣帝。宣帝由于幼年遭遇变故，长期生活在民间，深知百姓的疾苦和吏治得失，因而重视吏治，注意减轻人民负担，发展农业生产。宣帝听说黄霸执法公平、仁厚爱民，就召升为廷尉正，在任内数次裁断疑难案件，朝廷上下都认为判得很公平，不久转任丞相长史。
汉宣帝为标榜自己是汉武帝正统嫡孙的身份，下诏颂扬汉武帝，要求群臣讨论武帝的“尊号”和“庙乐”。群臣莫不赞成，唯独长信少府夏侯胜极力反对，认为武帝对百姓没有恩泽，不能另立庙乐，时任丞相长史的黄霸支持夏侯胜，拒绝在弹劾夏侯胜的联名书上签字。
丞相蔡义和御史大夫田广明带头声讨夏侯胜“非议招书，毁先帝”的罪行，定性为“大逆不道”，又揭发黄霸事先知道夏侯胜的观点而没有举报，犯有包庇怂恿之罪，两人都被捕入狱，判处死刑。
不过，汉宣帝并没有按惯例将夏侯胜和黄霸按“大逆不道”罪处死并“夷三族”，而是长期关押。夏侯胜、黄霸被关在牢里后，过了很久也没见行刑，黄霸就提议跟夏侯胜学习经术，夏侯胜以已获死罪为由拒绝了他。黄霸引用《论语》说：“朝闻道，夕死可矣。”夏侯胜觉得他说得很好，于是，就教他学习《尚书》。
关东四十九郡同日地震，夹杂山崩，城墙房屋倒塌，死了六千多人，宣帝为祈求太平而大赦天下，夏侯胜和黄霸得以被赦出狱，夏侯胜出狱后被任命为谏大夫，便让左冯翊宋畸举荐黄霸为贤良，又亲自向皇帝举荐黄霸，宣帝便提拔黄霸当了扬州刺史。
黄霸因治绩卓着，贤良考核名列上等，宣帝对黄霸在扬州任内的工作很满意，下诏表彰，任命黄霸为颍川太守，俸禄两千石，并赐一丈高的车盖，车轼为丹黄色，以示德高望重。
黄霸任颍川太守时，汉宣帝勤勉政事，多次颁布诏书，恩泽天下，地方官吏却不让百姓知道这些诏书内容。黄霸遴选品行优秀的下属官吏，分散到属县宣传恩泽诏书，让民众都能知道皇上的旨意，黄霸还注重听取百姓之声。
黄霸对待百姓宽大仁慈、暗中又明察秋毫，深得吏民拥护，郡内的户籍人口逐年增长，治绩天下第一，宣帝非常高兴，征召他担任京兆尹。
不久，黄霸因为有过失而被贬，以八百石的官秩再度出任颍川太守，任职八年，郡中大治。宣帝下诏表彰黄霸的吏治之功，封为关内侯，赐黄金百斤，俸禄升为中二千石。几个月后，宣帝任命黄霸担任太子太傅，随后又提拔为御史大夫。
黄霸77岁，接替丙吉任丞相，封建成侯，食邑六百户。擅长治民，却不善于为相，任丞相时建树不是很多，风采不如前任，名声也比他治郡时有所下降。
黄霸，担任丞相期间，召集九卿、博士一起接见各郡前往京师汇报政绩的官吏，黄霸想按照治理情况，对各地的官吏划分等级，恰巧京兆尹张敞家中的鹖雀飞到了丞相府，黄霸以为是神雀，便商议着想上书称瑞，后来知道是张敞所养，就没有奏报皇上。
张敞反对变更法令，就将事情的始末禀告了宣帝：“臣家的鹖雀飞到丞相府，在场的官吏都认得这种鸟，丞相问及，却都说不认识，可见众人都惧怕丞相的权势。如今朝廷制定的法令，劝民从善，防盗禁奸，条文已经详备了，不可增改。应该令大臣训示各地官吏，回去禀告郡守，推举人才一定要名符其实，郡中公务应依法而行，不可擅自制定法令。”天子采纳了张敞的奏言，黄霸因此十分惭愧。
乐陵侯史高，以外戚身份任侍中一职，名望很高，黄霸推荐史高可任太尉。汉宣帝令尚书召黄霸质问说：“太尉一官废除已久，其职责由丞相兼管，这是为了息武兴文。如果国家动乱，边境吃紧，左右大臣都可领兵打仗。丞相的任务是宣明教化，评判冤案。任命将相是我的职责；况且史高是我的近臣，我深知他的才能底细，何劳你越职举荐他呢？”
尚书请丞相陈言己见，黄霸羞惭满面，连忙摘下帽子谢罪，数日后宣帝才裁定黄霸免罪。
从此以后，黄霸再也不敢向皇上进奏，然而自从汉朝兴起，讲到治理地方官吏民众的，还是以黄霸为第一。黄霸任丞相五年，寿终，享年82岁，谥号为定侯。