霍韬，字渭先，号兀崖，广东广州府南海县石头乡霍族人。平生勤奋上进，广博多学，文人学士多称他为‘渭崖先生’。大礼朝议斗争之时，他援引古礼，揆之事体，主张嘉靖帝，应尊生父“兴献王”为皇考，不同意群臣同议以兴献王为皇叔考之名称，义正词严，力排众议，并使得嘉靖帝最后他的主张。事后升官，也因避嫌媚上取宠，三次坚辞不受，官至礼部尚书、太子少保。在京暴病逝世，享年54岁，追封为太师太保，谥文敏，后人对他和石肯乡梁储，西樵大同乡方献夫，同称为明代南海县的“三老阁”，有《诗经注解》、《象山学辨》、《程周训释》等。
霍韬，考中会试的第一名后，提名候补，就返回家乡结婚，然后在西樵山刻苦读书，对经史等学问融会贯通。世宗继位，任用霍韬做了职方主事，杨廷和还在执政，霍韬上书说：“内阁大臣的职务是参与机要事务的，现在却只是拟定文书，对军政大事的裁决权归属于宦官。内阁大臣失去了参与议定的权力，宦官出现了干预政治的苗头，从今以后的奏章，请陛下把大臣召集来当面决定以后施行，讲官、台谏也排列左右，大家共同商议，或赞成或反对，事情公开办理。这样内阁大臣就有了去恶取善的声望，宦官也避免了别人对他们揽权的批评。”进而说到锦衣卫不应当掌管刑罚，东厂不应当参与朝廷中的事务讨论，抚按兵备官不应当凭军功晋级、荫封，兴王府的护卫军不应当全部召来京城授予官职。御史谢源、伍希儒以身赴难有功无罪不应罢免，平定朱宸濠叛乱的功绩除安庆、南昌以外不应当滥评。世宗高兴地听取了他的意见。
关于“大礼”的争论开始，礼部尚书毛澄坚决认为世宗应该称孝宗为考，霍韬私下写了一篇《大礼议》反驳这种观点。毛澄写信给霍韬质问他，霍韬多次写信给毛澄，极力论说毛澄的错误。过后，他认识到毛澄的意见无法转变，就在奏章说：“按大臣们议定，认为陛下应当称孝宗为父，兴献王为叔，另外选崇仁王的一个儿子做献王的后裔。这种观点，根据古礼考较是不适合的，根据圣贤之道来比照是说不通的，根据如今的事实来考虑是名实不相随的。”
霍韬在奏章中还提道：“我提出以兴献王为帝的原因有三点：一是破除前代故事给人的拘束；二是不忘孝宗的恩德；三是避免迎合陛下心意嫌疑。现在陛下已经把明孝宗称为考，又把兴献王尊崇为帝，事情就这样算完了吗？我私下认为帝王之间的继承，只是继承王位而已，本来就不必斤斤计较父子的称呼。只有继承王位，才能使孝宗的谱系不绝，就连明武宗的谱系也不绝。这样陛下对兴献王还可以改正父子之称号，不断绝兴献王天生的大恩；对于国母的欢迎，也能改正为对天子的母亲应有的礼仪。假如再对昭圣太后、武宗皇后能用正确的方式对待，尽心中的诚意来侍奉，那么尊敬尊贵的人，亲爱亲近的人，这两条就都没有违误了。”
世宗升用霍韬为礼部右侍郎，霍韬极力辞让，并且推荐康海、王九思、李梦阳、魏校、颜木、王廷陈、何塘替换自己，世宗不允许，他两次推辞，才得到允准。大礼议定，世宗破格任命他为礼部尚书，主管詹事府的事务，霍韬却上书说翰林院编书升官、日讲荫子以及巡抚子弟荫封为武官的不恰当，然后说自己虽然不能挽救这些错失，但不愿跟随大流。并且言称给事中陈洗受了冤屈，推荐国子监学生陈云章有才干，可以任用做官。
世宗颁诏称赞了他，但不许他推让，霍韬又上书说：“如今持不同政见的人们认为陛下只是想尊崇自己的父王，就拿官职、爵位来诱引自己的臣下，我们两三个人也只是苟且贪图高官显爵，所以迎合了陛下的心思。我曾经慷慨地对自己发过誓：“如果“大礼”最后议定下来，我决不接受加官，让天下人和后代人看到讨论“大礼”的大臣并不是图谋私利的官员。如果让人们怀疑讨论“大礼”的大臣是图谋私利的官员，那么由这些人议定的‘大礼’即使正确，大家也还是认为这是不正确的，怎么才能使人信服呢？”因此他坚持辞让不肯就职，世宗还是不允许，经再三推辞。世宗最后同意了他。
霍韬，先后推荐过王守仁、王琼等人，世宗都采纳了他的意见，又曾因为灾异的发生上书陈述十多条革除弊政的意见，大多经讨论被实施。张璁、桂萼被免除职务时，霍韬上书说谏官陆粲等人是受杨一清指使的。他两次上书猛烈攻击一清，结果一清被削职，而张璁、桂萼被召了回来。世宗听取夏言的建议，将分开来祭祀天和地，修建两座郊祀台，霍韬极力反对，世宗不高兴了，批评他蒙骗君上，自以为是。
夏言也上书替自己辩护，猛力抨击霍韬，霍韬一贯注意保持以前的印象，以便自我施展，但看到世宗生了气，就不敢辩解了，却送给夏言一封信，把他痛痛地抨击了一番，又把那封信抄录一份送交法司。夏言恼了，上书对世宗讲了这件事，并且揭发了霍韬目无君主的七条罪行，连带霍韬的来信一起交了上去。世宗大为恼火，批评霍韬诽谤、嘲笑君上，心术不正，丑化好人，就把他关进了都察院的监狱。霍韬自己从狱中上书哀求宽恕，张璁也两次上书救他，世宗都不听。南京御史邓文宪上书说应该看到霍韬的善良愿望，包涵他的戆直，并且说把天和地分开来祭祀等于是把父母安置在不同的地方，让后妃到郊外亲自养蚕就是废除了男女、内外之间应有的防范。世宗恼了，把他贬官到远方。霍韬在监狱中关了一个多月，最后世宗想到了他当初议定“大礼”的功劳，就让他捐输资财来赎罪还职。
霍韬复出，先后做过吏部左、右侍郎，当时吏部的事情大多都由尚书做主，两个侍郎一般无法干预。霍韬向尚书汪鋐争取，侍郎才获得了参议部事的机会。霍韬一向刚愎自用，多次与汪鋐争斗，汪鋐等人也很惧怕他。不多久汪鋐罢官，世宗长期不另外任命尚书，就让霍韬主持吏部的事务。内阁大臣李时有一次传达世宗的意思，要任用鸿胪卿王道中为顺天府丞。霍韬说：“内阁大臣得到过皇上指示，这本没什么可疑的，但是我们还是应当再行奏请，以便杜绝弄虚作假。”于是按照惯例，开列道中和应天府丞郭登庸两个人的名字，让世宗审定。世宗喜欢他办事照规矩来，就任用了登庸，把道中改任大理少卿。过了很久，世宗让霍韬出任南京礼部尚书去了。
霍韬此前已经和夏言结了怨，等夏言掌权以后，霍韬常常想找些事来陷害他。一次他上书说：“不久前吏部打算推举刘文光等人做给事中，没几天忽然又宣布作废了，大家都说是内阁大臣压了他们。给事中李鹤鸣在考核时被贬了官，没有几天又官复原职，大家都说是经过行贿得来的。陛下应该告诫吏部官员，叫他们不要受执政暗中指使，好让天下人看到恩惠和刑罚都在朝廷掌握中，大臣中间即使有李林甫、秦桧那样的人，也不能够在皇上身边随意捣鬼。”他的话是针对夏言而说的。于是鹤鸣上书自我表白，并列举了霍韬居住在家乡时干下的许多违法事件。世宗把两边都搁下不问。没过多久，霍韬弹劾南京御史龚湜、郭本。龚湜等为自己辩解的同时也上书弹劾霍韬，世宗又一次搁下，对双方都不追究。
朝廷选拔东宫官员时，任命霍韬以太子少保、礼部尚书的官衔掌管詹事府的事务。霍韬上书辞谢给自己的晋升，并且批评说有些大臣接受俸禄不肯谦让，晋升官职也不推辞，其中难免有拉帮结派祸国殃民的奸人，暗中巩固自己的权威。百姓的怨气引来天灾，在人事方面实际上是有原由的，他的意思还是针对夏言而发的。他自己屡次攻击夏言不能取胜，最后见郭勋与夏言有矛盾，就暗中勾结郭勋，和他一道谄害夏言。
当时，朝廷内外风言四起说明世宗又要南巡，霍韬借此上书明显地赞颂郭勋，说：“上次陛下南巡时，跟随的大臣大多都收受贿赂、不守法度。文官只有袁宗儒，武官只有郭勋没有接受馈赠。现在谣言又兴起来，应该采取一定办法加以制止。”世宗在颁布诏书稳定人心以后，才责问霍韬说：“我前次南巡你又没跟着，别人受贿的事你从哪儿听说的？如实给我奏上来。”霍韬回答时请世宗向郭勋询问此事，世宗批评他支吾其辞，务必要他切实指出来。
霍韬走投无路了，只好说：“随从大臣们无不接收馈赠，这事只要问夏言就可以了。至于各人收取贿赂的实际情况，郭勋都整个知道，应该不是骗人。如果一定要我说，请让我担任都察院的职务，顺藤摸瓜进行追查，我一定详细地列出来奏上。”他的奏章被下发给有关部门。霍韬怕自己的奏议不合世宗的意思，很快就赶到了北京，上书述说进贡鲜货的船上宦官贪婪、横暴的事情，世宗也不加查问。霍韬死在任上，终年五十四岁，朝廷追赠他为太子太保，谥文敏。