“那也由得你吧，只是你回到云南之后，也切记好生安养，可不要因为阮常生的事，伤了你自己的身子啊？”道光说到这里，却也不禁感叹道：“或许你有所不知，这两年朕的心情，和你却也没什么分别，前年春天，奕纬走了，朕年轻时候生的三个儿子，竟然一个都不在了。如今两个小儿子才三岁，太小了啊……也不瞒你说，皇后这两个月身子一直不好，太医怎么用药都无济于事，朕前日也听他们说，皇后……或许要不行了。可朕又能怎么办呢？朕毕竟是皇上，这朝廷公务，哪一件不需要朕来批谕呢？你也不要太伤心了，你初任协办，在内阁资历还不够，所以这次大学士的位置朕给了潘世恩，但如今汉臣之中，大学士之下，无论德望实绩，都是非你莫属了。所以若是内阁再有出缺，朕……朕就让你补任大学士，你……你可要好好活着，朕还等着你入朝辅佐朕呢。”原来就在道光十一年，道光长子奕纬因病去世，而道光次子、三子俱皆夭折，一时竟没了皇嗣，好在同一年皇四子奕詝出生，道光才避免了帝王无后的困境。而道光十三年，皇后也突然染病，日渐沉重，此后半月便即过世，谥曰孝慎皇后。至少在家事之上，道光所遭遇的痛苦竟不亚于阮元。
“这……臣谢过皇上。”话虽如此，阮元却也清楚，道光说自己作为协办大学士“资历不足”，这句话本来不假，可潘世恩之前也只是吏部尚书，并非宰辅之人，以内阁宰臣而言，潘世恩又有何“资历”？归根究底，还是在道光心目之中，自己的重要性已经全然不如当年了。但即便如此，阮元半年之内，连续经历两次大丧，也已是精疲力竭，昔日的进取之心却也渐渐淡了。想到这里，阮元也向道光主动言道：“只是臣如今老迈，自也清楚，臣精力早已不如壮年之时，更兼耳聋眼花，动辄忘事，抚境安边，已是力有不逮。臣如今已是协办大学士，算是在内阁中有一席之地，所以臣也想着请皇上准许臣入朝，若是只在内阁办事，臣或许还能够尽力为之，但操持两省军政要事，臣……已经无能为力了，臣不想因为臣一人老迈，竟耽误了朝廷抚境安民的大事啊？”
“阮元啊，你能为朝廷着想，主动跟朕说起入朝之事，可见你确是忠直之人啊。”道光听到阮元主动请辞总督之职，也向阮元叹道：“不过，朕知道你从来严于律己，你说你老了，那朕想来，你再做一两年总督，还是能够把边事应对下来的。正好如今云南那边，朕看着还有两件事，需要尽快去做，这两件事由你去办，才最为稳妥啊。第一自然就是车里继承一事，那刀绳武的残部，若是愿意归降自可既往不咎，如是坚决顽抗，自也不必容情，须得彻底平了车里之乱，再让那刀正综承继宣慰使。第二件事，是最近越南的阮福皎给朕来了一份信，里面提到越南边地有个叫农文云的头人，公然背反越南，如今越南那边正在征剿此人，但是他们也担心这农文云势力不支，竟而逃入云南。所以你回到昆明，还要继续加强开化一带的防务，不让那农文云窜入大清地境，当然了，也不要主动越界，越南的事，就让越南自己去办，咱们不要干预。若是你实在支持不住，阅兵的事，朕许你自便。等这两件事都办完了，朕……朕让你回来。”
“如此便多谢皇上了。”阮元听得道光向自己许诺，也再次向道光拜谢道。
这日阮元辞别道光，次日便即收拾了衣装，准备南下。阮祜和钱德容夫妇眼看阮元精神衰迈，担心阮元独自南归会有闪失，便也向道光请求暂停六部行走之职，陪同阮元南归昆明。是以到了这一日，阮元便和阮祜夫妇一同雇了车轿，准备从广安门出城南下，先到保定见过刘蘩荣，再行回往云南。
只是这一日的广安门下，竟然早早停了一乘舆轿。眼看阮元一行车轿渐渐走近广安门下，那舆轿中也走出一个人来。阮元在轿中听得前面有异，便也让仆人落了轿，自己下来想要一看究竟，不想见到那人，阮元竟也吃了一惊，不由得失声道：“曹太傅？”
那人不是别人，正是曹振镛。
“阮中堂，最近身体可好啊？”不想这日曹振镛竟是一反贡院之态，主动上前向阮元问道：“令郎的事，我已经知道了，阮中堂现下心里，可不好受吧？其实老朽前几年，也遇到过一样的事情，老朽的大儿子从来谦恭好学，老朽也想着尽心培养他成才，可他就那样走了……阮中堂，身为人父，老朽能理解中堂的心境。”
“是吗，如此说来，倒是我对曹太傅失敬了。”阮元也当即回拜道。
“阮中堂，国朝掌故，不知中堂知道多少，先前老朽也听闻京中之人，言及朝中大臣拜相之事，似乎无论满汉大臣，拜相之后，往往便有丧子之事。若是天数，也勉强不得啊？”曹振镛也向阮元叹道：“只是，阮中堂，老朽知道您身子不好，可即便如此，中堂尚有云贵安边之事要办，所以老朽也劝中堂好生调养，切莫因为如此伤痛之事，竟坏了自己身体啊？”
“这样说来，我也要多谢曹太傅了。”阮元也回敬道，只是这时，阮元却也想起，若是阮常生当年没有出京为官，而是一直在衍圣公府，或许他安于京城之状，反而不会染病早逝。他一直对曹振镛外放阮常生一事有所不满，这时便也问道：“只是曹太傅啊，两年之前，您又何必将犬子外放道府呢？犬子本也是文弱之人，若是一直在京中做官，我想，他也不会突然染疾，就这样去了啊？”
“阮中堂，先前听您讲论《管子》，这持盈保泰之道，您应该清楚啊？”曹振镛却向阮元解释道：“阮中堂如今位高权重，督抚九省之地，学生又遍布天下，那你凡是有所言语，必然是群起而相应，若是令郎也在京为官，那依令郎才干，如今多半也是京卿了，您可曾想过，到了这个地步，京城读书人要怎么看中堂和令郎啊？他们只会把令郎视作您的化身，想尽办法讨好令郎，到那个时候，令郎还能独善其身吗？就算令郎依然是一尘不染，外间读书人之中，您阮中堂地位如何，您不会从来都没考虑过吧？也对，中堂早早做了京卿，或许对下面那些人的心思，就没怎么在意过，老朽只向中堂提个醒，中堂平日讲论学问政事，言语可不少了，若是外人发现中堂之意，竟与皇上谕旨不同，那外人会怎么想呢？皇上又会怎么看呢？到那个时候，就算老朽不会为难中堂，难道中堂还想着，在朝堂之上独善其身吗？”
“曹太傅，您还挺关心我的嘛？”阮元自然不会相信曹振镛这番说辞。
“阮中堂，您若是不相信老朽，那您也可以去问问京中其他人，老朽做枢臣十三年了，门生送礼，不敢说一毫不取，可请托办事，老朽从来没给任何一个人行过方便。老朽家里是盐商，也不缺钱，所以老朽京城里这宅子，中堂若是有意，去看一看就知道了。您或许觉得，老朽是在裁抑中堂势力，可反过来说，老朽在枢廷十三年，老朽可有自己的势力啊？陶澍在江南要改票盐法，老朽不也同意了吗？”曹振镛又向阮元解释道。
“是吗……”阮元自然清楚，曹振镛言外之意，当是自己收礼不多，也从无受贿请托之事，是以虽是盐商，家居却十分清廉。
可是如此之言，便能说明，曹振镛裁抑阮元竟是全无私心吗？显然阮元不会这么想。
“罢了，不论如何，今日曹太傅能来送我一程，我心中还是感激的。”阮元也只得如此向曹振镛言道。
“阮中堂，老朽今日前来，一是想着中堂与老朽同病相怜，其二便是老朽知道，中堂确是大清少有的廉能之人。”不想曹振镛此时，却又向阮元称赞道：“中堂督抚九省之功，老朽所知不全，但应该也不少了，老朽知道中堂之才，其实也足以做这个宰辅。而且老朽清楚，中堂虽然也有降级罚俸之过，可是除了刘凤诰那件事，其实中堂一生都没有多大的过失，中堂无非是因进言不合上意，被降级过几次，也都留了原任，您以前被罚过俸禄，多半也是因为钱粮征收不足数，又或者漕粮未能足兑，究其根本，中堂是不愿为了自己的俸禄，就去增加百姓的负担的。老朽承认，中堂德行，乃是大清楷模，老朽也是……也是真心敬佩阮中堂的。”
“曹太傅谬赞了。”阮元也向曹振镛答道，只是这时阮元心中却也意外轻松了许多，回想英和、那彦成诸人，皆是果于任事，却因办事不当，加上曹振镛不肯从宽处断，方才相继获罪去职。如此说来，自己为官数十年，不仅所在皆有作为，而且从未出现任何可以被曹振镛抓住的把柄，是以长任粤滇，却至少没有贬谪之苦。而曹振镛这个时候主动向自己言及此事，或许也是……
抬头看曹振镛时，阮元方才发现，这竟然是数十年来，自己第一次详细端详此人，只见他须发俱是雪白，面色平和，慈眉善目，倒是颇有长者之风，与学生们言语之中那个自己最大的对手竟是全然不同。念及此事，想到旧日翰林之中，自己竟是全然没有和他言语，阮元却也不禁多了几分歉意。
但阮元也清楚，自己跟曹振镛绝非志同道合之人。
“阮中堂，老朽还有公事，就先行一步了。”曹振镛也向阮元拜道：“如今老朽心中，却也是真心希望中堂得享高寿。不说别的，老朽在翰林的时候，那许多同僚，如今也就只剩下中堂一个人了，中堂以后，可要保重啊？”
“曹太傅保重。”阮元回拜曹振镛之后，也重新回到轿中，再次启程。
“道光十三年，（阮元）由云南入觐，特命典试，时称异数，与大学士曹振镛意不合”。后世史书之中，阮元与曹振镛的关系，便是如此。
可阮元的诗集之中，却也出现了这样的文句：
太傅为我劝，谓勿太感伤。骨肉归乡土，命也不克常。
或许，这种复杂的情感，才是阮元与曹振镛之间真实的关系。