中进士而后，他恭敬侍上，深得圣上嘉许。戊子年坐'泄盐'案发戍乌鲁木齐，乃圣上英明，爱惜英才，免其死罪，宽大至极。他在西域军中，也勤奋不已，并深为泄盐事愧悔，一旦赦免回京，定能不负圣上隆恩！"刘统勋侃侃奏来，入情入理，乾隆听着不由得频频点头。
这三年的功夫，内廷没有纪晓岚走动，乾隆总感觉缺点什么，遇有许多事情时常想，要是纪晓岚在朝中就好了，尤其在诗、联属和之时，更感到如此。但皇上也有他难言的苦衷，不好将纪晓岚马上召回京城。自从动了纂修四库全书的想法之后，皇上也在想着，由纪晓岚主持总纂，恐怕是最为合适的人选了。现在刘统勋奏请，正合本意。乾隆也正好顺水推舟，堵住和珅等一帮人的嘴巴。
乾隆说道："看在老爱卿的面上，朕赦纪昀回京。"于是，乾隆颁下诏书，要纪晓岚火速回京。
这年六月，纪晓岚回到了北京。旧日同僚，一时间拥来庆贺，纷纷置筵，为纪晓岚接风洗尘，庆祝他短短三年，便被赦免还京，脱离了苦海。纪晓岚的家人，更是欣喜若狂。
马夫人悄悄吩咐上下人等，说老爷刚刚经历了劫难回京，谁也不许说那些勾起往事、让人伤心的话，尤其是不要让汝佶的事被老爷发觉。待老爷的身体、精神都恢复了，再找机会慢慢说出来。
郭姨太正病着，本来已在榻上躺了几个月中，老爷的归来，使她喜出望外，精神欢愉，病情很快好转。这天纪晓岚来到房中，见郭姨太已经起床，两眼晶莹透亮，淡淡的胭脂施上了面颊，仍然是俏丽动人。纪晓岚很为她病情好转、精神饱满而高兴。于是亲手扶她坐下，给她讲乌鲁木齐的趣闻。
那些故事，本来就曲折离奇，再加上纪晓岚的讲述，风趣幽默，郭姨太越听越高兴，越听越爱听。
可是，郭彩符看见纪晓岚那满脸的笑意，那全然不像历尽劫难、饱经忧患的人的神态，忽然间想起死去的汝佶，想到老爷尚蒙在鼓里，一丝忧伤袭上心头，愁云压低了翘起的眉梢，两滴晶莹的泪珠，悄然滚落下来，怕让老爷看见急忙闭上眼睛，两手捂在脸上。
"你若觉得累了，就躺下歇息吧！"
纪晓岚以为她坐的功夫长了，需要休息。但是，他一眼发现郭姨太眼里蕴含着闪亮的泪花，心里感到奇怪，又接着问她："我说了什么事，使得你如此忧伤？"他不问便罢，这一问使郭姨太心酸难忍，伏在丈夫的身上呜咽起来，抽抽搭搭地说道："是贱妾连累了全家呀。.....害苦了老爷，害苦了夫人，更害苦了大少爷。大少爷已经。.....已经。....."郭姨太说到这里，再也说不下去了。"呜呜呜呜"地放声哭涕着。
"大少爷怎样？汝佶儿怎样啦？"纪晓岚站起身来，吃惊地问道。
纪晓岚回京以后，只是听夫人说，汝佶去了山东，在孔子的家乡游学，他想有自己的门生朱子颖照顾，也便放心了。
但心里想念，更何况也该让儿子回家团聚一下，便打发人捎信，让汝佶回京。如今已经月余，仍旧没有消息，纪晓岚早在心中纳闷，经郭姨太这一说，他忍不住再三追问。
郭姨太看不能再瞒他了，哭泣着说道："大少爷他。.....他已命归黄泉啦。....."纪晓岚闻听这话，恰似万丈高楼失脚、扬子江心断缆崩舟，身子一软，"哎呀"一声，瘫坐在地上。这下子郭姨太慌了神，立刻哭喊着，叫过丫环，将纪晓岚扶到椅子上。
马夫人闻讯赶来，纪晓岚几乎吼叫起来："佶儿到底怎么死的？你们为啥要瞒住我？"马夫人让人将老爷搀回书房，劝他镇静下来，然后把汝佶的事说了一遍。汝佶在他父亲离家之后，与诗社的文友来往，将读经科比之事，全都抛在了一边儿，在朱子颖的关照下，去了山东。在那里看到一部奇书，就是抄本的《聊斋志异》，这一下可麻烦了，汝佶的科举成名的愿望，更是丧失殆尽，穷泊潦倒，一病不起，他死以后，朱子颖派人将灵柩护送到老家崔尔庄。
马夫人又取出一块镇纸，大理石的，递到纪晓岚手上："这块镇纸，是朱子颖运使送给佶儿的，据说是明代唐寅的东西，佶儿知你最喜欢古玩，便捎回家中，等你回来献给你。没想到，没有见到你的面儿，他就。....."马夫人伤心地说不下去了。
纪晓岚看手中的镇纸，小巧玲珑，只有两寸来长、一寸多宽、五六分厚。两面各刻一幅精致的山水画。一面是"轻舟出峡"：江流两岸，悬崖对峙，两人乘着一叶小舟，顺流而下。另一面是"松溪印月"：双松倚立，针鬣分明，松下水纹波起，松梢挂一轮圆月，与水中的月亮，遥相映照，画面清晰，意境幽远。
果然这是明代的古物，要在平时，纪晓岚会高兴得看来看去，赏玩个不停，或是题诗一首，记事抒怀。这会儿，他哪有这份心思，睹物思人，禁不住泪如雨下。
也许是由于长子汝佶之死，与《聊斋》一书有着一定的关系，纪晓岚对这部书有了反感，他后来写《阅微草堂笔记》，有很多地方，就是针对《聊斋》而言的，大概是为了发泄他心中的怒气罢。
三年的边塞生活，经历了不少苦楚，他倒没有觉得如何伤感，丧子的悲痛，却让他肝胆俱裂，差点晕了过去。但他毕竟胸怀宽阔，在夫人和友人的劝慰下，很快便愈合了心灵上的创伤，又恢复了常态。
姨太郭彩符的病情，在短期的好转之后，到九月间，又日渐沉重了。一天，友人领来了一位郎中，来给郭姨太诊玻郎中殷勤倍至，详细问过病历，起脉诊断，开出方子，保证用药后即可药到病除。纪晓岚见那郎中讲得如此高明，赶忙让人取来诊费，从重答谢。郎中再三推辞，无论如何不肯收留，只是最后提了一点要求，请纪学士写一副匾额，再题一副对联。纪晓岚当场答应，心想这还不好办吗？别说一副，就是两副三副，八副十副也是一挥而就。只是要等郭氏用过药后，看他的药方是否灵验，再捉管偿诺。
郭姨太用了这位郎中的药后，不但没有药到病除，病情反倒明显地加重了。纪晓岚忧心忡忡，对这位欺世盗名的庸医痛恨不已。
这天，那位友人又来探望，听纪晓岚讲过郭氏的病情，心中十分懊悔，自责不该轻易听信郎中的吹嘘，连声痛骂那位郎中。纪晓岚劝他说："你不必在意。诊病之事，不求必能治愈。他医道低劣，以后不请就是了。他求题的匾额，我既已答应，就不食言，劳你给他带去，你也好向他交待。"纪晓岚提起笔来，"明远堂"三个大字眨眼写就，交给来人带去了。
这时纪晓岚的门生邱二冈在场，便向先生问道："先生所书'明远堂'三字，意在如何，请先生指教。"纪晓岚笑笑说："不行焉，可谓明也已矣；不行焉，可谓远也已矣'。此医只当视其'不行'，便是无量功德啊！"经这一讲，邱二冈才明白，先生是在嘲骂那位庸医。"不行"就是行不通，不能得逞之意。纪晓岚用的是《论语》上的两句话。《论语·颜渊》中，子张问明一节讲的，孔子的弟子子张，向孔子请教怎样才算心里清明，孔子告诉他，有那破坏别人声誉的言论，听来如水之浸润，容易不知不觉地浸入，可是你不轻易相信，他就无法得逞。受到别人损害的人，由于切身所关，诉说起冤屈来，往往会夸大其词，可是你听了，能够辩别分析，去伪存真。果然如此，就算心里清明了，心里清明，对事情就看得透、看得远了。
邱二冈接着问道："万一他再向先生来求那对联，先生将以何应之？"纪晓岚笑道："我已经撰成五、七言两联，一副转了孟襄阳的两句诗，此联云："不明才主弃；多故病人疏。"另一副集的是唐人的诗句，句云："新鬼含冤旧鬼哭；他生未卜此生休。"邱二冈连声发笑，不住称善，敬赞先生用前人诗句的功夫，真是妙不可比。纪晓岚这第一联，用孟浩然《岁暮归南山》中的两句，原句是"不才明主弃，多病故人疏"，把两句中的第三个字，都提到第二个字的位置上，与原来表达失意和孤独的意义全然不同，用在此处，却恰到好处。第二副对联，嘲骂庸医医术低劣，治死了很多人，新鬼、旧鬼都对庸医怨恨不已，有谁会想到自己竟然误死在庸医之手。上下两联，分别用杜甫《兵车行》和李商隐《马嵬》中的句子，对仗工整，新意顿出。
爱姬郭彩符缠绵病榻，纪晓岚坐卧不宁，忧虑在心，虽经多方求医诊治，仍然不见好转，终在次年三月三十日逝去，年仅三十七岁，给纪晓岚的心头，又来了一次深深的打击。他在整理郭彩符的遗物时，禁不住潸然泪下，赋下两诗，表达他深深的思念。
风花还点旧罗衣，
惆怅酴飐片片飞。
恰记香山居士语，
春随樊素一时归。
百褶湘裙釄画欄，
临风还忆步珊珊。
明知神谶曾先定，
终惜芙蓉不耐寒。
回过头来，再说纪晓岚回京这年的十月初，纪晓岚听说皇帝已从热河南归，正在途中，便急忙离京北上，迎驾于顺天府密云县。原来早在初夏，乾隆即驾临热河避暑，这已是以往的惯例，乾隆总是在热河过了寿辰，就是八月十三这天，再在中秋节后起驾，进驻木兰围场行宫，九月九日重阳节后，便起驾回京了。
纪晓岚在密云等了两天，圣驾也来到这里。