纪晓岚虽幸免一死，但此时心中有一种说不尽的凄凉之感。人生世事变化无常，纪晓岚慨叹不已。在亲友的帮助下，纪晓岚将家眷安顿好，将在中秋过后，只身出塞服罪。这段日子里，一家人愁眉苦脸，不胜悲哀。此去关山万里，何日才得平安归来，实在难以预料，许多人就此一去不返，埋骨异域了。
中秋节来临，正是万家团圆欢聚的喜庆之日，纪府的上下人等却无一人能露出笑容，个个脸上笼罩着一层悲苦之情。在为纪晓岚送行的家宴上，夫人流着眼泪说：“老爷，是我害得你落到这步田地，听人说新疆那个地方苦极了，不光不产粮食，就连蔬菜也没有。听说那儿净是沙土，天天风刮黄土，吃饭的碗里都有半碗沙土。这样的日子，老爷你怎么受得了哇！”说罢鸣鸣地哭了起来，家人们也跟着坠泪。
纪晓岚虽然心里也很难过，但他为了安抚家人的心，却哈哈地笑道：“你这话说错了，我虽然吃了官司，却无性命之忧，可是救了卢亲家一家人。如不是这样他们一家男的都要被杀了，女的全都被官卖为奴，那时我们比这还要难过呢。”停了一下，又说：“况且古人有云：读书万卷，行路万里。我万卷书是读了，可万里路还没走。前几年去了一趟福建，长了不少知识。可是还不够一万里，再去一趟新疆，就够一万里了。那才好呢，你们应当为我庆贺才对。来来来，干杯！哈哈哈哈……”纪晓岚轻松的巧言劝说，家人听着也觉得有理，心情也就轻松多了。
中秋节刚过。纪晓岚与家人洒泪而别。一路西行，荒山大漠，莽原丛岭。纪晓岚在差役的押解下，风餐露宿，倍极艰辛，心中苦闷难熬，不断地思念家中的妻子儿女，怅惋世事无常，人生艰难。不过，一路风景倒给了他几分享受。西出玉门，饱览了“衰草连天”和“大漠孤烟直”的塞外荒凉景象，觉得古人的描绘和自己以前的相像，终究不如眼前展现的真切丰富，更深切地体会到“醉卧沙场君莫笑”的凄怆悲壮的心态。
在前往新疆的路上，虽然辛苦，但由于纪晓岚家中有钱，在临走之时，多带了点黄金。一路之上，不断买些酒肉，请解差吃喝。纪晓岚又不时给他们买衣服，买鞋子，打发得那两个解差高高兴兴，不但不来恐吓、刁难纪晓岚，反而给他拿了行李，使纪晓岚轻松了许多。他们饥餐渴饮，晓行夜宿，顶风冒雨，走了几个月了。
乾隆三十三年八月（公元1768年），当纪晓岚在秀野亭，以罪臣的身份进入乌鲁木齐时，他以为，也许从此他要客死在这平沙莽莽的西域。与以前的犯人相比，纪晓岚是个幸运者。因为经雍正一朝及乾隆前期的开发，大西北的面貌已有较大改观。纪晓岚到戍所时，已经十分繁华，人烟稠密，商贾云集，农业发展，粮价极贱，教育大兴，弦歌相闻，歌台舞榭，箫鼓琵琶，繁华到几乎同于内地。
纪晓岚到达乌鲁木齐时，大将军温福还在乌鲁木齐都统任上。他俩在京城时就有过结交，彼此敬重，情谊深厚。温福闻报押解犯官纪晓岚来充军，感到十分意外，赶忙派副将把纪晓岚接到都统府，除及时批了收文，打发两个解差走了之外，并设宴压惊。
从宋朝时候起，对充军发配的人，当地地方官是很有权力的。可以找个借口，把你杀了；也可以任意分配给苦役；也可以分配给轻松活计，并能以军功保你为官。所以温福对纪晓岚，既可视为阶下囚，也可待以上宾之礼。温福对纪晓岚关怀备至，嘘寒问暖，使纪晓岚感激至深。两位老友边喝酒边聊天，温福说道：“真是想不到，你头上的官帽都没了，还是这样无拘无束，真乃天下奇人！”
纪晓岚道：“今日离家万里，得见温大将军，这也乃不幸之中的大幸！愿在帐下效力。”温福哈哈大笑，心里十分舒畅，帐下能有纪晓岚这样的谋士，这是做梦也想不到的。只可惜，纪晓岚是戴罪充军，无力加委，待日后立功，定当禀奏朝廷，使其早日获释。
温福安排他掌管案牍文书，可以少受征战之苦，这项工作对于纪晓岚来说，真是轻车熟路，从容自如，但他一丝不苟，从不草率行事，由于他豁达、诙谐、坦率、没有架子，很快地受到上下人等的赞佩。既然来到军队，他又要真的成为一个军人，每天操笔之余，演习武艺，骑射步战，威武异常。陌生人见之，分明是一位赳赳武夫，谁也不肯相信他竟然是翰林院出身的一介书生。军中高手云集，正是他学习的好机会，他勤学苦练，不耻下问，很快就熟悉了各种兵器。他又重新研读了各家兵书战策，颇有些高人一头的见解，成为温福的得力谋士。使得温福如虎添翼，屡建战功，很快得到了升迁，后来官至大学士之职，对纪晓岚感激至深。纪晓岚也是受益匪浅，成了文武全才，因而，后来乾隆让他担任兵部尚书和武科会试主考官，这是后话。
此后不久，温福接旨回京，纪晓岚又到新任乌鲁木齐办事大臣巴彦弼幕下充职。巴彦弼早慕纪晓岚的才名，现在见他果然才学出众，处事练达，敬慕倍加，遂对他十分体恤，使得纪晓岚成了一位特殊身份的僚属。这期间忙碌不堪，常常是通宵达旦，倒使纪晓岚减少了许多思乡之苦。
按道理来说，此时是纪晓岚一生的低谷，常人会怎么样？抱怨，后悔，消沉，无助感。但纪晓岚虽然有些感慨，但变得更成熟，更乐于从另外一方面找到自己新的收获甚至喜悦和新的努力方向。思维和理念的确能够改变我们的命运。我们的成长不必非得经过痛苦的磨难，而我们每天所遇到的每件事都在考验我们能否带给自己更多的喜悦，而不是痛苦。通常来说，对付痛苦有两个疗法，一个是麻痹自己，一个是超越痛苦。很多人抱怨自己缺乏机遇，其实，机遇具有隐蔽性、即时性的特点。机遇甚至在你感叹的时候已经在那里笑了。只有立足于行动，迅速出击的人才能抓住机遇。
从纪晓岚的被贬乌鲁木齐的事件中可以得出这样的结论，机遇常孕育于变化之中，只有善于识别变化的人，能够从隐蔽的变化中敏锐地感觉到新生的事物，这里常常潜藏着许多诱人的机遇。与时代同步的人，常常可以感觉到新的机遇。思维先进的人，常常可以交识机遇。纪晓岚把被贬的坏事变成了补充自己能量的好事，使自己变得更加强大。
挥洒诗意
一次，纪晓岚跟随巴彦弼到军台巡视，巴彦弼看到纪晓岚那细致认真的 态度，心里十分高兴。心想：怪不得皇上那么宠爱他。巴彦弼便把这里的事 交给纪晓岚代行办理，让他留在军台，自己回到城里去了。
晚上，纪晓岚与一位姓梁的副将同住一屋。两人谈到夜深，梁将军和衣 睡下，纪晓岚取出随身携带的书卷，在灯下阅读起来，约在三更时分，侍从 进来报告，有份紧急文书需要立刻传递。纪晓岚见梁将军尚在酣睡，不忍叫 醒他，便唤军卒去送。谁知军卒都已被差遣出去了，身边的几个侍从又都不 熟悉路途，只好将梁将军推醒。
梁将军睡眼惺忪地接到文书，策马疾驰而去。时间不长，梁将军回来，说 大约行了十余里，遇到台兵，将文书交给台兵送走了，说完倒头又睡下了。
第二天，梁将军起床以后，感到屁股隐隐酸痛，怔怔地想了想，对纪晓 岚说道：“纪大人，你说这事怪不怪，昨天夜里，我梦见您派我送朝中的文 书，我唯恐耽误了，不断地抽打马匹，那马狂奔如飞……”说着他摸摸屁 股，“到了这会儿，屁股还有痛楚之感，真是个怪事！”
纪晓岚哈哈哈一笑，告诉他昨夜的经过。梁将军不好意思地说：“昨夜 之事，如梦如幻，这军中的生活，把人搞得疲惫不堪啊！”
听了梁将军的话，纪晓岚为自己的身世遭遇感慨起来，叹息道：“唉， 人生本来就是一场梦啊！我这里倒有一首诗相赠。”其诗日：
一笑挥鞭马似飞，梦中驰去梦中回。
人生事事无痕过，蕉鹿何须问是非？
“好诗，好诗！”说话的是一位胡须灰白的老将军，他笑着走进屋来。 纪晓岚一看认识，这人叫毛功加，也是一员副将。毛功加少时胸怀壮志， 投笔从戎，在军中屡建战功，无奈不受上峰赏识，多年得不到升迁，现在 已年迈花甲，早已失去了青年时代的凌云壮志，整日里与酒为友，把盏狂 饮，醉后倒地便睡，常与纪晓岚述其经历，两人颇为投契，常有往来。这 时，毛功加拱手说道：“既然老弟诗兴大发，老朽也向你求诗一首，梁将 军你看如何？”
梁将军得到纪晓岚的赠诗，已是十分高兴，赶忙附和道：“我们常年征 战沙场，疲惫不堪，没有心思吟诗作赋。纪大人诗风刚健，沉雄古朴，以我 们一介武夫看来，你这一诗也能抵干军，纪大人不要推辞。”
纪晓岚见毛、梁二人一唱一和，不好再推辞，便拿起笔来，挥毫而就。 毛功加看了，见这诗写得十分贴切，顿时心中洋溢出豪迈的情怀。此诗写 的是：
雄心老去渐颓唐，醉卧将军古战场。
半夜醒来吹铁笛，满天明月满林霜。
毛功加对诗虽有一定功底，但与纪晓岚比较相差甚远，如今得到这首诗后，高兴异常，逢人便讲纪晓岚的诗写得如何如何地好，这下倒给纪晓岚添了许多麻烦，请求题赠者蜂拥而至。本来纪晓岚到新疆后很少作诗，尤其是怕为别人题写赠诗。这次一时兴起，题写两首，后悔自己不能自持初衷。因为他现在的身份不比从前，这次是戴罪充军，岂敢任意为文？
再说，胡乱写来，有损自己的声誉，认真为之，又难免不流露出自己的心迹，如果有人想落井下石，岂不正是授人以权柄。于是更加小心，凡有求诗者，全部婉言谢绝，并将原来的所作诗稿付之一炬。
那次，他的同年杨逢元到乌鲁木起来看望他，两人谈起题赠之事，颇有同感。杨逢元的字写得非常好，是个书法家。但也像纪晓岚怕人求诗一样，最怕别人向他求字。纪晓岚说过为毛功加曾题一诗后，杨逢元看了，深感佩服，觉得此诗意境幽深，确实是上乘佳品，十分喜欢。后来，他游城北关帝庙时，一时兴起，将这首诗题在了关帝庙的楼壁上，未署明何人题写。正巧，这时有一位云游道人来到这里，看了楼壁上的题诗，大为吃惊。诗好，字好，美妙绝伦，疑为神仙所题。一时间传扬开来，人们纷纷赶到这里看神仙的墨迹。
一天，有人拉上纪晓岚同去看那庙里的“仙笔”，纪晓岚一眼认出是杨逢元的字，写的是自己赠给毛功加的诗。看到人们奉若神明的样子，忍不住想笑，但一想若是泄露“天机”，那将会给自己招来许多麻烦，于是，由着别人去夸赞，他只是一言不发。
当时，人们都知道，纪晓岚的诗做得好，但书法比不上杨逢元；杨逢元字写得好，但诗却作得只是平平常常。所以竟没有人猜测到他俩头上去。于是“仙笔”之事越传越神，人们都信以为真，直到辛卯年纪晓岚离开乌鲁木齐还京时，他才当众把这件事说出来，众人都若有所失，谁也没想到顶礼膜拜的“神仙”竟然是他们二位。
纪晓岚在乌鲁木齐知道了很多新鲜事。乌鲁木齐有很多狭斜的深巷，有小楼矗立其中，每天等到晚上，寺钟晚鸣的时候，总是灯火荧荧，贪欢的人在此留恋不散，在这里为所欲为，直至次日天明，这些地方方才安静下来。官府不禁，也不能禁。在纪晓岚住的地方不远，一所漂亮的房子里，住着一个姓何的宁夏布商，形象潇洒，又年轻又有钱，为人亦不太吝啬，却不喜欢做狎妓之游，只是养了十余头母猪，饲养得很肥，很干净，“日闭门而沓淫之”，猪也相摩相倚，和他非常亲近。这个姓何的商人没有发觉，他和母猪做爱的事情，他的仆人常偷偷地窥视。而他的仆人又告诉他的朋友。忽然，有一天，一个朋友喝醉酒与他开玩笑，说起这件事，何某当即羞愧难当，投井而死。要不是纪晓岚认识审这案子的人，无论如何他也不会相信。纪晓岚其诗记日：
石破天惊事有无，后来好色胜登徒。
何郎甘为风情死，才信刘郎爱媚猪。
这种人兽恋的稀罕事后来被纪晓岚记载在《阅微草堂笔记》中。
纪晓岚的这些在西域所写文字记载了西域的风物人情，其功力深厚，非他人可及，今天看来，也有一定的文学价值和史学价值。
奉旨东归
一转眼，纪晓岚在乌鲁木齐已经度过两年多时光。这天，身在乌鲁木齐的纪晓岚接到了发自京城的八百里诏书，命纪晓岚接旨后即刻东归。纪晓岚正在渴念亲人之际，一下子接到这从天而降的喜讯，立刻高兴得手舞足蹈，全然像一个十几岁的孩子。东归的车马，昼夜兼程，纪晓岚思绪万千，他感念皇恩浩荡，恩赦还京。他哀叹人生如梦，捉摸不定，他祝愿此生已经历尽磨难，否极泰来。长时间的思索使他树立了自己的人生信条和处世的原则，成为一生中又一个重要转折点。
纪晓岚在乌鲁木齐共写成一百六十余首诗，结集为《乌鲁木齐杂诗》，记录的全是边塞风情，和他的亲身经历，“追述风土，兼怀旧游”，抒发了他的思想情怀，诗风清丽，意蕴悠长。这些诗全是七言绝旬，每题一叙，诗后必附说明，诗与说明组成一个有机的结合体。在取材上，凡乌鲁木齐的山川河流、花鸟虫鱼、风土人情，以及各族人民屯田垦荒，尽上笔端，从而构成了一幅五彩斑斓的西北边陲的风物图画。全诗体现了诗人现实主义的创作精神，被后人称为清代边塞诗的代表作。
尤为可贵的是，纪晓岚以饱满的激情，讴歌了西北各族人民开发建设边疆的壮举。在他的笔下，记写了许多劳动场面，里面还真实地记述了屯田垦荒的场景，并对许多劳动人民中的能工巧匠的高超技艺，表示由衷的赞赏。此外还歌咏了许多能歌善舞、富于说书演戏本领的艺人。这众多的劳动群众，将先进的科学技术与文化知识，由内地传入西域，为繁荣祖国边疆的经济与文化，做出了不可磨灭的历史功绩。诗人还记写了乌鲁木齐的许多动植物与矿藏，对了解那里的生态也起到一定作用。
如果纪晓岚没有谪戍新疆的一段经历，也许就不会有后来的纪晓岚了。纪晓岚终日陪伴君王，君王反而会感觉不到他的存在，甚至产生厌烦的心理。乾隆皇帝离开了纪晓岚，才知道纪晓岚的重要。所以会再次召回纪晓岚，并委以重任。
人生中的得与失往往相辅相倚，从京谪戍新疆的纪晓岚固然离别了京都的繁华与京官的荣耀，却十分难得地踏进了一个别有洞天的新世界。
所以《菜根谭》中说：一个人如果身处艰难困苦、诸事不顺的处境中，那么物质贫乏、精神孤立、事业失意等痛苦，往往能够激励他自强不息、奋发向上的精神勇气，锻炼他的德行和意志，就会像药品、药具一样，在潜移默化中医治好他的一切毛病；相反，如果一个人一直生活在物质生活条件优越、事业一帆风顺的环境中，那么这些优越条件就会消磨他的进取心，使他陷入无形的刀尖丛中，不知不觉地走向失败的境地。
两年多的遣戍生活，在进入中年的纪晓岚仕途上是一个很大的考验，也是一个转折点。可以说，如果纪晓岚这三年自怨自艾，他就很可能陈尸异域，或永远流落在边疆了；假如他不被召回京师，他也不可能有担任《四库全书》总纂的机会，“纪晓岚”三个字也许不会留在后人心目中。正是通过这三年的政治压力和艰难生活的磨炼，使纪晓岚体认了生命的可贵，因而全力发挥心智，化腐朽为神奇，化丑陋为美幻，用惊人的意志力度过了三年羁旅生涯。