这次一时兴起，题写两首，后悔自己不能自持初衷。因为他现在的身份不比从前，这次是带罪充军，岂敢任意为文？
再说，胡乱写来，有损自己的声誉，认真为之，又难免不流露出自己的心迹，如果有人想落井下石，岂不正是授人以权柄。于是更加小心，凡有求诗者，全部婉言谢绝，并将原来的所作诗稿付之一炬。
那次，他的同年杨逢元到乌鲁木起来看望他，两人谈起题赠之事，颇有同感。杨逢元的字写得非常好，是个书法家。
但也像纪晓岚怕人求诗一样，最怕别人向他求字。
纪晓岚说过为毛功加曾题一诗后，杨逢元看了，深感佩服，觉得此诗意境幽深，确实是上乘佳品，十分喜欢。后来，他游城北关帝庙时，一时兴起，将这首诗题在了关帝庙的楼壁上，未署明何人题写。
正巧，这时有一位云游道人来到这里，看了楼壁上的题诗，大为吃惊。诗好，字好，美妙绝伦，疑为神仙所题。一时间传扬开来，人们纷纷赶到这里看神仙的墨迹。
一天，有人拉上纪晓岚同去看那庙里的"仙笔"，纪晓岚一眼认出是杨逢元的字，写的是自己赠给毛功加的诗。看到人们奉若神明的样子，忍不住想笑，但一想若是泄露"天机"，那将会给自己招来许多麻烦。故而，任期别人如何颂扬，他只是一言不发。
当时，人们都知道，纪晓岚的诗做得好，但书法比不上杨逢元；杨逢元字写得好，但诗却作得只是平平常常。所以竟没有人猜测到他俩头上去。于是"仙笔"之事越传越神，人们都信以为真，直到辛卯年纪晓岚离开乌鲁木齐还京时，他才当众把这件事说出来，众人都爽然若失，谁也没想到顶礼膜拜的"神仙"竟然是他们二位。
纪晓岚在西域三年，一来忙于军务，二来为杜绝请托，做诗很少，他在晚年写成的《阅微草堂笔记·姑妄听之》中写道："余从军西域时，草奏草檄，目不暇给，遂不复吟咏，或得一联一句，境过辄忘，《乌鲁木齐杂诗》一百六十首，皆归途追忆而成，非当时作也。"纪晓岚的这些诗作，为清代诗坛带来了新鲜平息，而且今天看来，也有一定的文学价值和史学价值。其中有些较为特殊的纪事诗，记载了西地的风物人情，其功力深厚，非他人可及。试看其中几首。
伊犁城中没有水井，有因老树得地泉者，纪晓岚认为“盖土厚水深，乃卜地通津以就流水"，于是，以诗记曰：半城高阜半城低，城内清泉尽向西，金井银床无用处，随心引取到花畦。
伊犁雪消水涨，城门为之不开。于是，他登上北冈顶关庙楼，俯视全城，遂写道：山围草木翠烟平，迢递新城接旧城；行到丛祠歌舞处，绿毡毹上看棋枰。
昌吉筑城，掘土五尺余深时，挖到一只红缎面绣花女弓鞋，制作精细，尚未全朽，埋入土中五尺多深，算来最少亦越数十年。额鲁之女子不缠足，何以此鞋却是弓弯样，仅三寸许？蕃汉之间交往于兹可见。后传说此女尸飞到空中成精，昌吉大乱，卒遭兵败。
纪晓岚见此，以诗记曰：
筑城掘土土深深，
邪许相呼万杵音；
怪事一声齐注目，
半钩新月藓花侵。
乌鲁木齐有很多狭斜的小楼深巷，自谯鼓初鸣至寺钟欲动，总是灯火荧荧，冶荡之人在这里为所欲为，官府不禁，也不能禁。
有宁夏布商，何某，年少美姿，资累千金，亦不太吝啬，却不喜欢做狎妓之游，只是养了十余头母猪，饲养得很肥，洗涮得起毛很干净。"日闭门而沓淫之"，猪也相摩相倚，如昵其雄，役隶常偷偷地窥视，何某却没有发觉。忽然一天，友乘醉酒时与之戏话，何某愧而投井死，要不是迪化厅同知木金泰亲自审理了此案，纪晓岚也是不会相信的，其诗记曰：石破天惊事有无，后来好色胜登徒；何郎甘为风情死，才信刘郎爱媚猪。
有军人王某，出差往伊犁，其妻独处。忽有一天，时已过午，不见开门，邻人叫亦不应，破门而入，则是男女二人，剖腹裸抱而死，男子不知何来，人亦不识。后女复活，言男为故识，自随夫来西城，男亦随之而来，乃共约而死。纪晓岚诗记此事写到：鸳鸯毕竟不双飞，天上人间旧愿违；白草萧萧埋旅衬，一生肠断华山畿。
纪晓岚在西城养了一只黑犬，名叫"四儿"，东归时挥之不去，恋恋随行，一路上看守行囊甚严，如不是主人到跟前，虽然是童仆也不能动一件物品。纪晓岚一行十余人，共有板车四辆，行到七达岭，日已曛黑，半在岭南，半在岭北。黑犬"四儿"就自动地独卧岭巅，左右看护两边车辆、物品，一夜未曾稍懈。"四儿"一直追随纪晓岚进京，后来被人毒死，纪晓岚念其忠心耿耿，甚为哀悼，郑重埋葬"四儿"尸体，做了一个坟墓，并在墓前立碑，题为："义犬四儿之墓"。有诗二首题道：其一归路无烦汝寄书，风餐露宿且随余；夜深奴子酣睡后，为守东行数辆车。
其二
空山明月忍饥行，
冰雪崎岖百廿程；
我已无官何所恋，
可怜汝也太痴生。
虽然他的诗作多做于东归途中，但在西域时期，他对这里的一切都充满了浓厚的兴趣，随手作了一些边疆生活见闻的笔记，较为杂乱，后来有一部分整理在《阅微草堂笔记》一书当中。从这些作品看，纪晓岚对清朝曾镇压少数民族反抗战争的事，进行了深入的思考，请看他对"昌吉之乱"的记载："戊子昌吉之乱，先未有萌也。屯官以八月十五日夜犒诸流人，置酒山坡，男女杂坐。屯官醉后，逼诸流妇使唱歌，遂顷刻激变，戕杀屯官，劫军装库，据其城。....."乾隆一朝，虽然政治上还算较为清明，但文字狱也时有兴起，一些文人噤若寒蝉，不敢轻易为文。如此看来，纪晓岚在这里直言不讳地记载"昌吉之乱"的起因，倒是颇有胆量的。
且说纪晓岚离家以后，纪府就像塌下半边天，虽然有友人和门人接济，但削去了俸禄，生活日渐拮据，入不敷出，多亏马夫人十分精明，治家有法，样样节俭，尚能维持家用。但丈夫服罪在外，一家大小失去了往日的欢乐。马夫人忧悉劳累，终于积劳成疾，生了一场大病，病愈后身体更加削瘦了，精神也大不如以前。马夫人看到自己力不从心，就将家中之事，交给郭姨太料理。
姨太郭彩符，是一个贫寒人家的女儿，其父是山西大同人，流寓在天津，其母生她时，梦见过端午节有卖彩符的，买了一枝，回到家中，于是便以"彩符"为新生的女儿取名，以示吉祥得福。
郭彩符１３岁，开始给纪晓岚当侍妾，勤恳恭俭，十分贤慧，深得纪晓岚眷爱，马夫人对她也相当满意。
郭彩符先后生了几个儿子，但都夭折了，唯独女儿纪韵华长大成人，她把女儿视若掌上明珠。
这次老爷获罪，是因女儿纪韵华的公公爷引起的，所以郭姨太更感到老爷对自己和女儿的感情，丝毫不在结发夫人马氏之下。正因如此，老爷发配边疆历尽人生磨难，全家人也跟着吃苦受罪，郭姨太更感到负疚更深，想竭尽自己的力量帮助马夫人将家治理好。
马夫人患病以后，郭姨太像当年侍奉老爷那样照顾夫人，亲自烹食煎药，一勺一勺地给夫人喂下去，整夜守在马夫人的床头，使夫人感激不已，两个人亲如姐妹。同时，郭姨太也表现了治家理财的才干，马夫人卧病期间，她把全家的大小事体处理得井井有条。
郭姨太接受为一府主事之后，更加勤恳地操劳，对夫人恭敬有加，对下人恩威并施，极力维持着一家的安宁。
本来纪晓岚的长子纪汝佶已乡试中举，且年已二十三四岁，应该由他代父料理家中的一切，但自父亲离家以后，厌恶人世间的一切，更加对科举失去了原来的兴趣。于是在诗社中与一帮诗友才士交游，迷上了公安、竟陵两派诗作。朱子颖进京探望时，听马夫人介绍了汝佶的情况，便提出带他去山东。马夫人知道朱子颖是纪晓岚的得意门生，又对纪家关怀备至，便同意汝佶跟朱子颖去了他的住所泰安府。
汝佶到了泰安，起初尚让人满意。等到后来，他从友人那里见到了《聊斋志异》的抄本，一下子就被其深刻的思想内容，高超的艺术手法和动人的故事情节迷住了，《聊斋志异》重要的主题之一，是暴露封建政治的黑暗，谴责贪官暴吏、土豪劣绅压迫劳苦百姓的罪行。尤其震撼汝佶心灵的是那些讽刺科举制度的作品，使他完全丧失了科举入仕的兴趣。
当时，《聊斋志异》尚未刊行，汝佶看到的也是抄本，爱不释手，便不分昼夜地抄录起来，并试着模仿着写起此类借谈狐说鬼、志人志怪来表达人生理想的作起来。
汝佶２５岁时，就是纪晓岚离家的第二年，在泰安患病亡故。
噩耗传至京城，马夫人和郭姨太都昏厥过去，汝佶虽非郭姨太所生，但他是纪家的长子，郭氏也是十分疼爱。同时，他又是在纪晓岚离家之后走上黄泉路的，郭氏更加难以推卸自己的责任，心想假如他父亲在家，他怎么会那样消沉颓唐，以致误上歧路、亡身异地呢？她认为自己是个罪人，要不是她生的女儿出事，纪家怎么会有这样的灾难呢？
这样一来，忧虑过度，加上一天到晚的辛劳，终于积劳成疾，病倒在床榻之上。辛卯年过后，闻讯朝廷已下诏，赦免纪晓岚的罪过，郭姬的病情才始见好转，但不久病情又剧，她唯恐等不到丈夫的归来了，于是就到关帝庙拜佛求签。