忽然听窗外有喘息之声，走出来看时，原是棋道士和一个人夺一棋子。四手相持，力竭一齐倒地，而喘息之声大作。为争一局胜负，争执如此实在可笑。
纪晓岚又曾听从兄纪坦居讲，丁卯乡试时，见场中有两个考生，画号板为棋盘，拾碎炭为黑子，剔碎白灰块为白子，对着不止，终场时，两人一齐交了白卷。纪晓岚认为，对弈之事，"消闲遣日，原不妨偶一为之；以为得失喜怒，则可以不必。"纪晓岚浮沉宦海，对世态炎凉感受颇深，也将之比作局中对弈，更颇有一番哲理。他的结论是：不求胜负，"言则易耳"。
从乌鲁木齐被召京城的那年冬天，有人拿来一幅《八仙对弈图》，求他题诗。上面画的是韩湘子与何仙姑对局，吕洞宾、汉钟离、蓝采和、张国老和曹国舅，五仙旁观，而铁拐李超然局外，躺在树下的石头上，枕着葫芦酣然而睡。此画意境深远，颇富启迪人生的意义。纪晓岚为之所动，题诗两首。
其一
十八年来阅宦途，
此心久似水中凫。
如何才踏春明路，
又看仙人对弈图？
其二
局中局外两沉吟，
犹是人间胜负心。
哪似顽仙痴不省，
春风蝴蝶睡乡深。
纪晓岚自迹生平，也同苏东坡、王安石一样，只是说说罢了，未能自践其言。他自号"观弈道人"，也只是一种良好的愿望罢了。
他与和珅的争斗，此时期虽然显得风平浪静，但在心中一刻也未曾休止过。只是晓岚看皇上偏袒和珅，和珅更是有恃无恐。于是，晓岚时时注意回避，避免与和珅正面交锋，像局外观棋一样，静观默察。
丙午年，和珅指使家人刘全，在京中买了一处地盘，为和珅营造府第。为了免除朝中大臣的议论和弹劾，一切事宜都用刘全的名义办理。但其建造格局，超出了清廷的规制，被人们看了出来，引起朝官们的义愤。清朝建造房屋的规格是很多的。比如除皇帝外，任何人都不得用黄琉璃瓦和绿琉璃瓦；房的规模，王爷也不得超过六六三十六楹房屋的房间数，不得超过九百九十九间半。超过了便算违制，应受到处罚。
御史曹锡宝与纪晓岚私交甚深，曾隐语说出要参劾和珅，纪晓岚也不好明说，就以宋人《咏蟹》诗中的两句赠曹锡宝：水清讵免双鳌黑，秋老难逃一背红。
意思是说，现在参劾和珅，恐怕时机不够成熟。但曹锡宝没有听从纪晓岚的告诫，毅然上了一道奏章，参劾和珅家奴刘全建造房屋规模宏大、服用奢侈、器具完美，恐有倚借主势，招摇撞骗之事。
乾隆皇帝当时在热河行宫。看过奏折，心中明白"醉翁之意不在酒"，状告刘全只是虚晃一枪，锋芒所指是对准了和珅的。皇帝知道曹锡宝与纪晓岚有私交，便怀疑是纪晓岚因上年海升殴死妻子吴雅氏一案，对和珅心怀仇恨，唆使曹锡宝参奏，以图报复。
六月底的一天，纪晓岚在直庐当值，忽听传来一声："左都御史纪昀接旨"。纪晓岚赶忙跪在地上接旨，原来是乾隆皇帝给军机大臣和他本人的谕旨："前据曹锡宝奏：和珅家人刘全房屋宏大、服用奢侈、器具完美恐有招摇撞骗等事一折，已交留京王大臣等查办矣。曹锡宝如果见刘全倚藉主势，乃徒托诸空言！或其言本欲参劾和珅而又不敢明言，故以家人为由，隐约其词，旁敲侧击，以为将来波及地步乎？或竟系纪昀因上年海升殴死伊妻吴雅氏一案，和珅前往验出真伤，心怀仇恨，嗾令曹锡宝参奏，以为报复之计乎？此乃朕揣度之意，若不出于此，则曹锡宝之奏何由而来？著留京王大臣，详悉访查询问，务得实在情节。
朕于此案总期根究明白，并非因此一虚言欲治和珅，更非欲为和珅开脱。留京王大臣等不可误会朕旨，将曹锡宝加以词色，有意吹求，使原告转为被告，亦无是理。务须平心静气，虚衷详问。如曹锡宝果能指出全儿借端撞骗款迹，访查得实，即一面从严审办，一面据实具奏，不可同和珅稍存回护。若稍存回护，是乃陷和珅亦自陷也。"“又据和珅称：家人全儿已到热河，曾面加诘问。伊供：'不但从不敢招摇滋事，交接官员，即所谓房屋宽敞，器具完美，容或有之，亦非可挟以出外之物。我于曹御史名姓素未闻知，彼又何从目睹，等语，虽系一面之词，亦尚近理。曹锡宝身为言官，必不至下交奴仆，其车马衣服，尚可云遇诸路途，至房屋宽敞，器具完美，非身临其地何能知悉乎？至全儿代伊主办理崇文门税务有年，稍有积蓄，盖造房屋数十间居住，亦属事理之常。从前及现在，内外大臣家人中似此者恐亦不少，若无似殷士俊等之有真脏实据，概以车服房舍之故，查拿治罪，则在京大臣之仆，安得人人而禁之！且必人人侧足而立，亦断无此政体。设或全儿在崇文门代伊主经营税课，于额税之外私有加增，若累商民以肥私囊，绵恩签派番役，一经访查无难得实。傥王大臣等严行察访，全儿并无生事疑迹，而曹锡宝徒以无根之言，遽行陈奏，以博建白之名，朕又何能以空言遽入人罪乎？将此由四百里谕令留京王大臣等并令纪昀知之。即将查讯情形先由四百里驰奏，不必俟本报之使。钦此。"听完皇上的谕旨，纪晓岚不由惊出了一身冷汗。尽管皇上摆出的是一副公正无私不弃不倚的面孔，但这里边的真意，正是对和珅的偏袒回护，纪晓岚心想本来自己没参与此事，是局外之人，皇上却偏偏把他拉进来。假如曹锡宝不能指实，因而获罪，就要株连到我头上，这便成了对局者负局，观弈者获罪了。
纪晓岚回到家中，坐卧不安，更不敢与曹锡宝接触，唯恐授人把柄。那年因卢见曾案所受牵连，至今他心有余悸。再说眼前这件事，如果不把别人牵扯进去，即使曹锡宝不能指实，皇上也可能会宽宥。因为皇上常以明君自喻，摆出了一副从容纳谏的姿态。一旦牵扯到别人，则成了阴谋谄害，问题性质就变了，保不准皇上多疑，一怒之下会从重发落。
有人从热河回京，纪晓岚派人探听和珅的情况，听说和珅处之泰然，似乎此案与他毫无瓜葛。这下纪晓岚更担心了，和珅恃宠仗势以守为攻。以此看来，曹锡宝这方面凶多吉少。
纪晓岚怀着恐惧的心情，写下了一首《又题秋山独眺图》：秋山高不极，盘磴入烟雾。
仄径莓苔滑，猿猱不放步。
杖策陟巉岩，披榛寻微路。
直上万峰巅，振衣独四顾。
秋风天半来，奋迅号林树。
俯见豺狼蹲，侧闻虎豹怒。
立久心茫茫，悄然生恐惧。
置身岂不高？时有蹉跌虑。
徒倚将何依，凄切悲霜露。
微言如可闻，冀与孙登遇。
事态的发展正如纪晓岚担心的那样，皇上回护着和珅，及其家奴刘全，却谕令军机大臣，杀气腾腾地逼向了曹锡宝。曹锡宝身为御史必不下交奴仆，交则罪在不赦，不交又何以知道刘全房屋宽敞，器具完美？军机大臣们按照皇上谕令中所授机宜，不去纠察和珅家奴刘全，却将锋芒转向了原告曹锡宝。曹锡宝只好说道："我与和珅家人全儿向来从不认识，即伊在崇文门管理税务，我并不知道，伊于额税之外有无擅自增加另项情弊亦未有人说过。我因闻全儿住房服用甚是完美，于路过兴化寺街留心察看，见其房屋甚是高大，我想伊系家奴，焉有多资造此华屋？恐有借主人名目招摇撞骗之事，是以具奏。"曹锡宝这样回复，乾隆皇帝仍不满意，继续穷追不舍，大有不揪出幕后之人而不罢休之势，又谕令军机大臣等："曹锡宝既云全儿情弊从未有人说过，又未亲到伊家，何以又称'闻全儿住房服用甚是完美'。究竟闻自何人？
必有着落，非有人说过，则曹锡宝何以知全儿往兴化寺街，而经过时即留心察看？况京城内外，大街小巷，房屋甚多，御史又无逐户查访之理，若非中有成见，何以独于全儿住屋如此留意耶？著王大臣令将全儿滋事不法之处究竟闻自何人，据实明言，毋再任期狡饰，并令都察院堂官及步军统领衙门司官一员，带同曹锡宝，先至刘全家查看，再到阿桂等官家及用事人家住处周历查看，如各大臣家人住房并无如全儿之多，即治以越制之罪；若阿桂等家管事家人住房有全儿多且大者，则当诘问曹锡宝何以专不参劾之故。"乾隆包庇和珅及其家奴全儿的态度，已经毕露无遗。曹锡宝后悔没听纪晓岚的劝告，多言招祸，只好硬着头皮，咬定纪晓岚没参与此事。最后乾隆以曹锡宝参奏不实，给以革职留任处分，没有扩大事态，酿成大狱。纪晓岚在惊恐中度过几月，心里才踏实了一些。自此而后，纪晓岚更加小心谨慎。但当时株连之狱频兴，他心中也没底，不知道别人会不会将他牵连进去。
乾隆五十五年，发生了内阁学士尹壮图参奏案，纪晓岚与壮图之父尹松林为甲戌同年，壮图入词馆后，又常以诗文制作请教，交往颇密。此案虽没明显涉及纪晓岚，但株连之惧又着实使他捏了一把冷汗。
这年，正是乾隆皇上的八十万寿，纪晓岚为了讨得皇上的欢心，写下了大量歌功颂德、逢迎阿谀的文字，除了前后提到的八旬万寿联，尚有《八旬万寿锦屏赋》、《蛮陬贡象颂》、《礼部恭请举行万寿圣节庆典事折子》、《恭谢八旬万寿升秩贷宗展仪阕里直隶广学额免积久加赈一月折子》、《御制节前御园赐宴席中得句恭跋》、《御制寿民诗恭跋》、《御制八徵耄念之宝恭跋》等，而在那篇"祈增舜寿"的《祝釐茂典记》中，骈四俪六，洋洋洒洒，全面歌颂了这位临御五十五年的皇帝的文治武功，弘历简直是功盖三皇，德高五帝，对比尧舜，千古以来第一名英明伟大的皇帝。