纪晓岚晚年，对围棋有浓厚兴趣，并且自号“观弈道人”。他在六十八岁写的《槐西杂志》小引里，就是这样署名的：“壬子六月，观弈道人识。”一是表示酷爱棋艺，一是表示自己超然物外的处世态度。
纪晓岚拥有一副别致的棋子，圆滑秀美，晶莹透亮，那是朝鲜使臣邓思贤送给他的。黑子全是海滩细石，大小粒粒一致，经若干年海水冲击所致。白子全是海滩贝壳，也被海水打磨得洁白如雪。碎石和贝壳虽不珍贵，但要拾取这么多厚薄均匀、颜色一致的，非一朝一夕之功，从这点看，就值得人特别珍视。纪晓岚非常喜爱，放在书斋里，经常把玩。可惜后来被棋友范司农借去，范氏死后，棋子不知下落。纪晓岚惋惜不已。
纪晓岚对下棋有他的独特看法。他觉得对弈之事，“消闲遣日，系不妨偶一为之；以为得失喜怒，则可以不必。”他常引用苏东坡的诗“胜固欣然败亦喜”。
纪晓岚老家景城真武祠，有一道士酷爱下棋，人称“棋道士”，其本名外人倒不知道。有一天，纪晓岚来到真武祠，见桌上置一棋局，只三十一子。纪方洲以为棋道士外出，便坐下来等待。忽然听到窗外有喘息声，走出来一看，原来是棋道士与一个人正在争夺一个棋子，四手相持，力竭倒地，发出呼哧呼哧的喘息声。引得纪晓岚笑了起来。
乾隆十二年纪坦居参加乡试。试院有两个考生，以号板做棋盘，以碎炭为黑子，剔碎石灰块为白子，对弈不止，竟忘了应试，终场时一齐交了白卷。
纪晓岚觉得这两个故事里的弈棋者都很可笑，为弈棋竟忘记一切，实在太执著。他把这种弈棋的看法，又用在人生态度上。他自称“观弈道人”，一是表示酷爱棋艺，一是表示自己超然物外的处世态度。
或许正因为有此背景，纪晓岚晚年对他的堂兄纪昭采取的人世态度很是佩服。纪昭进士及第后只作了八年的内阁中书，便辞官家居，只以诗书教子孙，每日日与友人吟诗喝酒为乐。乾隆三十二年春天，纪晓岚返回北京前，纪昭赠诗相送，其中有“敢道山林胜钟鼎，无如鱼鸟乐江湖’’二句，是劝纪晓岚及早脱离名利场的意思，当时纪晓岚仅一笑了之。但后来经历了官场几番沉浮以后，感觉其兄的见识真的很高。
人在宁静之中心绪就会像秋水一样清澈，可以见到心性的本来面目；在淡泊中意念情趣才会平和愉悦，可以得到心性的真正体味。正所谓“去留无意，任天空云卷云舒；宠辱不惊，看窗外花开花落”。
庄子说：“荣辱立然后睹所病。”意思就是说，人们如果有了荣辱的念头之后，就会总看到种种忧心的事情；过分关心个人的荣辱得失，就只能终日忧心烦恼，无法摆脱。
他还说：“钱财不积则贪者忧；权势不尤则夸者悲；事物之徒乐变。”意思是说，追求钱财的人总为钱财积累不多而忧愁，贪心者从无满足；追求权势的人总为权势不大而暗自悲伤，因而迷恋权势的人特别喜欢社会动荡，以便于攫取权势。
智、仁、勇是儒家人格的最高理想。勇是智和仁的结果，像山一样坚韧不拔，像水一样勇往直前，这就是一个崇高的人，一个有价值的人，一个快乐的人，一个长寿的人。直到现在，爱山、爱水，以山和水为自己人生的楷模仍然是许多文人的最高追求。
孔子认为人和自然是一体的，山和水的特点也反映在人的素质之中。因此他说：“智者乐水，仁者乐山；智者动，仁者静；智者乐，仁者寿。在千变万化的大自然中，山是稳定的，可信赖的，它始终矗立不变，包容万物。是最可靠的支撑；水则是多变的，具有不同的面貌，它没有像山那样固定、执著的形象，它柔和而又锋利，可以为善，也可以为恶；难于追随，深不可测，不可逾越。
仁爱之人则和山一样平静，一样稳定，不为外在的事物所动摇，他们以爱待人、待物，像群山一样向万物张开双臂，站得高，看得远，宽容仁厚，不役于物，也不伤于物，不忧不惧，所以能够长寿。
聪明人和水一样随机应变，常常能够明察事物的发展，明事物之万化，亦与之万化，而不固守一成不变的某种标准或规则，因此能破除愚昧和困危，取得成功，即便不能成功，也能随遇而安，寻求另外的发展，所以，他们总是活跃的、乐观的。
纪晓岚与和砷的矛盾，一直没有停息过。纪晓岚总是避免与和坤的正面交锋，就像局外观棋一样，静观默察。丙午年，和坤指使管家刘全，在京中买了一处地盘，为和砷营造府第。为了免除朝中大臣的议论，一切事宜都用刘全的名义办理。但其建造格局，超出了清廷的规制，被人们看了出来，引起朝官们的义愤。清朝建造房屋的规格是很多的。比如除皇帝外，任何人都不得用黄琉璃瓦和绿琉璃瓦，房的规模，王爷也不得超过六六三十六楹房屋的间数，不得超过九百九十九间半。超过了便算违制，定将受到处罚。御史曹锡宝与纪晓岚私交甚深，曾以隐语说出要参劾和砷。纪晓岚也不好明说，就以宋人《咏蟹》诗中的两旬赠曹锡宝，说：“水清讵免双鳌黑，秋老难逃一背红。，，意思是说，现在参劾和坤，恐怕时机不够成熟。曹锡宝没有听从纪晓岚的告诫，毅然上了一道奏章，参劾和砷家奴刘全建造房屋规模宏大，服用奢侈，器具完美，恐有倚借主势，招摇撞骗之事。
乾隆皇帝当时在热河行宫。看过奏折，心中明白“醉翁之意不在酒”，状告刘全只是虚晃一枪，锋芒所指是对准了和砷的。皇帝知道曹锡宝与纪晓岚有私交，便怀疑是纪晓岚对和砷心怀仇恨，唆使曹锡宝参奏。事态的发展正如纪晓岚担心的那样，皇上袒护着和砷及其家奴刘全，却谕令军机大臣，杀气腾腾地逼向曹锡宝。
一曹锡宝身为御史必不下交奴仆，交则罪在不赦，不交又何以知道刘全房屋宽敞，器具完美？”军机大臣们按照皇上谕令中所授机宜，不去纠查和坤家奴刘全，却将锋芒转向了原告。
曹锡宝只好说：“我与和坤家人全儿从不认识，即伊在崇文门管理税务，我并不知道，伊于额税之外有无擅自增加另项情弊亦未有人说过。我因闻全儿住房服用甚是完美，于路过兴化寺街留心察看，见其房屋甚是高大，我想伊是家奴，焉有多资造此华屋？恐有借主人名目招摇撞骗之事，是以具奏。”曹锡宝这样回复，乾隆皇帝仍不满意，继续穷追不舍，大有不揪出幕后之人决不罢休之势。曹锡宝后悔没听纪晓岚的劝告，多言招祸，只好硬着头皮，咬定纪晓岚没参与此事。最后乾隆以曹锡宝参奏不实，给以革职留任处分，没有扩大事态，酿成大狱。纪晓岚在惊恐中度过几个月，心里才踏实了一些，自此而后，便更加小心谨慎。但当时株连之狱颇兴，他心中也没底，不知道别人会不会又将他牵连进去，所以日子过得真是提心吊胆，如履薄冰。想当个清静无为的观弈道人亦不可能。
高宗乾隆死后，嘉庆皇帝在开始亲政的十五天内，以迅雷不及掩耳之势，把一代奸雄和坤判处了死刑，引起了朝野的极大震动。经查抄，和砷私产总估白银九亿两，为自古以来未曾见过的豪富，连嘉庆本人也大吃一惊。
纪晓岚亲眼目睹了和砷的下场，颇有一番感触。他觉得，人世真如云流沙涌、浪起帆转一般，无论是胜者败者，皆在此间。人生是盘棋，自己为人，既是观弈者，也是举弈者，更是棋盘中的任人摆布的一颗棋子。
不触动皇帝“逆鳞”
纪晓岚在各种场合表明自己的忠君之心。儒生士大夫意欲以道德理想主义去改造现实社会，这种经世理想势必处处与当道的权势者发生冲突。君主的喜怒无常，权臣、权宦的横行逆施，官场的倾轧排挤，往往使充满经世热情的士人头破血流。在无可回避的现实挫折面前，纪晓岚不得不高扬“拘而无怨”的道德风范，以此作为士人的心理之盾。
他看到正直之士仗义执言的悲剧后果，多少有了一点人生的感悟——自己没有唱黑脸的资本。“善守者，藏于九地之下。”善于防守的人，像藏于浑不可测的地下一样，使敌人无形可窥。与任何人交往也要谨以安身，避免成为别人攻击的目标。纪晓岚自乾隆十九年（1754年）考中进士，经庶吉士散馆进入翰林院成为一名编修后，一路平步青云，追随乾隆四十余年，期间除短暂发配乌鲁木齐外，“一生顺境实多”，这在乾隆一朝堪称是个“奇迹”。与许多大臣不同，纪晓岚的侍君术主要的有一条：不触动君主的逆鳞。他不是一个夸夸其谈的儒生，他是一个目光敏锐，能看清生存现状的人。而他的种种侍君术，谜底只能用纪晓岚的机智、智慧来解读。
在政治谋略发展史上，韩非子无疑是一个集大成者，他认为君臣关系的根本是一种利害关系，无所谓情谊问题，君主驾驭臣下的手段，靠的是高高在上的权威、严厉的刑罚和阴谋手段，要以利益相诱惑，使臣下不得不依附于君主。而臣下侍奉君主的第一个原则是不触动君主的逆鳞。他说：龙，温柔起来可以亲近、骑着玩耍。但它喉咙下有径长一尺的逆鳞，如果有人触动了它，温柔的龙会变成凶猛吃人的龙。君主也有逆鳞，侍从之臣千万不可触动君主的逆鳞，这是保全自己的第一个策略。龙的逆鳞在明处，君主的逆鳞在心里，不是十分接近和了解君主的人是不能揣测的。而触动者定会身首异处。
睿智的韩非子又讲述了这样一个故事：
春秋时郑武公想征伐胡国，先把自己的女儿嫁给胡国的国君做妻子，使胡国的国君十分高兴。然后郑武公问群臣：“我想用兵，可以去攻打哪一个国家？”
大夫关其思回答说：“可以去攻打胡国。”
郑武公大怒，说道：“胡国和我国情同兄弟，你说可以攻打，是什么意思？”说完，下令把关其思处死了。胡国的君主听说了这件事，认为郑国和自己很亲近，对郑国没有任何防范。结果，郑国袭击胡国，消灭了它。
韩非子得出结论：实际上，关其思的话是对的，他的命运这样悲惨，主要是道破了君主的秘密。不该道破而道破，也就触动了君主的逆鳞，使自己成了君主战略上的牺牲品。
“伴君如伴虎”，然而，也可以“狐假虎威”，利用皇帝的权威达到自己的目的，但聪明的君主就不好利用了。而乾隆皇帝可以说是中国历史上绝顶聪明的君主，因此，在他身边能受恩宠十分不容易。如果能够几十年长期受恩宠，那几乎是不可思议的。
为了驾驭臣属，乾隆帝常常施展出人意料的手段，或小过重责，罚非其罪，或破格提拔，一月数迁。生杀予夺，出自朕躬。大臣们莫测天威，既感到自己头顶上时刻悬挂着皇权的利剑，又希冀一沾皇恩，幸得终南捷径，便可加宫晋爵，封妻荫子。
乾隆五十五年（1789年），是乾隆帝的八十大寿。由于乾隆皇帝感到自己统治五十多年，功勋卓著，加之年逾八旬，五世同堂，所以内心很愿意大搞庆祝活动。实际上，早在乾隆五十二年，他就指派阿桂、和坤、刘墉等人组成了筹备班子，开始筹备庆典活动。有此一种表示，臣下谁不明白皇上的心思？所以，尽管乾隆皇帝面对当时各地灾荒不断的现实，一再要求内外臣工务必节俭，“虽席豫而履丰，恒戒奢而示俭”，事实却正好相反，“内外宫殿、大小仪物无不新办。自燕京至圆明园，楼台饰以金珠翡翠，假山亦设寺院人物，动其机括，则门窗开合，人物活动，营办之资无虑数万万，而一毫不费官帑，外而列省三品以上大员俱有进献，内而各部院堂官悉捐米俸，又以两淮盐院所纳四百万金助之。”
纪晓岚作为礼部尚书，但是他没有担任庆典筹备大臣，这主要是大典以大学士领衔筹备，以示尊崇。但纪晓岚无疑是一个主要参与者。四至八月，有恩科考试，表彰全国长寿老人所谓的人瑞活动，期间就连他最亲的四婶去世，他也没有奔丧，只派了儿媳妇前去祭奠。
为了讨得皇上的欢心，此间纪晓岚还写下了大量歌功颂德、逢迎阿谀的文字，在那篇“祈增舜寿”的《祝禧茂典记》中，骈四骊文，洋洋洒洒，气势辉煌，全面歌颂了这位临御五十五年的皇帝的文治武功，文中的乾隆皇帝简直是功盖三皇，德高五帝，不逊尧舜，千古以来第一名英明伟大的皇帝。乾隆皇帝看了这篇祝颂文章，在众多的颂扬文字中，显然最为华美，当然十分满意，飘飘然几列仙班。面对举国上下的恭贺，乾隆也乐得其所。乾隆走到纪晓岚的贺联前，停住脚步，只见纪晓岚的贺联为一长一短两副。第一联写的是：
天数五．地数五，五十五年，五世一堂，共仰一人有庆；
春八千，秋八千，八旬八月，八方万国，咸呼万寿无疆。
第二联写的是：
龙飞五十有五年，庆一人五数合天，五数合地，五谷登，五云现，五事修，五福备，五代同堂，祥开五凤楼前，五彩斑斓辉彩帐；
鹤算八旬逢八月，祝万岁八千为春，八千为秋，八宝进，八恺呈，八面畅．八风和，八方从化，歌舞八鸾队里，八仙会绕咏霓裳。
这两副寿联对仗工整，设想新奇，气魄雄伟，实在叫人击节赞佩，乾隆看了喜爱非常。大典刚过，乾隆皇帝降下谕旨，特赐纪晓岚“紫禁城骑马”的殊荣。所谓紫禁城骑马，并非真的骑马进入紫禁城，而是皇帝对于老臣的一种礼遇，准许年事已高而功勋显著的老臣，在紫禁城内，乘坐两人抬的小轿子，代步上朝。纪晓岚素有“神行太保”的美称，年轻时健步如飞，一般人比不上他，到这时虽然已六十六岁，仍然身体健壮，精神旺盛，走起路来，步履稳健，丝毫不见龙钟老态。所以虽经皇上特许“紫禁城骑马”，但他上朝，既不“骑马”，也不乘轿，照常健步如飞。
偏偏在这年十一月，内阁学士尹壮图不识时务，却提出另一种意见，发出另一种声音。
尹壮图，字楚珍，云南昆明人。乾隆三十一年进士。乾隆三十九年考选江南道御史，三迁至内阁学士兼礼部侍郎。
尹壮图就乾隆对犯有过失的各省督抚，实行罚银代罪而不加以行政处罚的做法提出异议。他认为，这一措施不但没有收到整饬吏治的效果，反而助长了贪污之风。因为受罚的官员，如果有贪赃的行为，会变本加厉地贪婪以完纳罚罪之银。而清廉的官吏也往往因无力缴纳银项，接受属员的资助，再遇属员贪纵时，便不敢认真查办。他说：“是罚银虽严，不唯无以动其愧惧之心，且潜生其玩易之念，请永远停止此例。”
本来尹壮图是一片忠心，直陈弊政。因为，当时乾隆八十大寿一共花掉白银四亿两，没有动用一两朝廷库银，全由内外廷臣进献而来。当时一位叫成种仁的朝鲜外交官，在他的《北京见闻录》中写道：“外而列省三品以上大员，俱有进献；内而各部堂官，悉捐米俸；两淮盐院所纳四百万金助之。”白银由各省督抚进献，督抚之银又从何而来呢？只能是加重商民税赋，或者亏空地方府库。
对于尹壮图此奏，乾隆起初没有表示反对意见，只令尹壮图具实覆奏。然而，当尹壮图再次上疏奏称：“各督抚声名狼藉，吏治废弛。经过各省地方，体察官吏贤否，商民皆蹙额兴叹，各省风气大抵皆然。若问勒派逢迎之人，彼上司属员授受时，外人岂能得见？请旨简派满洲大臣，同臣往各省密查亏空。”但尹壮图的奏折触怒了乾隆皇帝，乾隆令他将其所指督抚是谁？逢迎上司者是谁？借端勒派致有亏空库项者何人？一一指实。