果然，在确定赴朝鲜谈判的人选上，毛泽东点兵点将又点到了李克农。
1951年6月的一天，毛泽东在中南海召见了他。
就在去年的11月，毛泽东的长子、在志愿军总部担任秘书的毛岸英，在朝鲜平安北道的一次美机轰炸中，不幸遇难牺牲。毛岸英曾经担任过李克农的俄语翻译和机要秘书，李克农很喜欢这位血气方刚的青年人。毛岸英牺牲后，李克农很难过，毛泽东委托他把这一噩耗告诉了他的儿媳、毛岸英的妻子———刘松林。不过此时，毛泽东已一扫老年丧子的悲痛，他果断地对李克农说:“我点了你的将，要你去坐镇开城，外交部组成一个班子，乔冠华也去，军队也要有人参加。”
“我马上准备出发!”李克农毫不犹豫地回答。
不过，李克农还是向中央如实地反映了自己的病情，使中央能有所准备。毛泽东在考虑之后，依然定下来:还是李克农去。也许，只有李克农是他心目中的最合适的人选。随同李克农前往的还有时任中央人民政府外交部政策委员会副主任委员兼国家新闻局局长的乔冠华。大家都称他“老乔”，其实是年他只不过38岁，正是挥斥方遒的青春年华，他作为谈判代表团的顾问前往开城。临行前，毛泽东专门接见了李克农和乔冠华，同他们进行了长谈，并要李、乔二人立即组织一个工作班子。李、乔二人随后组建的这个班子，人才济济，有美国哈佛大学毕业的经济学博士浦山和新华社的丁明、沈建图等人。李克农还特意选调了几位同志带两部可接收各大通讯社新闻的收报机，以便了解各方面的反应。他还请志愿军派出一个参谋班子前往开城，使谈判班子能够及时了解战场情况的变化。周恩来也和李克农、乔冠华作了详谈，并送给他们一句意味深长的古语:“行于所当行，止于所不可不止。”
带病坚持谈判工作
7月2日，朝鲜志愿军总部收到毛泽东从北京发来的电报:李克农率乔冠华及其他助手将来朝鲜参加停战谈判，于7月2日22时由北京乘车去安东(今丹东)，7月4日傍晚由安东去平壤，大约5日早上或晚上，可到金日成同志处，请朝鲜方面派人到适当地点去接应。
7月5日，李克农一行到达中国边城安东，柴成文专程由平壤来此迎接，谈判班子改乘吉普车过江。
7月6日晨，李克农前往平壤东北约15公里的根地里———朝鲜人民军最高司令官金日成将军新设的作战指挥部所在地，拜会金日成。金日成已经收到毛泽东的电报，他热情地接待了李克农。李克农是主持谈判的实际负责人，自然要向金日成请示工作和保持联系。随着交往的增多，二人的私交也越来越浓，以至战争结束后，金日成每次来北京，总不忘给李克农送上几坛他爱吃的既酸又辣的朝鲜泡菜。
经与朝鲜方面协商，李克农为中朝代表团团长，乔冠华协助其工作，对外公布的名单则是人民军的南日、李相朝将军和志愿军的柴成文、邓华、解方、杜平等人。南日大将，曾在苏联留过学，此时任朝鲜人民军总参谋长，是金日成指定的朝中方面的首席代表。由于李克农的身份很特殊，他既是中国外交部副部长，又担任了代表团的党委书记，不便公开，大家都称李克农是“队长”，称乔冠华为“指导员”。
7月7日，中朝代表团抵达开城。
谈判的会址定在了离开城市区西北约两公里的高丽里广文洞的来凤庄。市区房屋密集，不利安全警卫，而这里较为清静安全。来凤庄的西南，有几家民房，再靠西南，有一幢别墅式的平房，志愿军代表团就驻在这里。
开城谈判代表团，分为前方、中间站和后方指挥三线。第一线是直接出面的朝鲜人民军和中国人民志愿军谈判代表南日、邓华等人；第二线是乔冠华、柴成文，由柴成文负责联络；第三线则是幕后坐镇的李克农。李克农负责将每天的谈判情况上报毛泽东、金日成和彭德怀。
7月10日，来凤庄一间长18米、宽15米的大厅，成了全世界为之注目的焦点，艰难异常的朝鲜停战谈判从这里开始，一谈就是两年。
这两年，在李克农眼里显得是如此艰难而又漫长。这，不仅是他建国后所接手的最庞大、最艰巨、最复杂的一项任务，而且摆在他面前的，还有一个又一个意想不到的难关。
在志愿军内部，真正懂行的外事工作人员严重缺乏。像乔冠华这样对国际问题素有研究的职业外交家，极少极少，大多数人“欠缺外交头脑”，他们不惧怕敌人的枪炮，可对于和敌人谈判却心中无数。大家纷纷请李克农“传经送宝”，李克农总是谦虚地说:“我们八路军的传统就是组织起来。军事外交我们谁也没搞过，怎么办?答案只有一个:干中学，干中提高!”
每次谈判之前，李克农都要和谈判班子一起熟悉文件，商讨对策，模拟实习，使大家每次谈判都能胸有成竹。针对一些同志心急气盛、感情冲动的缺点，李克农反复强调:“我不担心哪位同志在谈判中丧失立场，担心的还是多数同志年轻气盛，经不起人家的挑逗而冲动。”言教辅以身教，大家渐渐地入了门，工作开展得也越来越顺利。
随着谈判的深入，李克农的身体也日渐恶化。他是拖着即将崩溃的病体来到朝鲜的。这时，他视力微弱，眼睛几乎要贴在炕桌上才能看清东西，哮喘病经常发作，疼得气都透不过来，加上房子里生了朝鲜式的地炕，十分闷热干燥。他隔不到一会儿，就要到房子外面去大口大口地吸上几口潮湿阴冷的空气，才会好受一些。长期伏案工作，胸口被挤压得十分难受，又引发了心脏病。一次正在开会，他突然头一歪，昏迷了过去，幸亏在场的人抢救才苏醒过来。病痛的折磨，使得他的双手常常发抖，手中的笔不时从炕沿上滑落下来。
按情理，重病缠身的李克农完全有理由申请回国休养，无需继续为停战谈判劳心费神。可李克农很倔强，他不愿向困难低头。为减轻病痛，他常常一面看文件，一面将药片一小把一小把地送进嘴里，只是当喘咳得无法忍受时，他才将手头的活儿暂时搁下，休息一会。
尽管这样，李克农还是想给大家留下一个身体挺不错的印象。李克农身体健康，代表团就有了主心骨。他一向注重仪表，酷爱整洁，即使在身体快要垮了的情况下，也仍然保持着超凡的魅力和迷人的风度。一副黑边眼镜架在他那宽大的国字脸上，留着神气的短胡须，脚蹬马靴，一身戎装，风度翩翩，完全是一副外交家的派头。
僵持的谈判
大家很为他的身体担心，提醒他要多注意身体，他却总是笑眯眯地鼓励大家道:“现在我们站在兄弟国家的土地上，背负着党和祖国人民的希望，让我们的工作比过去做得更出色吧!”为不让大家担心，工作间隙，他还不断地开些玩笑，逗得大家乐不可支。李克农的身体状况很差，但却非常关心同志，他总是和大家打成一片，随时听取每个人的意见，越是困难的时候越是如此，所以，中朝代表团的所有人员都视他为师长，有些朝鲜工作人员在个人生活上受了委曲，不去找自己的直接领导，而是跑到李克农这儿向他倾诉。
段连城———一位年轻的中国翻译，在他1951年8月31日的日记里这样写道:
队长上年纪了，蹲在阴湿漏水的防空洞里，脑海里还得思考问题，如何对付敌人。这些同志啊!他们从长征起，而陕北，而抗战，而解放战争，今天又在朝鲜。他们毕生在艰难危险中度过。然而他们却是如此谦逊，虚怀若谷，像我们这些后生小辈的一言一语，他都认真地倾听。在日常生活中，他们又是那样的豪放通达，像小孩子似的说笑。……这些同志，他们真是特殊材料做成的共产党人。
中共中央还是很快了解到了李克农的身体状况。根据中央决定，1951年11月，外交部副部长伍修权奉命去朝鲜接替李克农，让他回国休息和治疗。
伍修权一行夜以继日急奔朝鲜前线，到开城见到李克农。伍修权给李克农他们带来了一批慰劳的水果，哪知由于天冷路遥，加上路途颠簸，全都烂了。
伍修权很有些过意不去，李克农却装着叹息地笑道:“这事谁也不怪，只怪我们的口福太薄，不过你们的心意我们全领了。”当伍修权向李克农谈了要接替他，让他下去休息和治疗时，李克农固执地说:“临阵不换将。”
李克农自有他的道理。他熟悉这里的工作，也摸清了各方面的规律，中途换人，不利工作。但伍修权看着李克农的病体，一时也拿不定主意，结果两人一起电告中央，中央来电同意仍由李克农主持工作，伍修权暂留朝鲜，如李克农病情无发展就不换人，事情才算有了了结。
从1951年7月10日到26日，经过半个月时间的唇枪舌战，双方代表团终于达成了谈判的5项议程:一、通过议程；
二、作为在朝鲜停止敌对行为的基本条件，确定双方分界线以建立非军事区；
三、在朝鲜境内实现停火与休战的具体安排，包括监督停火休战条款实施机构的组成、权力和职司；四、战俘的安排问题；
五、向双方有关各国政府建议事项。