黄蓉见丈夫烦恼，知劝他不听，也不吃饭，陪他默默而坐。次日天没亮，两人又出外找寻。
杨过饿了半日一晚，第二天一早，再也忍耐不住，悄悄溜下山峰，在溪边捉了几只青蛙，剥了皮，找些枯叶，要烧烤来吃。他在外流浪，常以此法充饥渡日，此时他怕为郭靖、黄蓉见到烟火，于是躲在山洞中生火，一将蛙腿烤黄，立即踏灭柴火，张口大嚼。耳听得郭靖叫唤「过儿，过儿。」心想：「你要叫我出去打我，我才不出来呢。」
当晚他就在山洞中睡了，迷迷糊糊的躺了一阵，忽见欧阳锋走进洞来，说道：「孩儿，我来教你练武功，免得你打不过武家那两个小鬼。」杨过大喜，跟他出洞，见他蹲在地下，咕咕咕的叫了几声，双掌推出。杨过跟着他便练了起来，只觉发掌踢腿，无不恰到好处。忽然欧阳锋挥拳打来，他闪避不及，砰的一下，正中顶门，头上剧痛无比，大叫一声，跳起身来。
头上又是砰的一下，他一惊而醒，原来适才是做了一梦。他摸摸头顶，撞起了一个疙瘩，甚为疼痛，不禁叹了口气，寻思：「料来爸爸此刻已经伤势痊愈，从大钟底下出来了。
他甚幺时候来接我去，真的教我武功，也免得我在这里受人白眼，给人欺辱。」走出洞来，望着天边，但见稀星数点挂在树梢，回思适才欧阳锋教导自己的武功，却一点也想不起来，他蹲下身来，口中咕咕咕的叫了几声，要将欧阳锋当日在嘉兴所传的蛤蟆功口诀用在拳脚之上，但无论如何用不上。他苦苦思索，双掌推出，梦中随心所欲的发掌出足，这时竟全然不知如何才好。
他独立山崖，望着茫茫大海，孤寂之心更甚，忽听海上一声长啸隐隐传来，叫着：「过儿，过儿。」他不由自主的奔下峰去，叫道：「我在这儿，我在这儿。」他奔上沙滩，郭靖远远望见，大喜之下，忙划艇近岸，跃上滩来。星光下两人互相奔近。郭靖一把将杨过搂在怀里，只道：「快回去吃饭。」他心情激动，语音竟有些哽咽。回到屋中，黄蓉预备饭菜给郭靖和杨过吃了，大家对过去之事绝口不提。
次日清晨，郭靖将杨过、武氏兄弟、郭芙叫到大厅，又将柯镇恶请来，向柯镇恶道：「大师父，弟子要请师父恩准，跟你收四个徒孙。」柯镇恶喜道：「那再好不过，我恭喜你啦。」
郭靖道：「十多年前，过儿的母亲尚未过世，过儿曾向我拜过师，今天正式再拜。先拜祖师爷。」命杨过与武氏兄弟先向柯镇恶磕头，再去向江南六怪朱聪等的灵位磕头，然后对他夫妇行拜师之礼。郭芙笑问：「妈，我也得拜幺？」黄蓉道：「自然要拜。」郭芙笑嘻嘻的也向三人磕了头。杨过幼时在长兴遇到郭靖夫妇之时，曾奉母命拜郭靖为师，郭靖夫妇在嘉兴再见他时没提此事，杨过当时初生不久，自早遗忘。
郭靖正色道：「从今天起，你们四人是师兄弟啦……」郭芙接口道：「不，还是师兄妹。」
郭靖横了女儿一眼，道：「爹没说完，不许多口。」他顿了一顿，说道：「自今而后，你们四人须得相亲相爱，有福共享，有难同当。如再争闹打架，我可不能轻饶。」说着向杨过看了一眼。杨过心想：「你自然偏袒女儿，以后我不去惹她就是。」
柯镇恶接着将他们门中诸般门规说了一些，都是一些不得恃强欺人、不得滥伤无辜之类，江南七怪门派各自不同，柯镇恶也记不得那许多，反正也是大同小异。
郭靖说道：「我所学的武功很杂，除了师祖江南七侠所授的根基之外，全真派的内功，桃花岛和丐帮东南两大宗的武功，都练过一些。为人不可忘本，今日我先授你们柯大师祖的独门功夫。」
他正要亲授口诀，黄蓉见杨过低头出神，脸上有一股说不出的怪异之色，依稀是杨康当年的模样，不禁心中生憎，寻思：「他父亲虽非我亲手所杀，但也可说死在我手里，可莫要养虎为患，将来成为个大大祸胎。」心念微动，已有计较，说道：「你一个人教四个孩子，未免太也辛苦，过儿让我来教。」郭靖尚未回答，柯镇恶已拍手笑道：「那妙极啦！
你两口子可以比比，瞧谁的徒儿教得好。」郭靖心中也喜，知道妻子比自己聪明百倍，教导之法一定远胜于己，当下没口子称善。
郭芙怕父亲严峻，道：「妈，我也要你教。」黄蓉笑道：「你老是缠着我胡闹，功夫一定学不成，寒是让爹教你的好。」郭芙向父亲偷看一眼，见他双目也正瞪着自己，急忙转头，不敢再说。
黄蓉对丈夫道：「咱们定个规矩，你不能教过儿，我也不能教他们三人。这四个孩子之间，更加不得互相传授，否则错乱了功夫，有损无益。」郭靖道：「这个自然。」黄蓉道：「过儿，你跟我来。」杨过厌憎郭芙与武氏兄弟，听黄蓉这幺说，得以不与他们同场学艺，正合心意，当下跟着她走向内堂。
黄蓉领着他进了书房，从书架上拿下一本书来，道：「你师父有七位师父，人称江南七怪，大师父就是柯公公，二师父叫作妙手书生朱聪，现下我先教你朱二师祖的功夫。」
说着摊开书本，朗声读道：「子曰：学而时习之，不亦说乎？有朋自远方来，不亦乐乎？」
原来那是一部「论语」。杨过心中奇怪，不敢多问，只得跟着她诵读着识字。
一连数日，黄蓉只是教他读书，绝口不提武功。这日读罢了书，杨过独自到山上闲走，想起欧阳锋现下不知身在何处，思念甚殷，不禁双手撑地，倒转身子，学着他样子旋转起来。转了一阵，依照欧阳锋所授口诀逆行经脉，只觉愈转愈顺遂，翻身跃起，咕的一声叫喊，双掌拍出，登觉遍体舒泰，快美无比，立时出了一身大汗。他可不知只这一番练功，内力已有进展。欧阳锋的武功别创一格，原是厉害之极的上乘功夫，杨过悟性甚高，虽那日于匆匆之际所学甚少，但如此练去，内力也有进益。
自此之后，他每日跟黄蓉诵读经书，早晨晚间有空，自行到僻静山边练功。他倒不是立志习武，想从此练成一身惊人武艺，只每练一次，全身便说不出的舒适，到后来已不练不快。
他暗自修练，郭靖与黄蓉毫不知晓。黄蓉教他读书，不到三个月，已将一部「论语 」
教完。黄蓉教书早感烦厌，但想：「此人聪明才智似不在我下，如果他为人和他爹爹一般，学了武功，将来为祸不小，不如只让他学文，习了圣贤之说，于己于人都好。」当下耐着性子教读，「论语」教完，跟着再教「孟子」。杨过记诵极速，对书中经义却往往不以为然，不住提出疑难。黄蓉常自觉得：「这孩子读圣贤书，有些想法跟我爹爹十分相似，如我爹爹教他，二人谈起来倒必投机。」
几个月过去，黄蓉始终不提武功，杨过也就不问。自那日与郭芙、武氏兄弟打架之后，再不跟他们三人在一起玩耍，独个儿越来越感孤寂，心知郭靖虽收他为徒，武功是决计不肯教的了。自己本就不是武氏兄弟对手，待郭靖教得他们一年半载，再有争斗，非死在他们手里不可，打定主意，一有机会，便偷上一艘船去，设法逃离桃花岛。
这日下午，杨过跟黄蓉读了几段「孟子」，辞出书房，在海边闲步，望着大海中白浪滔滔，心想不知何日方能脱此困境，眼见海面上白鸥来去，好生欣羡它们的来去自在。正自神往，忽听桃树林外传来呼呼风响。他好奇心起，悄悄绕到树后张望，原来郭靖正在林中空地上教武氏兄弟拳脚，教的是一招擒拿手「托梁换柱」。郭靖口中指点，手脚比划，命武氏兄弟跟着照学。杨过只看了一遍，早就领会到这一招的精义所在，但武氏兄弟学来学去始终不得要领。郭靖本性鲁钝，深知其中甘苦，毫不厌烦，只反复教导。
杨过暗暗叹气，心道：「郭伯伯若肯教我，我岂能如他们这般蠢笨。」闷闷不乐，自回房中睡了。晚饭后读了几遍书，但感百无聊赖，又到海滩旁边，学着郭靖所授的拳脚，使将开来，一招反复使得几遍，便感腻烦，忽想：「我如去偷学武功，保管比武氏兄弟强得多，就不怕他们来打死我了。」一喜之后，傲心登生：「郭伯伯既不肯教，我又何必偷学他的？哼，这时他就是来求我去学，我也不学的了。最多给人打死了，好希罕幺？」
想到此处，傲气登长，又感凄苦，倚岩静坐，竟在浪涛声人迷迷糊糊的睡着了。
次日清晨，杨过不去吃早饭，也不去书房读书，在海中捞了几只大蚝，生火烧烤来吃，心想：「不吃你郭家的饭，也饿不死我。」瞧着岸边的大船和小艇，寻思：「那大船我开不动，小艇却又划不远，怎生逃走才好？」烦恼了半日，无计可施，便在一块巨岩之后倒转了身子，练起了欧阳锋所授的内功来。
正练到血行加速、全身舒畅之际，突然间身后有人大声呼喝，杨过一惊之下，登时摔倒，手足麻痹，再也爬不起来，原来是郭芙与武氏兄弟三人适于此时到来。这巨岩之后本来十分僻静，向无人至，但桃花岛上道路树木的布置皆按五行生克之变，郭芙与武氏兄弟不敢到处乱走，来来去去只在岛上道路熟识处玩耍，碰巧见到了他练功情状。幸好杨过此时功力甚浅，否则给他们三人齐声吆喝，惊得经脉错乱，非当场瘫痪不可。
郭芙拍手笑道：「你在这里捣甚幺鬼？」杨过扶着岩石，慢慢支撑着站起，向她白了一眼，转身走开。