先武帝奠基南越，如今带甲之众百万有余，只须三万人马，便可将人侵南越之敌击退，何必上书于汉廷。再说，从上书到汉兵至，需要多少时间?兵贵神速，如我不发兵击之，则闽越当视我惧怕其势，必然得寸进尺，步步紧逼，边关之害可就大矣。再者先武帝在世时，一再叮泞吾等群臣，南越之事当由南越自己决断，若自强可以立国，若倚他人者必贻害于国！大王若不听吾等逆耳之言，南越将岌岌可危矣!”
赵胡听罢，正色质问道:“我们如果与闽越兵戈相见，则朝廷势必乘机发兵，取渔人之利。以本王看，闽越人攻打蒲葵关，只是为了抢夺些财物而已，与我国本体并无大碍。不如一书一帛，汉兵至，则闽越人必退!”
尽管众臣僚对赵胡的主张极不赞成，但最后还是无可奈何地看着这位新主给汉王朝发出了求援书。书中称:“两越俱为藩臣，毋擅兴兵相攻击，今闽越兴兵侵臣，臣不敢兴兵，惟天子诏之。”以赵胡的想法，如此上书，不仅向汉武帝表明了南越国忠于臣属之职，不兴兵互相攻击，同时又可使汉朝廷出面干涉。这样，就巧妙地把难题推给了汉廷。
汉武帝接到南越国使臣送来的求援书后，对赵胡的举动表示赞赏，认为南越国重信义，守职约。于是，汉武帝传诏曰:“王子多南越义，守职约，为兴师，遣两将军即大行王恢率军出像章、大农韩安国率军出会稽，南北夹攻往讨闽越。”
汉王朝的直接发兵于预，大出闽越国统治者的预料之外，面对大敌当前的紧迫形势，闽越国上层统治集团发生了分裂。继无诸之后的闽越王郑之弟余善杀邹而降，“使使奉王头驰报天子”，汉军于是停止进攻，上报汉廷，武帝乃改立无诸之孙“爵君丑为越舔王，奉闽越先祭祀”。但在闽越国统治集团的内让中，余善以杀其兄而“威行于国，国民多属”，拥有了相当的支持力量，因而“窃自立为王”。面对闽越国出现的这种情况，汉王朝采取了分而治之的策略，下令立余善为闽越王，从此闽越国一分为二，越舞王、闽越王并存。
在这场战争中，闽越出于掠夺财物的企图而发起侵袭，显然不是正义之举。而南越国既未损己之兵，又使敌军退却，看上去这是件一举两得的好事，但就在这件好事的背后，却暗藏着极大的隐患，这个隐患所导致的严重后果是赵胡始料不及的。
就在汉武帝派大将王恢出兵轻取闽越时，曾以兵威为后盾的番阳令唐蒙，奉诏来到南越国都城番禺，让南越王赵胡亲自人朝向皇帝谢恩。赵胡接到一诏谕后，不知汉武帝到底是何意图，对这个诏谕采取了不冷不热的处置态度，没有立即奉诏前行。汉武帝见南越王赵胡无动于衷，接着，再次传诏，令严助赴南越说服赵胡前往长安。严助，会稽人。“严夫子子也。郡举贤良，对策百余人，武帝善助对，由是独耀助为中大夫”。严助在汉廷是屈指可数的善辩之士，曾“与大臣辩论，中外相应以义理之文，大臣数汕”，所以汉武帝对他另眼看待，并委以重任。这次出使南越的任务落到严助的肩上。严助到达番禺后，告诉赵胡汉天子已将闽越的事摆平。赵胡听后顿首，认为“天子乃为臣兴兵讨闽越，死无以报德!”表示了对汉的感激之情。当严助接着传谕让赵胡人汉朝亲自向皇帝谢恩时，赵胡这才回过味来，认识到问题的严重，不免大惊失色。原本南越号称有百万带甲之众，击败昔日役属的闽越易如反掌，但赵胡却故作聪明地要请汉廷出兵。岂不知，古往今来，凡立国者，皆以己强而服众，一旦自己强盛起来，别人才会俯首帖耳，惟命是听。而一旦你弱小，即使礼仪再周全、再诚实、再厚道，在强者眼里，你也只是形同粪土。赵胡过分看重汉廷的实力和约定，而忽略自己百万带甲之众和据岭自守的天然屏障，想做个惟命是从，百依百顺的顺臣，这恰恰是汉武帝所期待的。
赵胡面对诏令并慑于汉朝廷的威势，他不敢予以拒绝，也不敢跟严助人长安晋见天子。情急之中，只好和几个近臣商量，称自己本愿同严助一同人朝晋见天子，以示谢恩，无奈自己继位时间不长，身体多病，不能去往长安，一旦病情有所好转，即刻赴长安晋见天子。为了表达自己的诚意，特命太子赵婴齐跟严助一同赴长安为皇帝“宿卫”。
严助见赵胡如此说，不便强求，只好带上太子赵婴齐返回长安。
严助走后，赵胡同朝臣反复商量是否亲自去长安晋见天子之事。以承相吕嘉为首的臣僚不同意赵胡亲赴长安，并劝谏说:“汉兴兵诛郑，亦行以惊动南粤。先王言事天子期毋失礼，要之不可以休好语人见。人见则不得复归，亡国之势也。”
臣僚们的劝谏，勾起了赵胡对亡祖父赵佗当年所留遗训的回忆，想起了汉、越几十年来相互存有戒心和敌视的历史。从此之后，他对汉廷一直称自己有病在身，不肯去长安入见皇帝。
汉武帝见赵胡迟迟不肯人朝晋见自己，便以牙还牙，以种种借口，把太子婴齐质于长安不肯放回。赵佗当年的遗训应验了。
后来，垂相吕嘉用计，设法使太子婴齐返回南越。但赵胡自太子人朝后，萎靡不振，如同大伤了元气一般，不再见辅佐大臣。吕嘉等群臣以国家基业为重，数次入主宫进谏，总算使赵胡有了些起色，但已无力挽回南越国江河日下的颓局了。
在这种危机四伏的格局中，赵胡勉强支撑了十余年便抑郁而死，死后谧为文王。
多少年后，有学者认为赵胡既然答应了严助要亲自入长安朝见，后又“背入朝之约”，“一再售汉以疑”，造成了汉对南越的“益疑”，则“祸速”也，认为只要人朝见天子，“一修朝数，礼成而还，恭格之节愈昭，君臣之义愈密”，则南越国的江山愈固矣。对这种看法，现代史学家张荣芳、黄淼章却提出了不同的见解和看法。
张、黄认为:经过汉初70余年的休养生息，汉王朝的国力正达到了最高峰。在这种大气候下，具有雄才大略的汉武帝要加强中央集权，势必要解决封国问题，打击割据势力。如武帝元朔二年(公元前127年)采纳主父僵的建议，下达“推恩令”等。联系当时形势，武帝对南越国是有征服的想法的。无论南越国如何讨好汉廷，只要汉朝国力一旦强盛起来，是不会允许这个极具威胁的王国存在的。且看汉越刀兵相向，就可知两者决一雌雄的日子只是个时间问题了。
危机四伏南越国
事实上，早在汉文帝时，将军陈武就提出了以武力南征荡平百越的构想，当时的汉文帝则说:“兵，凶器，虽克所愿，动亦耗病，谓百姓远方何?愿·一结和通使，且无议军。”话虽如此，实际上当时的汉廷军力有限，汉文帝颇有自知之明，所以未对南越动武。而到汉武帝时，形势已大不相同了。经过景帝的“削藩”和平吴楚七国之乱，同姓诸侯王的权势大不如前。汉武帝行“推恩令”，强令诸侯王分封自己的子弟，使封地越分越小;同时借口取消了不少高官贵族的封爵，使中央王权得到了巩固，皇帝有能力独揽朝政大权。整个国力达到了有汉以来最为鼎盛的时期，造成了国富民强和安定的政局。这样，徽定边患，开拓疆域，建立大一统的汉帝国成了汉武帝的当务之急。这个时候，雄心勃勃的汉武帝再也不满足干南越王国表面臣服，实质上仍是半独立的藩属关系了。政治上的稳定，经济上的繁荣，军事上的强大，使汉武帝感到用武力解决南越国问题的时机到来了。
早在唐蒙出使南越时，因食蜀产拘酱，无意中发现了从西蜀至夜郎，再从样柯江浮舟一而下，可至番禺城的通道。唐蒙发现这条通道后，曾上书汉武帝说:“南粤王黄屋左蠢，地东西万余里，名为外臣实一州主。今以长沙、豫章往，水道多绝，难行，窃闻夜郎所有精兵，可得十万，浮船样柯，出其不意，此制越一奇也。诚以汉之强，巴蜀之饶，通夜郎道，为置吏，甚易。”唐蒙的建议，是让汉武帝利用这条水道出奇兵制越，汉武帝听罢大喜，拜唐蒙为中郎将，带一千兵和许多汉帛丝绸财物等，赴夜郎国先行招抚。唐蒙带了大量锦缎，率一千人做护卫，出都南下，沿途经过许多险阻，才进人夜郎国。夜郎国王名叫多同，因为地处闭塞，素与外界不通，这多同还以为世上惟他夜郎最大，见到汉使唐蒙，不禁问道:“汉朝与我谁大?”唐蒙欲笑不得，只得如实俱述。后世相传的“夜郎自大”的故事便源于此。唐蒙一边讲述汉朝如何强盛，如何富饶，又把锦缎置于帐前，五光十色，锦绣成章，夜郎王见所未见，闻所未闻，不由得瞳目结舌，表示愿臣属于汉，当下与唐蒙订立约章。
夜郎国在赵佗执政时期曾接受赵佗赠给财物，与南越关系密切，有役属关系。唐蒙对夜郎王厚送财物，晓谕威德，恩威并施，终于说服夜郎归汉，其附近的小部落也相约归附汉朝。汉武帝不失时机地在夜郎设键为郡，为平定南越伏下了奇兵。
元狩年间(公元前122-公元前117年)，汉武帝以南越将叛，欲与越军用船进行水战为由，在长安西南开凿昆明池，周围四十里，建造楼船，训练水军，作好与越军进行水战的准备。