当年南越王赵胡为答谢汉朝帮助南越打退闽越国的军事进犯，特意派其子赵婴齐到长安充当汉武帝的宫廷侍卫。赵婴齐在长安多年，后来迎娶汉朝的邯郸樛氏女子为妻，不久，樛氏生下一子取名赵兴。
南越王赵胡死后，赵婴齐嗣位南越国王，上书汉武帝请求册立樛氏为王后，以赵兴为太子。
汉朝多次派遣使臣到南越命赵婴齐入京朝见。此时赵婴齐手握南越国生杀大权，贪恋权位，害怕一但入朝就会被朝廷像对待诸侯王那样用法令约束自己，不得自由。所以一再对朝廷称病，不能朝觐天子。后来赵婴齐驾崩，太子赵兴继位，尊奉樛氏为王太后。
当樛太后在中原还未成为赵婴齐的妃子时，曾经与霸陵人安国少季发生私情。公元前113年，汉武帝便命安国少季出使南越晓谕南越王及王太后入京朝觐天子，一如汉朝诸侯王之例。
同时又派出能言善辩的大臣终军宣读朝廷旨意，责成勇士魏臣等人威逼南越君臣及早做出决断归附汉朝，另外命令卫尉路博德统领大军驻扎桂阳，对南越形成武力威慑。
南越王赵兴此时年纪尚幼，国中大事均有赖于樛太后裁决。太后本是中原人，所以一心向汉。当安国少季来到南越国后，两人旧情复燃，重又产生私情。
天下没有不透风的墙，不久太后这些不光彩的事闹得满城风雨，威信扫地，所以大臣们不再听命于太后。
樛太后担心发生内乱，打算倚仗汉朝的力量稳固自己的地位，因此多次劝说赵兴和南越群臣归附汉朝。太后通过汉朝派来的使者转达自己的奏章，请求按照汉朝诸侯王的规制，三年一入朝，同时废除两国边界的关卡。
汉武帝阅过奏章下诏恩准，赐南越丞相吕嘉以及内史、中尉和太傅印玺。南越其余官吏可由南越王自行任免。同时废除南越国刺字和割鼻的酷刑，前次派出的汉朝使臣全部留任南越国，监督安抚南越臣民。
公元前112年，南越王赵兴和樛太后收拾行装置办厚礼，为即将入朝做准备。
丞相吕嘉年高望重，是朝中元老，先后辅佐过三代南越王。
吕嘉宗族为官者多达七十余人，男丁多为驸马，女眷亦大多许配南越王室。并且吕嘉同赵佗族弟秦王赵光过从甚密，因此吕嘉在南越国位高权重，甚至比南越王赵兴更得人心。
当南越王上书请求归附汉朝时，吕嘉数次劝阻，但都没被采纳，所以渐生反意，多次称病不拜见汉使。
汉使也觉察出吕嘉有异心，只是一直未肯下手诛杀。南越王和太后担心吕嘉先发制人，打算通过汉使之手除掉吕嘉。
不久南越宴请汉使，大臣都在座陪侍，只有吕嘉之弟率领士卒守卫宫外。太后趁给吕嘉赐酒时说道：“归附大汉对南越国来说有利无害，然而丞相为何却百般阻挠呀？”想以此激怒汉使，然而使者缺乏胆略，犹豫不决彼此推诿，所以没有人敢先动手。
吕嘉见气氛不对，所以立即起身打算出宫。太后大怒，打算命人用长矛刺死吕嘉，但被南越王及时制止。
吕嘉捡回一条命，在他弟弟手下卫兵的保护下回到家中。从此称病不再拜见南越王及汉使，暗中却与大臣们密谋作乱。只因吕嘉深知南越王并无加害之意，所以迁延数月而没有造反。
汉武帝听闻吕嘉抗命，南越王和太后力不能制，汉使又软弱无能。认为南越诚心归汉，只有吕嘉一人不从而已，所以并无兴兵讨伐之意，只打算派庄参带领两千人马出使南越。
然而庄参却认为如果以友好手段解决南越，那么派几个人就足够了。要是打算武力征讨，区区两千人根本无济于事。所以推辞不去，汉武帝于是罢免庄参。
济北相韩千秋自告奋勇，认为南越区区小国不足为虑。况且国内又有南越王和王太后为内援，单单一个吕嘉难成气候，愿带三百壮士斩杀吕嘉向朝廷复命。
汉武帝壮其言，派韩千秋带两千精兵前往南越。韩千秋一行刚到，吕嘉就马上发动暴乱，与其弟带兵杀死南越王母子以及汉朝使者。然后命人通告秦王赵光及国内郡县，拥立赵婴齐长子术阳侯赵建德为南越王。
韩千秋得报便率兵平乱，但仅仅攻破南越几座小城。汉军兵少，不久便在离南越都城四十里的地方全军覆没。南越国命人将汉朝使臣的符节用信函封存妥当，放置在边境显眼处，向汉朝狡言诡辩，开脱自己的罪责，同时派重兵防守关隘。
三月，汉武帝收到南越反叛的奏报，认为韩千秋此次出使虽未建功，但报效朝廷忠勇可嘉，所以封赏韩千秋之子韩延年为成安侯，借此劝勉臣子尽忠报国。
同年秋，汉武帝派伏波将军路博德和楼船将军杨仆等将领，统率由获罪的囚徒组成的数万大军从水路出征南越。
公元前111年，楼船将军杨仆攻入南越，在石门挫败南越国的前锋部队。杨仆取胜后，所部数万人就地驻防，等伏波将军路博德大军到后，合兵一路攻打南越都城番禺。杨仆为汉军先锋，兵临番禺城下，