赦囚徒扞寇盗，发恶少年及边骑，岁余而出敦煌六万人，负私从者不与。牛十万，马三万匹，驴、橐驼以万数赍粮，兵弩甚设。天下骚动，转相奉伐宛，五十余校尉。
    ——《汉书·李广利传》
    赵破奴兵败匈奴两万大军全军覆没，李广利攻打大宛无功而返大军十不存一。两路大军的接连惨败，虽然没有打击到朝廷对外出兵的信心，但在对谁用兵的问题上，朝廷却吵成了一锅粥，有大臣主张继续对大宛用兵，毕竟经略西域中亚乃是汉朝的既定国策；有大臣则主张对匈奴用兵，建议将李广利的军队调回，毕竟匈奴距离更近威胁更大，而大宛则距离遥远。
    汉武帝则认为，匈奴虽然距离较近，但因为早年的连番战败，元气尚未恢复，再加上匈奴单于接连去世，国内统治较为混乱，短期内还无法对汉朝构成威胁。大宛则有所不同，汉朝在西域和中亚的影响力本就较小，如今既然已经发兵攻打大宛，如果连大宛这样的小国都打不下来，那么让西域各国和大夏等中亚各国如何看待汉朝，到时候不仅得不到大宛的良马，就连乌孙、轮台等国家日后恐怕都要为难汉朝的使者了。
    权衡一番后，汉武帝决定暂时搁置匈奴问题，坚持再度出兵大宛。为此，汉武帝接受了且鞮侯单于伸出的橄榄枝，以缓和汉匈关系，并将竭力反对出兵大宛的邓光等人下狱问罪，然后准备第二次远征。
    汉武帝和大臣们商议后认为，第一次攻打大宛失败，固然有李广利军事才能平庸，指挥军队不利的原因，但同时也与粮草运输不足，大军补给困难息息相关，士兵们饿着肚子打仗，焉有不败之理。
    因此，为了确保第二次征讨大宛能够取胜，汉武帝进行了充足的动员准备，不仅赦免了第一次出征的囚徒步卒，而且再度征发了国内道德败坏的年轻人和边境骑兵六万余人，而为了确保后勤运输，又调拨马三万匹、牛十万头、驴和骆驼数以万计，粮草、弓弩不计其数，随同出征的校尉也多达五十余人。
    为了策应大军，汉武帝还增派甲卒十八万人前往酒泉郡和张掖郡以北驻守，并新置了居延、休屠两个县以护卫酒泉，防止匈奴袭扰汉朝大军。同时，征发天下“七科适”（即战时征派到边疆服兵役的七种人），运输干粮供应大军，驱车载运的人众络绎相连到敦煌。
    此外，第一次出征大宛时，李广利探知大宛城内没有水井，需要从城外引进活水，于是朝廷还派遣了水利工匠随同出征，预备将大宛城外的河川改道，使其无水可用。又授任两名会相马的人为执驱马校尉，准备在攻破大宛以后选取良马。
    为了此次出征，朝廷先后筹备了近一年时间，甚至搅的全国动荡不安，只为确保此次征伐大宛取胜。
    太初三年（前102年）夏，李广利再度率领大军自敦煌出发西征，由于军队太多，担心沿途国家根本无力供应大军补给，同时也为了震慑西域各国，李广利将军队分为数队，依次穿过罗布泊后从南北两路分别向西进发。
    得知汉朝大军再度西征，匈奴各部本有心派兵袭击，但因汉军兵力太多，最终被迫放弃了贸然出兵与汉军正面作战的想法，而是派人联络楼兰，命其待汉朝大军通过后，截击汉朝的粮草辎重部队，意图将汉军困死在西域地区。
    当初，被赵破奴率七百人攻破后，楼兰便归降了汉朝，向汉朝称臣纳贡，匈奴自然也清楚楼兰西域门户的地位，于是得知楼兰归汉后便也出兵攻击，楼兰王实在没有办法，只能派出两个儿子，分别前往汉朝和匈奴为质。如今匈奴命楼兰袭击汉军，无疑让楼兰王再度陷入了两难境地，毕竟两边他都得罪不起。
    当时，任文率军屯兵玉门关，为贰师将军李广利殿后的同时，也是为了确保汉军后勤补给通道的安全，当他从俘虏口中得知了匈奴命令楼兰袭击汉军之事后，立即将此事上奏汉武帝。汉武帝遂命任文率兵抄小路攻入楼兰，逮捕了楼兰王，将其押赴长安。
    汉武帝责问楼兰王匈奴之事，楼兰王满脸委屈的说道，“小国夹在大国之间，只能首鼠两端以求生存”，说罢，楼兰王便向汉武帝叩头请罪，片刻后，又抬头说道，“我想将我国臣民迁到汉朝境内居住，还请陛下准允。”
    汉武帝认为楼兰王所说不无道理，于是不再怪罪于他，反而好言宽慰一番，让其不必理会匈奴威胁，若是匈奴敢发兵来攻，汉军自会保护楼兰安全。之后，汉武帝命人送楼兰王回国，并希望楼兰王替汉朝侦查匈奴动静，楼兰王遂千恩万谢而去。匈奴得知此事后，从此不再信任楼兰。
    李广利上次出征大宛，西域各国因为不知道汉军目的，因而纷纷闭城不出，不为汉军提供补给，结果多有小国被汉军攻破。如今汉军再度西征，兵力相较于上次更众，不过由于已经知道汉军目标在于大宛，西域各国反而不再惧怕，自然也就没有必要再闭城自守，招致汉军来攻，于是纷纷壸浆箪食以迎，唯独轮台国（今新疆轮台县东南）闭门拒绝。
    李广利得知消息后，立即挥军进攻，数日之后攻破轮台城。为震慑西域各国，李广利破城之后，直接下令屠城，轮台国随之被灭，西域各国得知消息无不震惊，此后汉军一路向西，再也无人敢挡。
    李广利率领主力三万余人翻越葱岭后，本想先行攻打郁成国，但又担心如果在郁成国耽误太久，会让大宛国有所准备，思虑一番后还是决定先行攻打大宛。于是率军绕过郁成国，直取大宛首都贵山城。
    李广利虽然没有理会郁成国，但随后翻越葱岭，校尉王申生和原大鸿胪壶充国等人统领的一千余名汉军，却来到了郁成国，由于身心俱疲，王申生便派人向守军索要食物和饮水，结果遭到郁成国拒绝。
    王申生率领的汉军，虽然距离李广利统率的大部队两百余里，但他依仗汉军兵力强大，根本没将郁成国这个小国放在眼里，眼见郁成国竟然如此狂妄，竟然直接率军对郁成城发动了进攻。
    郁成人探知汉军不过一千多人，于清晨组织起三千多人，出城对汉军发动反击，结果王申生、壶充国等将领被斩，所部几乎全军覆没，只有少数几人逃出生天，跑到李广利处告急。
    李广利上次出征大宛，便在郁成国处吃了败仗，如今听说该国竟然还敢袭击汉军，当即大怒，命令搜粟都尉上官桀率军万余回军攻打郁成国。
    上官桀是陇西上邽人，年轻时曾任羽林期门郎。一次，上官桀跟随汉武帝前往甘泉宫，途中遭遇大风，车驾不能前进，汉武帝于是命人拆下车盖让上官桀捧着，车子这才得以继续前进。上官桀身强力壮，虽然捧着厚重的车盖顶风前进，却始终紧紧跟随在马车后方，没有被落下。不久，天又下起大雨，他便赶上前去用车盖替汉武帝挡雨。
    事后，汉武帝对于他的勇力十分欣赏，便将其提拔为了未央厩令，主要负责饲养帝后乘舆马匹。
    后来，汉武帝因为身体不舒服在宫中养病，病愈之后前去查看马匹，结果发现马竟然都瘦弱不堪，便命人将上官桀召至面前，怒斥道，“你是认为我再也看不见这些马了吗？”当即便要治他的罪。
    上官桀连忙叩头请罪，说道，“我听说皇上身体不适，便日夜替您担心，哪里还顾得上看马啊！”话还没有说完，眼泪就一串串地落了下来。汉武帝见其对自己如此忠心，不仅没有再怪罪于他，此后反而对其日渐宠信，使其先后升任侍中、太仆。再度派李广利出征大宛时，汉武帝又任命上官桀为搜粟都尉，命其随军出征。
    上官桀率军抵达郁成城后，因为此前汉军在此已经两度战败，上官桀不敢有丝毫轻敌之心，妥善布置后这才率军猛攻，郁成国毕竟是小国，如何能够抵挡汉军上万大军，结果仅仅坚守数日便被攻破城池，郁成人随之投降，郁成王则率领亲信一路向西逃至康居国。
    上官桀得知消息，率军紧追不舍，一路追至康居国边境。面对比郁成国强大许多的康居，上官桀没有敢贸然发动进攻，而是率军驻守于康居边境，派人向康居散播汉军已经攻破大宛的消息。
    汉朝数万大军西进攻打大宛，康居王自然早已得知消息，康居虽然也算中亚大国，但相较于大宛还是略逊一筹，如今听说大宛国都已经被攻破，哪里还敢得罪汉军，康居王当即命人将郁成王抓了起来交给了上官桀。
    上官桀于是命令四个骑兵押送郁成王给主将李广利，这四人途中商议道，“这郁成王极为痛恨我朝，如果活着将其押送过去，恐怕途中会发生意外，反而贻误大事”，可是想要将其处死，却又无人敢动手，上邹骑士赵弟见其余三人犹豫不决，直接拔剑上前，将郁成王斩杀，然后四人携其首级前往李广利处报捷。
    上官桀命人将郁成王送走后，自己则率军返回郁成国，对该国百姓予以安抚一番后，留千余守军驻守郁成，这才率领大军与李广利的主力会合。
    李广利率领主力抵达大宛都城贵山城后，大宛人本想趁汉军立足未稳出城反击，结果在汉军一番弓弩齐射之下，丢下数百具尸体后，便退回了城内坚守，再也不敢贸然出城。
    李广利击退大宛反击后，却并未急于攻城，而是率军将贵山城团团包围，然后命令随军的水利工匠，修改贵山城外围河流流向，切断其城内水源，并赶制攻城器械，同时等待后续大军前来会和。
    李广利围城四十余日，由于城内断水，城中军民早已斗志全无，而汉军则在汇集后续大军后，则已经做好了攻城的各项准备，李广利这才发动进攻。
    贵山城虽然是大宛国都城，但与汉朝的那些巨城相比，可就完全不够看了，不仅城市规模无法相提并论，防御设施更是简陋非常。
    相较之下，春秋战国以来，中原地区屡遭战乱，虽然战争导致民生凋敝、经济凋零，但正是由于长期战争积累的经验，军事理论和科技却得以迅速发展，对于汉军打造的各种攻城器械，大宛军队别说防御了，甚至连见都没有见过。
    汉军猛攻数日，便摧毁了贵山城的外城，大宛贵族将领煎靡被俘，大宛军民于是纷纷逃入内城坚守。面对汉军的迅猛攻势，任谁都看的出来，大宛国根本毫无取胜希望，继续坚守下去，也不过是途耗伤亡，延缓城破的时间罢了。
    在这种悲观情绪下，不少大宛贵族的立场开始动摇，他们怨恨大宛国王毋寡杀死汉朝使者，引来汉朝大军进攻，认为与其跟着毋寡送死，不如杀死毋寡与汉军谈判，从而换取一条生路。
    这些贵族们商议一番后，立即发动政变，杀死了毋寡，派人将毋寡的首级送往汉营请降，并表示，“如果汉军停止进攻，大宛愿意献出良马供汉军挑选，并向汉军提供粮食；如果汉军不停战，大宛便杀尽良马，待到康居援军到达，将从内到外共同抵抗汉军。”
    李广利召集众将商议，大家皆认为汉朝攻打大宛的目的在于夺马，既然大宛已经同意献出宝马，且杀死了反抗汉朝的国王毋寡，汉军自然就没有必要继续攻城徒增伤亡，更何况众人已经从俘虏口中得知，城中最近找到了会穿井汲水的汉人，已经解决了用水问题，而且城中存粮还多，汉军想要攻破城池并不容易，而如果康居真的出兵与大宛人里外夹攻，且不说能否破城，汉军甚至还将陷入腹背受敌的不利境地。更为重要的是，若是逼得大宛军民鱼死网破，真的尽数杀死了良马，即便攻破城池也是竹篮打水一场空，倒不如通过谈判换取更大的好处。
    于是，李广利也派出使者，与大宛贵族经过多次商议后，最终约定：汉军不进入贵山城，大宛国主动献出良马供汉军挑选，大宛国拥立亲汉的贵族为新任国王，大宛成为汉朝臣属。
    经过一番精挑细选，李广利派人从大宛国献出的良马中，挑选出宝马数十匹，中等以下公母马三千余匹，大宛贵族则拥立了亲汉的昧蔡为大宛新国王，并与汉朝缔结了臣属联盟。做完这一切之后，李广利这才率领大军胜利班师。
    当初，汉朝大军翻越葱岭直抵大宛国都时，大宛国王毋寡便派人向康居求援，康居王随之派出援军前往大宛，然而因为汉军势大，援军又迟迟无法与大宛国取得联系，再加上上官桀派人向康居散播大宛已被攻破的消息，导致康居援军始终徘徊于贵山城数百里外不敢进兵。如今见大宛果然被攻破，康居王连忙下令援军撤回，并派人与汉朝修好。
    李广利率领大军凯旋东归，西域那些小国听说大宛国被汉军攻破，对于汉朝更为敬畏，等到汉军经过时，不仅为汉军提供粮草补给，甚至纷纷打发自己子弟跟随汉军前往长安纳献贡物，谒见天子、作为人质。
    途经乌孙时，李广利派人以“首鼠两端”之罪责问乌孙王。当时，西域各国之中，与汉朝关系最近者，当属与汉朝联姻结盟的乌孙国，虽说细君公主出嫁乌孙后仅两年，乌孙王猎骄靡便去世了，不过猎骄靡在去世之前，却按照“收继婚”的习俗，安排太孙军须靡在即位后迎娶了细君公主。
    由于有悖伦理，细君公主最初还不同意，并将此事上奏汉武帝，汉武帝则回信表示希望细君公主能够顾全大局，遵从乌孙国的风俗。于是，在猎骄靡去世后，细君公主便又嫁给了新任乌孙王军须靡，延续了汉朝和乌孙的联姻结盟。
    正因如此，李广利二次西征时，曾派人通告乌孙国，要求其出兵与汉军合力攻打大宛。然而，乌孙王军须靡因为知道汉朝此前攻打大宛战败，因此虽然派遣了两千骑兵前往，但其军队却始终在大宛国外徘徊观望，而并不配合参战。
    面对李广利的责问，自知理亏的军须靡无力辩驳，只得一面向李广利请罪，一面派遣使者随李广利前往长安谢罪。
    汉朝这次西征，由于事先准备充分，粮草补给充足，因战死伤者并不算太多，但由于将吏们贪财，大都不爱护士兵，侵吞军饷现象十分严重，导致大量士兵非战斗死亡，结果六万多大军出征，等到返回玉门关时，只剩下了一万多人，军马一千多匹。
    不过，由于此战取胜，军队又是劳师远征，汉武帝便没有责问各级将领的过失，下诏道，“匈奴为害已经很久了，如今虽远徙漠北，但却常常与旁国合谋截击西域各国的使者，并先后截杀了中郎将江和原雁门太守攘等人，而危须国以西的大宛等国，也合谋杀死了期门车令、中郎将朝及身毒国使，以致东西道路隔断。贰师将军广利征讨其罪，战胜大宛。赖天之灵，从溯河山，涉流沙，通西海，山雪不积，大军艰难跋涉，斩获大宛王首级，虏获大量珍贵之物，可谓战功卓着。”
    为此，汉武帝下令封李广利为海西侯，食邑八千户；赵弟因斩杀郁成王，获封新时侯；军正赵始成因功获封光禄大夫，上官桀也因功升任少府，李哆因多献计谋升任上党太守。此外，军官中因功升任九卿者有三人，升任诸侯相、郡守、二千石级官吏的也有一百多人，升任一千石以下官吏的更是多达一千多人，就连普通士兵也得以赏赐大量钱财，而凡是因罪被罚去从军的也都被予以赦免。凭此一战，李广利在朝中声望骤升，并由此建立了自己的势力网。
    大宛素来便是西域强国，随着大宛被汉朝击败，西域和中亚诸国震惧，使得汉朝在该地的影响力大增，汉朝则趁机自敦煌以西至盐泽，沿途修筑烽燧亭障，并于轮台、渠犁一带实行军事屯田，置使者校尉管理，使其成为汉朝在西域的补给点、中转站，为日后汉朝使者或军队西行提供补给。