荀攸随营参赞军机，自然是第一个知晓了於夫罗与吕布要攻打洛阳。当下便大惊失色，进行力劝。於夫罗说不过荀攸，倒也干脆，把荀攸给关进小黑屋了，让留守将士严加看管。
这边前脚一走，后脚荀攸便说动看守将士，把他给放了出来。荀攸一出来，便急得不行，去追於夫罗吧，这人心意已决，再说也是无用。去朝廷和诸州报信吧，时间上又来不及了。思来想去，荀攸眼睛一亮，把突破点放在了吕布身上。
从之前吕布不远千里去投奔刘备的行为来看，这人还是值得挽救一下的。只要说明利害，想必他定然会醒悟过来。荀攸知道貂蝉对吕布有特别的影响力，于是便一头奔貂蝉这里来了。
见了貂蝉，荀攸心中一叹，好个秀丽的女子。旋又正色道：“夫人可知，吕将军危矣！”
貂蝉正为吕布担忧，闻言不觉一惊，乃道：“先生何出此言？”
荀攸沉声道：“吕将军竟敢冒天下之大不韪，以下犯上，以臣犯君，攻打洛阳。此番不管洛阳能不能打下来，这天下都将再无吕将军容身之地！”
“杀丁原、从董卓，此其罪也。诛董卓，此其功也。吕将军之前有过，而其之诛董卓，则有大功于天下、于社稷。若吕将军亲身入洛阳，觐见天子，尚有位爵之封。为何冒此粉身碎骨之险，不惜一错再错，欲攻洛阳乎？若真如此，四海之内，无人能容吕将军矣。”
貂蝉听见，心中一沉，眼泪就下来了，当下便盈盈拜了下去，泣道：“还请先生教我！”
荀攸双手虚扶，道：“夫人，事尚可为，还请夫人亲书一信，遣使急送至吕将军处，陈说利害。吕将军当世英雄，自当醒悟过来。”
当并州骑一人配三马，人不卸甲马不离鞍的一路飞奔到吕布营中时，人与马都累得直吐白沫了。吕布听说是貂蝉急信，不由一愣，难道家中出了什么变故？于是一把夺过信件，拆开一看，脸色就变了。
人都有犯糊涂的时候。吕布之所以同意於夫罗提议，一是觉得自己没退路了。二是觉得要是能入洛阳城，到时便是他说了算了。第三，也就是最主要的一点，就是时间紧迫，他没那么多时间去推敲细想。如今貂蝉得荀攸指点，急信一封，陈说利害。吕布又不是傻子，更何况趋利避害乃人之天性。
信中毫不讳言的告诉吕布，真要攻打洛阳，不管成与不成，将会遭世人遗弃。到时天下真的便无处可容身了。於夫罗则不同，他毕竟是匈奴人，还有返还南匈奴的一条退路。且吕布欲化解诸侯声讨，只要退出河内，天子与诸侯便会松一口气，不会对吕布紧紧相逼。是欲痛改前非，还是欲遗臭万年，信中让吕布自行斟酌决定。
大军最终在平阴停了下来。吕布和於夫罗发生了合作以来的第一次争吵。
於夫罗想不明白，前方就是洛阳城了，为什么吕布却突然发悔？进了洛阳城，有大把的钱粮、美人可以享受。抓住了天子，天下诸侯哪个敢吱声？谁他妈不服，老子就把天子给剁了！这么好的机会，为什么要放弃？
吕布却是彻底想通了。诸侯勤王，不过是不想看到如今大汉名义上的共主出现问题。毕竟天子若出事，天下将又会大乱。而诸侯们却还未做好准备。那么自己只需离洛阳远一点，都还不用退出河内，就可以化解这次危机，干嘛反应这么激烈，要和於夫罗绑在一起，去进行一场渔死网破的战争？
而且以河内北部为根基，迅速进攻并州，这才是最紧迫的事情。也是之前出山前定好的策略。不容有变。按现在的分析。自己进攻并州时，除了袁绍会着急，估计其他诸侯都乐见自己如此。之前听说袁绍与幽州公孙瓒多有不和，两家怨隙颇深。那么自己攻打并州，袁绍能派多少人马出来援助？绝对不多，不然他怎么应付公孙瓒？
只要不是大军来援，吕布就不惧任何人。这是他厮杀多年建立起来的自信。
既然如此，洛阳城便算了吧。虽然有於夫罗之策，吕布觉得夺城机率颇高。但他已经不想再被诸侯围攻了。到时诸侯围了洛阳城，他就是想逃都逃不出去。有什么用。而且於夫罗这个家伙，看上去也不是那么可靠的样子。关键时刻还要防备他捅刀子。这个家伙凶残嗜杀，放他进了洛阳，真搞得洛阳腥风血雨，民怨四起，到时於夫罗率兵一退，所有罪名就要推到自己头上了。不划算……
短短一瞬间，吕布想了很多，都是在权衡利弊。最后得出结论，这洛阳城，还真不能打。打了绝对是弊大于利。得不偿失。
于是召了众将前来征询意见。以张辽、高顺为首的武将们，第一时间就站了出来，表示赞同吕布罢军的计划。他们早就想反对了，奈何吕布一意孤行。就算是凉州诸将攻打长安，也不过是因为朝廷不赦其罪而想自保而已。结果也证明了这一点，凉州将攻入长安，也只是诛杀了王允一党。长安天子与诸臣，不都好好的么。
按张辽的话说就是：“我等身为汉臣，将军欲以臣伐君，此大逆也，罪在不赦。牵连家小族人不说，死后又有何面目见地下先人？”
吕布叹了一口气，道：“传令三军，回师河内！卿等活命，全仗荀公达，回去之后，当登门致谢。”
然后，吕布不管於夫罗如何咆哮，如何发怒，率着人马就要回师了。临行前，告诉於夫罗，他此番将不在河内逗留太久，将率军出山阳，过蔡城，越过太行山，攻打上党。单于若还想合作，便一同行军。若单于有他意，那么也就好聚好散，就此分别。
最后，吕布看了一眼远方隐约的洛阳城。洛阳，繁花似锦的所在，可惜，不能去了。吕布并未听从荀攸信中的建议，亲身入城，觐见天子。将军离开了他的军队，离开了他的士兵，便如拨了牙的老虎，还有什么用？吕布自负勇力，也不敢拍着胸脯说在皇宫中，能空手对付一群群的刀斧手和弓箭手。还是远远的走开比较好。爵位什么的，不能当饭吃，这年月，有地盘、有军队，才有实力说话。
当张飞与夏侯惇飞奔到洛阳时，吕布和於夫罗早就过了黄河了。而吕布亲书的奏章，也摆在了皇帝的案头。
吕布在奏章中，把自己摆得很低，说昔年受董卓之惑，做了一些错事。如今翻然悔悟，是以听从朝廷听从司徒王子师之命，诛除董卓。而后凉州诸将叛，自己寡不敌众，只好出奔武关。诸侯不念新功，只记旧恶，拒而不纳，自己只好率着残军四处流浪，若不是於夫罗单于所救，自己等人只怕是早已饿死于道旁……今据河内，亦不过是想来河内就食，以养军队罢了。实无冒犯陛下天威的意思。如今自己既然让天子和诸侯不安，那么自己为了避嫌，将会退出河内。还望陛下明鉴……
“哼！吕布、於夫罗，狼子野心，天下谁人不知？若不是诸侯各遣援兵，其会退兵？”天子忿恨不已。天子今年已经十七岁，少年郎已经懂得了许多。
在他看来，他这个天子，实在是做得没意思。跟春秋、战国时的傀儡周天子差不多。虽然为天下共主，四海至尊。可是要人没人，要钱没钱，要兵没兵。除了河内、河南、河东、弘农这四郡。天下他便竟然任命不了一个县令，一个太守。更不用说州牧了。冀州韩馥要退位，竟然不请示朝廷，就直接与袁绍私下交易了；并州，袁绍说打就打了，说私命州牧就私命州牧了……自己除了事后给他们补上一道手续，以表明他们的正当性，还有什么用？
此时的天子，一想到此节，便无比痛恨起先帝和益州牧刘焉来。就是父皇胡作非为，导致天下大乱，民不聊生，地方守令与豪强勾结，不尊朝廷号令。就是刘焉，一心想着己身安危，于是在中平五年向先皇建议设州牧，以重臣出镇，以安定天下。
结果如何，现在看到了。如今的朝廷，已经完全失去了对地方、对郡一级的完全控制权。而以州为单位的大割据集团正在逐渐形成了。帝国希望控制地方的最后一次努力失败了，而且这一次决定，使得帝国在政治上的分裂趋势，更为明显。
天子自然知道，这不是什么好现象，而是要灭国的先兆。可是，他对此无能为力，只能眼睁睁看着这一切的发生。偌大的一个帝国，传承数百年，却要在他的手里，黯然收场，他的内心，又何尝不充满着痛苦和煎熬。
张飞与夏侯惇到洛阳时，吕布与於夫罗已远走。既然敌军走了，他们也自然不会再追上去打生打死抓住不放。这没有必要。当然，来了洛阳，不觐见下天子，非人臣礼。所以留军于城外，两人结伴，往大鸿胪寺报备，欲拜见天子。
大鸿胪卿对两人倒是很客气，为他们安排了馆舍，说将会尽快告之尚书台，到时天子自会有旨意下来。两位将军耐心静候便可。