事情原本要比史書記載要復雜一些，呂不韋束手就擒簡單，該如何向眾人宣布才是最麻煩的事情，呂不韋三個背后代表著無數人的利益盤根錯節，雖然已經被剪除了一部分但都是些旁枝末節，呂不韋一系的勢力依舊龐大，而且呂不韋名望頗高，想要動呂不韋沒有一個足夠服眾的理由根本行不通，很快嬴政便與李斯商議出一個絕妙的借口，按照秦法，被薦舉人犯罪，薦舉人得同坐。
嫪毐能入宮侍奉趙姬都是呂不韋一手安排的，也就說呂不韋與嫪毐兩者的關系完全符合被薦舉人犯罪，薦舉人得同坐這條。
隨后秦皇嬴政宣布罷黜呂不韋宰相職位，欲加之罪何患無辭，權貴們對秦王罷黜呂不韋相位的根本原因都心知肚明，那就是嬴政要將秦國大權收歸己有，嫪毐一事連坐呂不韋只是個借口罷了，若嬴政還用得著呂不韋絕對不會因此怪罪呂不韋，
嫪毐犯下的是誅九族的謀反大罪，按照連坐條例，他呂不韋這個舉薦人也該受到殺頭謝罪，但朝堂之上一眾大臣接反對，其中不乏資治通鑒里面記載的奏對，總之大家默許嬴政收回屬于自己的權力，并不想嬴政誅殺呂不韋，因此大部人都受過呂不韋的恩惠，其中不少人還出自呂不韋門下，嬴政雖然是帝王但也不能與朝堂所有重臣作對，在家苦苦哀求下，嬴政只好作罷，僅僅免除了呂不韋宰相職務。
大家都以為事情就這樣結束了，但呂不韋并不是一個人背后還有一個龐大的利益集團，呂不韋雖然失去相位，實際上對呂不韋的權力并沒有多少影響，因為他背后的利益集團還在，呂不韋照樣可以通過他背后的利益集團來遙控干擾朝政。
就在嬴政苦于無法將呂不韋勢力連根拔起之時，李斯再次獻上毒計，那就是之前提到過的鄭國疲秦。
其實，秦人對鄭國疲秦一事并非不知，不過大家都是明白人，鄭國修建水渠對秦國來說利大于弊，故而沒人說出來，李斯之所以在呂不韋被罷相后揪出來說，就是借著秦王惱恨呂不韋的勢頭，趁機清除以呂不韋為代表的外客集團。
不過李斯漏算了一件事，那就是秦國王室對于李斯這些外來者不滿久矣，李斯，呂不韋……等等外國之人，多年一來在朝堂上占據重要職位，三個和尚沒水喝的道理大家都懂，朝堂上的職位都是一個蘿卜一個坑，呂不韋當了丞相，那秦國實力集團自然少一位宰相，也就說呂不韋這些外來者分潤的是他們這些秦國權貴的權力！
故而當嬴政提起要驅逐一些犯錯的外來者時，朝堂上下瞬間沸騰，事情愈演愈烈逐漸超出秦皇嬴政控制，呂不韋和鄭國都不是秦國人，又先后出事，秦國宗室借題發揮說列國的人跑到秦國來，都是為他們本國打算，有的說不定是來當間諜的。他們請秦王把這些人統統攆出秦國。
秦皇嬴政也是心恨呂不韋，在大勢之下沒有多想，就采納了他們的建議，下了一道逐客令，要求大小官員，凡不是秦國人，都得離開秦國，當時李斯也在被驅逐之列。
有道是搬起石頭砸自己的腳，朝堂上這番變化讓李斯目瞪口呆，他千算萬算都沒有料到原本要燒死呂不韋的火，竟然會燒到自己身上，眼看自己的地位不保，李斯心中很是不甘，就在他離開咸陽的時候，給秦王上了一道奏章。李斯在奏章里說:從前秦穆公用了百里奚、蹇叔，當了霸主;秦孝公用了商鞅，變法圖強;惠文王用了張儀，拆散了六國聯盟;昭襄王有了范雎，提高了朝廷的威望，這四位君主，都是依靠客卿建立了功業。
李斯在奏章里又說:泰山不舍棄任何土壤，所以能那樣高大;河海不排斥任何細流，所以能那樣深廣;帝王不拒絕任何臣民，所以能顯示他們的恩德。因此，土地不論東西南北，民眾不問那個國家，一年四季都充滿美好，鬼神也降恩賜福，這就是五帝三皇之所以無敵于天下的原因。如今竟然拋棄百姓去資助敵對國家，排斥客卿以成就其他諸侯，使天下的賢士退縮而不敢向西方來，停步而不愿意進入秦國，這可就是所謂的“借給敵人兵器，送給敵人糧食“啊!
李斯的奏章言辭懇切，情意真誠，理據服人，令秦王大為感動。秦王政覺得李斯說得有道理，放棄了逐客的打算，連忙派人把李斯從半路上找回來。
逐客令廢了，重新回到秦國朝堂的李斯，依舊對驅逐呂不韋實力不死心，不過有了之前的教訓李斯做事更加謹慎。
他先是找到一位名為茅焦的齊國辯士，以他胸中帝王之術，為其推演了一番朝堂局勢，果然不期然茅焦立刻上當，開始說服了秦王釋放了因嫪毐之亂而被囚禁的趙姬。
“齊人茅焦說秦王曰，‘秦方以天下為事，而大王有遷母太后之名，恐諸侯聞之，由此倍秦也’。嬴政聽后覺得十分有道理，便將自己的生母接回咸陽，同時赦免了嫪毐的一眾門客。
不過，趙姬被釋放，呂不韋的日子就不好過了。因為嬴政始終不能忘記兩人當年因情人而發展成的政治聯盟關系。為了防止這種聯盟再度形成，秦王嬴政遂下達了一道詔令：文信侯就國河南。也就是要呂不韋回到自己的洛陽封地去，徹底離開咸陽政壇。
呂不韋回到洛陽封地后仍不知收斂，依舊大肆廣招賓客，擴大社會影響。山東六國見呂不韋功名之心尤盛，遂不斷派人攜帶重金趕去洛陽請呂不韋出山。呂不韋倒是來者不拒，對任何一位使臣都奉為上賓，只是絕口不提受聘一事。叫人不由地回憶起孟嘗君的事跡。當年，齊國孟嘗君權傾朝野，引起了齊愍王的猜忌而被逐出臨淄。