呂不韋回到邯鄲之後，繼續花錢為異人鞏固人際關係，招攬門客，異人的名聲在諸侯間也越來越大。異人當時還未娶妻，有次在呂不韋家吃飯的時候，看到了一個美人一見鐘情，就請求呂不韋將這個美女賜給她。這位美女就是趙姬，趙姬是呂不韋的小妾，身材很好，還會跳舞，呂不韋可喜歡她了。
麵對異人的請求，呂不韋心裡很生氣，想著我給你小子花了這麼多錢，你還要來搶我的小老婆，真是太過分了。但呂不韋轉念一想，已經花了這麼多錢了，現在和異人關係搞僵可太虧了，咬咬牙就答應了異人，把趙姬送給了異人。趙姬不久後生下一個兒子，取名為政，就是後來的秦始皇。所以也有坊間傳聞說，呂不韋把趙姬送給異人的時候已經懷孕了，所以秦始皇其實是呂不韋的兒子。管他是不是，反正我覺得不是，秦國的宗室製度很嚴格的，如果嬴政來路不明，肯定沒機會當上太子。
異人生下了兒子，安國君和華陽夫人聽說後也非常開心，就想讓異人回來。異人已經出名了，趙孝成王不願意放這麼個有地位的人質回去，安國君隻好拜托呂不韋去遊說。呂不韋就向趙孝成王說：“公子異人深受安國君喜愛，如今華陽夫人又想認他當兒子，將來肯定大有前途。大王您想，如果秦國真的要打趙國，也不會因為一個公子而放棄，那趙國就空有人質了。大王不如以禮相待，好好得把異人送回秦國，將來異人上位了，必定不會忘記大王的恩情。”趙孝成王覺得很有道理，就決定放異人回去。
計劃趕不上變化，秦趙長平之戰爆發，趙國慘敗，後來邯鄲被圍困，情況十分危急。趙孝成王想殺了異人泄恨，呂不韋收到消息後，趕緊花了重金賄賂了邯鄲看城門的小兵，這才帶著異人逃了出去，得以順利返回秦國。異人走得匆忙，來不及帶上趙姬和嬴政，還好趙姬原先出身在富貴人家，因此依靠娘家藏了起來。