当梅花盛开之时，玄宗便携梅妃来到这里，赏花吟诗，恩爱无比。后来，唐玄宗又见到了杨玉环，便为她的风韵所倾倒，因为二人同擅长音乐，很快成为了知音。唐玄宗在千方百计将玉环弄到手之后，便日日与杨妃在一起，很快就把梅妃忘却了。梅妃擅长诗赋，一日，她写了一首《一斛珠》，托人带给玄宗。玄宗见诗，便想起了昔日与梅妃在一起的情景。于是，便召她入翠华西阁叙旧。不料，此事被杨贵妃探知，醋意大发，把玄宗和梅妃一番羞辱。李隆基毕竟是皇帝，怎能让贵妃如此教训，一怒之下，命人将杨贵妃送回娘家。
这件事在历史上被传得沸沸扬扬。但历史上不论是《旧唐书》、《新唐书》，还是司马光的《资治通鉴》，都没有记载有梅妃这个人，其次，我们所看到的有关梅妃的书籍，其内容是从《梅妃传》衍化而来的。而《梅妃传》一文无作者（有人认为是唐曹邺所着，并无实据。）抄录者也不知作者是何人，只知他是北宋、南宋之交的人。而《梅妃传》是最早记载梅妃其人其事的作品。其它所有关于梅妃的记载都是晚于该文，而且大多是该文的转抄，或者增加了传说部分。
其三，在《梅妃传》里有这样几句话，值得注意：“今世图画美人者，号梅妃，泛言唐明皇时人，而莫详所自也。”其意思说，当今（宋代）仕女画中的梅妃，人们只泛泛地说她是唐明皇时的人，而对她的身世却不大了解。因此鲁迅先生在《中国小说史略》中说到：“《梅妃传》一卷亦无撰人，盖见当时有把梅美人号梅妃者，泛言唐明皇时人。因造此传……”。治学严谨的文学家郑振铎也否认梅妃的存在。最后，查考唐代史籍，并未发现有高力士到闽粤选美的记载；《梅妃传》所记梅妃被贬所居之上阳东宫在东都洛阳.它与长安相距数百里，而洛阳上阳东宫又无翠华殿西阁，何以会出现唐玄宗夜召梅妃，当被杨贵妃发觉后，又怎会有梅妃“步归东宫”之事。
唐玄宗时期专门设了一个职业，叫作“花鸟使”，专管到民间搜罗美女以充实后宫。唐玄宗是个风流天子，整日和杨贵妃在一起已经玩腻了，便背着杨贵妃召幸这些女人。杨贵妃吃醋，与玄宗大吵大闹；玄宗也生气了，妃子竟然管起了皇帝的私生活，实在是不像话。于是，一气之下，下令“撵回去”。杨贵妃就这样被撵回了娘家。贵妃一走，唐玄宗突然觉得心中空落落的，很快就后悔了。当天晚上，趁着夜色，唐玄宗就派禁军将贵妃从杨家接了回来。
经过一番折腾，二人的感情迅速升温。不仅如此，玄宗还将杨贵妃的三个姐姐接到长安，封她们为一品夫人，准许她们随意出入宫门。
再次出宫
天宝九年，杨贵妃又一次被遣送回了娘家。
至于杨贵妃这次被撵的原因，《旧唐书》卷五十一天宝九载，贵妃复忤旨，送归外第。时吉温与中贵人善，温入奏曰：“妇人智识不远，有忤圣情，然贵妃久承恩顾，何惜宫中一席之地，使其就戮，安忍取辱于外哉！”上即令中使张韬光赐御馔，妃附韬光泣奏曰：“妾忤圣颜，罪当万死。衣服之外，皆圣恩所赐，无可遗留，然发肤是父母所有。”乃引刀翦发一缭附献。
玄宗见之惊惋，即使力士召还。《资治通鉴》中只有六个字“杨贵妃复忤旨。”杨贵妃忤的是什么旨呢？《杨太真外传》记载：750年，天宝九载二月的一天，杨贵妃偷偷地吹唐玄宗大哥宁王李宪的紫玉笛，被唐玄宗看见了，以忤旨又被送出宫外。贵妃出宫后，剪下一绺青丝，托中使张韬光带给玄宗，玄宗大骇，又令高力士把她召回。
这两种说法都不可信，因为宁王死于开元二十九年二十九年十一月（（742年1月15日））薨，天宝九年（750年），已经死了八年。杨贵妃不可能与死人有染。对于杨贵妃吃姐姐的醋的说法，也仅在《集灵台.其二》作者张祜：虢国夫人承主恩，平明骑马入宫门。却嫌脂粉污颜色，淡扫峨眉朝至尊出现，不足为据。而且，在天宝年间，杨贵妃和她的姐妹们关系一直不错，说明唐玄宗和虢国夫人之间是清白的。
这次杨贵妃被撵可能是玄宗给杨家的一个下马威。因为杨贵妃的得宠，杨家也跟着显赫起来。随着地位的升高，杨家便无法无天了。杨家接受招待的规格已经超出了规定的界限；大肆收受贿赂；不仅如此，他们甚至还骑到了皇室的头上。《新唐书》中记载：“出入宫掖，恩宠声焰震天下。
每命妇入班，持盈公主等皆让不敢就位，建平、信成二公主以与妃家忤，至追内封物，驸马都尉独孤明失官。”皇上的亲妹妹在三位夫人面前只能让座而不敢就坐；唐玄宗的女儿信成公主因为和杨家人有矛盾，竟沦落到追回内府封赠东西，如再不处理，恐怕整个江山都成了杨家的了。玄宗生气了，杨家就是仗着有个贵妃撑腰，于是，杨贵妃再一次被撵回了家。
杨贵妃这次被送回家，是玄宗使用杀鸡给猴看的策略，就是要灭灭杨氏家族的威风。这一招果真很灵，杨家人慌了神，可又不好出面求情，杨贵妃更是终日以泪洗面。因为，这一次唐玄宗并没有急着把贵妃接回去，而且送走之后就再没有了消息。玄宗虽然没有派人去接杨贵妃，但心中还是很想念的。
一个叫吉温的人来游说唐玄宗，正中玄宗下怀。唐玄宗立刻派人看望贵妃，还将自己的御膳分了一半给她。杨贵妃见皇帝派人来看她了，感动地泪流满面，马上伏地认错，还剪下了自己的一缕头发，献给玄宗。唐玄宗一看到贵妃的青丝，派高力士将杨贵妃接回了宫。
杨贵妃知道玄宗没有她，便寝食不安，于是更为骄纵，杨家“出入禁门不问，京师长吏为之侧目”。陈鸿《长恨歌传》记载：居易歌曰姊妹弟兄皆列土，可怜光彩生门户；遂令天下父母心，不重生男重生女。