唐玄宗在东都洛阳，宫中闹鬼怪。
第二天，玄宗召集宰相们上朝议事，说自己想回驾西京长安。宰相裴稷山、张曲江劝阻说："老百姓现在正忙于收割打场，请皇上等候到冬闲时再回驾西京吧。"
当时，李林甫刚刚升任宰相。他心中暗暗体察到玄宗欲回驾长安的原因，待到退朝时，他假装脚瘸留在后面。玄宗皇帝问："脚怎么瘸了？"李林甫回答说："我的脚没有病，不瘸。我是想单独向皇上谈谈我对回驾西京的看法。"于是李林甫对玄宗皇帝说："洛阳、长安二京，乃是皇上的东宫与西宫。皇帝要上哪宫，难道还用选择日子吗？如果会妨碍百姓们收割、打场。单独免去他们的过路赋税就可以了吗。我请求皇上允许我指示有关部门，说皇上马上就回驾西京，您看如何？"
玄宗皇帝非常高兴。就在这一天回驾长安，再也没有上东都洛阳来。过了十多天，裴耀卿、张九龄（按：即裴稷山、张曲江。）都被免除宰相职务，玄宗皇上提升朔方节度使牛仙客为工部尚书同中书门下三品领朔方节度使。
李林甫居相位十九年。在这十九年中，凡是才干、名望、功业高于他的人，以及皇上看重的人，他都百般设计除掉。因此，自皇太子以下，没有不感到恐惧的，连大气都不敢出。
玄宗皇帝刚刚即位时的开元初年，所用的姚崇、宗璟等一些老臣，多数人都向皇上推荐日后能替代自己为相的人。用以谋得国家太平，百姓康乐。他们知道，国家治理好了，皇上的心也就安了。宰相张九龄是玄宗皇帝亲自选拔重用的人。
在历任宰相中，张九龄是资历较浅、也较年轻的一位。但是他为人正直，多次直言冲撞玄宗皇帝。玄宗一怒之下，罢免了他的宰相，贬降为荆州长史。玄宗皇帝雄才大略，为人豁达，用人不疑。在晚年得到李林甫这样的一位谄媚的宰相，从来不说玄宗皇帝不爱听的话，这才养成了皇上听不得逆耳忠言的习惯。玄宗皇帝宠爱倚重李林甫。
自从李林甫为宰相后，玄宗皇帝就深居在宫帷中，贪恋声色，恣意享乐。大臣以下的人，很少有机会见到玄宗皇帝，更谈不上跟皇上讲对国家大事了。不论大事、小事，都一律责成宰相李林甫去办理。李林甫虽然不通晓词赋文章，然而对官场上的事情却精明干练，恪守原有的纲常法纪，就是你再有奇才异学的官员士人，也没有破格提拔任用的门路，一切都按常轨办事。
李林甫为人阴毒残忍，随意迫害人。从未有表露过喜爱谁与憎恨谁。玄宗皇帝左右的人，就连为皇上掌管烹饪的小吏，和做粗活的仆役，他没有不笼络收买的。因此，皇上的一举一动，他马上都知晓。李适之刚任宰相时，行事疏乎而不慎密，被李森甫设下圈套出卖了。
一次，李森甫对李适之说："华山下面有金矿，开采了可以给国家增加财富。但是皇上并不知道啊。"李适之相信了他的话，日后，将此事上奏玄宗皇帝。玄宗皇帝非常高兴，征询李林甫。李林甫说："我很久以前就知道华山底下有金矿。但是华山是皇上的本命啊。王气所在，不可以开采金矿。因此，我不敢向皇上提起这件事情。"玄宗皇帝从此特别轻视李适之，对他说："从今以后，凡是向我奏请的事，事先跟林甫商议一下，不要太轻佻随便了。"从此，李适之的手脚被束缚住了，再也不能单独向玄宗皇帝奏事。
李林甫在任宰相期间，凡是不是经他引荐的人，都想方设法查找你的错处，将你排挤出去，或者罗织罪名将你杀掉。由此，他的声威震动海内。所有的谏官都老老实实地拿着俸禄维持生计，谁也不敢纳谏议论朝政。补缺杜中犹不信邪，再次上疏玄宗皇上。第二天，就被贬黜为下邽令。李林甫召集诸位谏官说："现今，上有圣明的皇帝，我们当臣子的，按照皇上的正确旨意办事还来不及呢，何用你们多嘴多舌。你们没有看到御苑内那些供仪仗使役的马吗？整天老老实实没有一点响动的，可以吃到三品的草料，只要哪匹马稍一鸣叫、不听使役，立即赶出去。从今后，你们谁再随意向皇上奏疏，他的下场就象那匹鸣叫不听使役的马一样。"
从此，向玄宗皇上纳谏提意见的道路则被堵死了。李林甫到了晚年时，结下了许多的冤仇。他非常惧怕有仇人报复。因此，每次出行都广置车舆仆夫，派许多宫中卫士将前边百步之内的人群驱散，在两旁警卫。他居住的府第都用砖砌屋，用木板做围墙，派出许多家将仆夫日夜警卫，如临大敌。他就这样的设防保护自己。
从前。历任宰相出行过街，不过有三五个侍从随行而已。士人百姓也无需在道两旁躲避。而设置骑从上百人在左右护卫，让公卿以下的人都得躲藏退避，是从李林甫开始的啊！
