碑文和志文都对高力士遭谤被贬和去世的情形作了介绍，碑文中仍然用了曲笔:“上口初避口请出口口”，前两处缺字当为“元”和“谤”，将被贬之事说成是高力士主动提出，求放外任。其实不然，安史之乱平定以后，玄宗失势。但高力士仍拥戴已为太上皇的唐玄宗，最终深为左右朝政的宦官李辅国所嫉，李辅国便勾结张良娣私下诏书，贬高力士出京。《旧唐书·高力士传》云:“上元元年八月，上皇移居西内甘露殿，力士与内官王承恩、魏悦等，因侍上皇登长庆楼，为李辅国所构，配流黔中道。《新唐书·高力士传》亦云:“上皇徙西内，居十日，为李辅国所诬，除籍，长流巫州。”《太平广记》对此事原委有更详细的记载:“玄宗为太上皇，在兴庆宫居。久雨初晴，幸勤政楼。楼下市人及街中往来者，喜且法然曰:‘不期今日再得见太天子。’传呼万岁，声动天地。时肃宗不豫，李辅国诬奏云:‘此皆九仙媛、高力士、陈玄礼之异谋也。’下矫诏迁太上皇于西内，给其息从部曲不过老弱三二十人。及中透，攒刃耀日，辅国统之，太上皇惊，欲坠马数四，赖左右扶持乃上。高力士跃马而前，厉声曰:‘五十年太平天子，李辅国汝旧臣，不宜无礼，李辅国下马!’辅国不觉失髻而下。宣太上皇浩曰:‘将士各得好生。’于是辅国令兵士咸韬刃于鞘中，齐声云:‘太上皇万福。’一时拜舞。力士又曰:‘李辅国拢马。’辅国遂着靴，出行拢马，与兵士等护侍太上皇，平安到西内。辅国领众既退，太上皇泣持力士手曰:‘微将军，阿瞒已为兵死鬼矣!’既而九仙媛、力士、玄礼，长流远恶处，此皆辅国之矫诏也。”因此，墓志中所说的“上元初，遭谤迁滴，安置巫州”，更接近事情的真相。