宝臣暮年，益多猜忌，以惟岳暗懦，诸将不服，即杀大将辛忠义、卢俶、定州刺史张南容、赵州刺史张彭老、许崇俊等二十余人，家口没入，自是诸将离心。
建中二年春卒，时年六十四，废朝三日，册赠太保。子惟岳、惟诚、惟简。
宝臣卒时，惟岳为行军司马，三军推为留后，仍遣使上表求袭父任，朝旨不允。魏博节度使田悦上章保荐，请赐旄节，不许。惟岳乃与田悦、李正己同谋拒命，判官邵真泣谏，以为不可。惟岳暗懦，初虽听从，终为左右所惑而止。而所与图议，皆奸吏胡震、家人王他奴等，唯劝拒逆为事。
惟岳舅谷从政者，有智略。为宝臣所忌，称病不出，至是知惟岳之谋，虑其覆宗，乃出谏惟岳曰：“今天下无事，远方朝贡，主上神武，必致太平。如至不允，必至加兵。虽大夫恩及三军，万一不捷，孰为大夫用命者？又先朝相公与幽帅不协，今国家致讨，必命朱滔为帅。彼尝切齿，今遂复雠，可不惧乎！又顷者相公诛灭军中将校，其子弟存者，口虽不言，心宁无愤？兵犹火也，不戢自焚。
往者田承嗣佐安禄山、史思明谋乱天下，千征百战。及顷年侵扰洺、相等州，为官军所败，及贬永州，仰天垂泣。赖先相公佐佑保援，方获赦宥，若雷霆不收，承嗣岂有生理！今田悦凶狂，何如承嗣名望？苟欲坐邀富贵，不料破家覆族。而况今之将校，罕有义心，因利乘便，必相倾陷。为大夫画久长之计，莫若令惟诚知留后，大夫自速入朝。国家念先相公之功，见大夫顺命，何求而不得？今与群逆为自危之计，非保家之道也。”惟岳亦素忌从政，皆不听，竟与魏、齐谋叛。