这年五月的一天，担任禁军马军副都指挥使的张茂实，在开封街头被一名低级军士拦住了马头。据《涑水记闻》记载：有军人繁用，其父尝为张氏仆。用幼闻父言：茂实生于宫中，或言先帝之子，于上属为兄。用冀幸恩赏，即为表具言其事，于中衢邀茂实，以表呈之。这个军士叫繁用，他的父亲曾经是张景宗的仆人，对张茂实的出身状况有所了解。繁用告诉张茂实，他是真宗皇帝的儿子，当今皇帝的兄长。当时宋仁宗已经在位三十二年，张茂实以兄长身份取代宋仁宗似乎不太现实。那么，繁用凭什么“冀幸恩赏”呢?由于赵宗实虽然与宋仁宗血缘关系很近(堂侄)，但毕竟比不上本人的亲侄子。繁用的本意，大概是企图协助张茂实恢复皇兄身份，以张茂实的儿子取代赵宗实，本人也能从中捞好处。
这个繁用想必是个大老粗，不晓得赵家兄弟子侄之间骨肉相残的历史。但是他的一番“好意”却给张茂实带来无尽的烦恼。张茂实水平不高，但是却晓得本分，繁用此举颇有点大逆不道。于是“茂实惧，以用属开封府，”把繁用交给开封府(有关部门)处置。繁用以“妄言”之罪，被杖责、贬往歙州(徽州)编管。张茂实本以为，事情就这样过去了。谁知他的身份问题不断是个敏感话题，此事一出顿时谣言四起、人人皆知。朝廷只得把繁用押回京城，派人重新彻查此案。
探索网配图
七月，彻查结果出来了：繁用“素病心”(指精神不正常)、一时妄言，将其发配广南(今广西)牢城做苦役;张茂实不将此事上奏朝廷，私自流配士卒，不适合担任军队首脑。八月，宋仁宗任命张茂实为宁远军节度使、知潞州，解除了他的兵权。
张茂实在地方官任上小心翼翼、安分守己，一晃就是五年多。嘉祐四年(1059)十一月，宋仁宗将他召回京城复职。但是，朝中的御史、谏官们却抓住不放。<<宋史。韩绛传》记载：富弼用张茂实掌禁兵，(御史中丞韩绛)言：“人谓茂实为先帝子，岂宜用典宿卫?”韩绛为此事罢职后，继任御史中丞的赵概上任后第一件事，就是要求罢免张茂实的禁军首领职务。不久，赵概升任枢密副使执掌军队事务，再一次重提旧议。言官又劾奏张茂实滥用公使钱做贸易，手下士卒在外期间犯下杀人罪。张茂实在京城只呆了不到两年，就不得不自请解除兵权。嘉佑六年五月，张茂实落去军职，出知曹州(今菏泽附近)。
嘉佑八年三月辛未，宋仁宗驾崩。五月甲子，集庆节度使、知曹州张茂实上书要求改名张孜，以避宋英宗(赵宗实)旧名。从此，张茂实变成了张孜。不久，张孜病故，活了六十多岁。北宋朝廷给了他很高的礼遇，赠太尉，谥号勤惠。张孜是有幸的，由于特殊的身份，他不费力气就做到了别人难以企及的高位。张孜又是不幸的，也是由于特殊的身份，他在惊惧惶恐之中度过了十年难捱的晚年。
