景祐三年(1035年)三月，范仲淹由苏州调回汴京，授礼部员外部，天章阁待制，并兼职国子监。重新回到朝廷，并以极大的胆识为郭皇后申张了正义。
事情虽然已经过去了，但吕夷简因为曾经和阎文应一起密谋，心中有鬼，害怕有一天会牵连到自己，对于范仲淹重回朝廷，心里十分紧张。他清楚，如果让范仲淹这样一个敢冒天下之大不韪的人留在皇上身边，将来总有一天会危害到自已。
于是他暗中派手下人劝告范仲淹说：“你现在是侍从官，不是谏官，用不着每天操心议论国家大事，不是份内事就不要管了。好好做你的侍从官”。
范仲淹听出了来人的用意，当即对来人说：“议论国家大事，正是为臣的本分，我怎么可以失职呢？”
吕夷简见一计不成又生一计，便一再向皇帝推荐，让范仲淹升任吏部员外郎，代理开封知府，相当于担任今天的北京市市长。
开封府地处京师，是个人际关系错综复杂、最难治理的地方。吕夷简此举一箭双雕，认为这样做既可以把范仲淹调离身边，免除麻烦，又能够让开封府那繁杂的政务缠住他，也便于寻找机会找他的错处，这样就可以明正言顺地罢免他的官职。
谁知范仲淹到任几个月后，便把开封府治理得井井有条，京城“肃然称治，风清气正，面貌焕然一新”。吕夷简诡计未成，弄巧成拙，反而提高了范仲淹在京师的名望。
范仲淹任开封知府期间，有一天，派二子范纯仁将一船五百斛的麦子运往苏州老家。
在丹阳停留时，范纯仁偶然遇到父亲的好友大文学家石曼卿（后任右班殿直、太常寺太祝，累迁大理寺丞、官至秘阁校理、太子中允等职），当时石曼卿家中连遭不幸，自己又屡考不中，几位亲人相继离世，生活极度贫困，他想安葬亲人之后再回乡，因为没有盘缠而寸步难行。
范纯仁得知这一情况后，不加思索地就将整船麦子赠送给了石曼卿，帮他渡过难关。
但石曼卿还是愁眉紧锁，范纯仁就问：“石先生如还有为难之事，不妨说来听听？”。
石曼卿很羞愧地说：“我的两个女儿大了，都已经找了婆家，可是我身无分文，没有嫁妆无法出门？”
范纯仁爽快地说：“石先生不必忧虑，这有何难？只需将我的船只卖掉，嫁妆钱也就有了。”石曼卿连声道谢，范纯仁则两手空空回了家。
范纯仁处理完事回到开封，范仲淹就他空手而归，知道一定有事，便问范纯仁发生了什么事？
范纯仁将来龙去脉告之父亲，讲他在途中遇到了石曼卿。因为石曼卿太困难了，所以就决定把五百斛的麦子全卖了，去资助他，说到这里，又说：“但是钱还是不够。”听到这里，范仲淹就抬起头来笑着问儿子范纯仁：“结果，你后来把船也卖了，把钱借给他了！”
范仲淹一生勤政爱民，体察民情。范仲淹在开封府审理了很多案子，也纠正了很多错案，受到了广大民众的敬仰。当时在群众中流传着“朝廷无忧有范君，京师无事有希文(范仲淹字希文)”的民谣。范仲淹在开封期间，还常到皇帝那里去，与皇帝谈论“为政之道”，皇帝对他的议论很欣赏。
当时，宰相吕夷简已是一人之下、万人之上，把持着朝政，整天就想着怎么整人，怎样欺上瞒下争权夺利，任人唯亲，发展自已的党羽势力，凡是自己的门生、亲信就一个个都破格提拔起来，弄得朝风很坏。
那些一心想升官发财的势利小人，都象苍蝇一样争相投奔于吕夷简门下。吕夷简专门提拔这些人作为自己的心腹，以巩固自己的统治地位。
范仲淹看在眼里，急在心里，决定选择机会，亲自向仁宗皇帝上书《百官升迁图》，当着众朝臣的面历数吕夷简培植党羽，任人唯亲，企图把持朝政的丑恶行为。
但是，宰相吕夷简势力庞大，又受皇帝信任，公开指责当朝宰相滥用私人，奏章一上，后果很难预料，甚至会招来杀身之祸。
上奏章的前夜，范仲淹一个人坐在书房里沉默了很久，他回想起自己的从前，历经寒窗苦读，风雨几十载，几进几出朝廷，好不容易才又得到皇帝信任重用，而现在他又要“逆龙鳞，触龙须”，做傻事，这样做，真的值得吗？可是这时候，他又想起自己曾经发下的誓言，“要立志救国救民，报效朝廷，先天下之忧而忧，后天下之下而乐”。难道这一切自己都忘了吗？想到这里，他更加坚定自已的想法，要把吕夷简拉下来。
他把长子范纯佑叫到面前，对范纯佑说：“明日早朝，为父要上奏《百官升迁图》。揭发吕相滥用权力，任人唯亲的行为。如为父有什么三长两短，你就奉母携弟，返回苏州，在天平山下种田读书，清白自守吧。”
第二天早晨，崇政殿上，仁宗皇帝赵祯端坐在龙座之上，文武官员分站大殿两侧，殿堂内威严肃穆，司礼太监以清亮圆润的嗓音喊道：“皇上有旨：列位大臣，有本奏来，无本退朝。”
朝堂上一片寂静。一会儿，司礼太监正要宣布退朝。这时，正见范仲淹一手持笏，一手捧着《百官升迁图》奏章，步履从容，走上前来。行到龙廷前下跪叩头：“启禀圣上，臣范仲淹叩见吾皇万岁，万万岁！”
宋仁宗从龙椅上往前倾了倾了身子，说道：“范爱卿，快平身。卿在开封府，兢兢业业，革除弊治，肃风正气，政绩卓著，开封府井井有条，百姓安居乐业，辛苦了，朕早有所闻。”
他急于事毕，可早些回内宫游玩，接着便说：“卿有何本奏？即从速奏来，”
范仲淹不慌不忙从容地说道：“臣有二事启奏。其一，今年以来，淮南暴发大风大雨，数州遭遇洪灾，田地被淹灭，颗粒无收，数十万灾民饥寒交迫，正在仰望朝廷的赈灾救助。”
仁宗帝脸色听罢，不快地说：“淮南灾情严重，朕已知道。”
范仲淹跪下奏道：“陛下，救民如救火，望陛下体恤黎民之苦，速派朝廷大员赶赴淮南灾区，开仓放粮，赈济灾民!”
仁宗帝犹豫了一会儿，说道：“只是现今朝廷国库空虚，存粮有限，赈济一事。只怕一时难以解决？”
范仲淹激动地大声高奏道：“陛下，此事非同小可，刻不容缓，天下苍生，都是陛下的子民，试问陛下宫中如半日无食，又当如何处理？”
范仲淹的一席话，令众大臣大惊失色，谁也不敢插话。这时，宋仁宗眉头紧皱，沉默不语，过了好一会儿，这才一字一顿地说道：“联知道了，着三司使迅速筹备赈灾事宜。”
他转向其他大臣，问道，“众爱卿，还有何事?”
这时，范仲淹又双手捧上奏章，双膝向前朗声道：“陛下，臣还有本奏，今日献上民间流传的《百官升迁图》，请陛下过目，以正朝纲，以清吏治。”
太监接过奏章，呈给皇上，仁宗帝极不情愿地接过《百官升迁图》奏章，看着看着，脸色越来越难看，百官一看这阵势，估计今天朝堂上要出大事了，都为范仲淹捏着一把汗。
只见仁宗突然将《百官升迁图》往龙案上狠狠一摔，勃然大怒，指着范仲淹的鼻子大骂道：“大胆范仲淹，竟敢指责联的不是，你说朕放任吕丞相任人唯亲？难道联是昏君吗？朕有何私？吕丞相何以不公？”
朝廷上众官员的目光都集中到范仲淹的身上，此时，只见范仲淹以极其平静的语气奏道：“请陛下息怒，今吕相任人唯亲，攀龙附凤之纨绔子弟，均窃踞高位，焉知黎民百姓之苦？焉知功名来之不易？如何为朝廷尽忠效力。
此辈实非朝廷之福。列祖列宗，创业不易，选拔人材，任贤举能，近贤臣，远小人，方能永保我大宋江山千秋万代!”
仁宗暴怒道：“如此说来，难道朕败坏了祖宗大业吗？”
这时，宰相吕夷简趁机启奏：“启奏陛下，范仲淹诽谤圣上，咆哮朝廷，离间君臣，越职言事，实非贤臣所为，应予严惩！”
吕夷简的心腹大臣更是迎合吕夷简主意，为吕夷简摇旗呐喊助威，要求皇帝以结朋党之罪，下旨严惩范仲淹。
就在此时，大臣欧阳修、余靖、包拯等人，纷纷挺身而出，为范仲淹辩解，有的大呼：“若范仲淹因忠言而获罪，臣等愿与之同罪！”
见大臣们乱作一团，仁宗一时也失了分寸，勿勿忙忙下令退朝。最终，宋仁宗还是听信了吕夷简等人的一面之词，认为范仲淹以下犯上，罪不可恕。
第二天上朝，太监高声宣读仁宗的圣旨：“皇上有旨，查范仲淹、余靖、欧阳修等人，结党营私，诽谤朝政，贬范仲淹知饶州，余靖监筠川酒税，欧阳修知夷陵县……。”
宋仁宗盛怒之下，遂将范仲淹以“朋党“论处，范府当日即被禁军查抄，范府大小几百人口被勒令逐出京城。范夫人李氏素来胆小，遭受到如此大难，一时难以承受，不久便含恨死去，为范仲淹留下三男二女，大的才十三岁，小的才四、五岁。此时的范仲淹，面临着官场失意和中年丧妻的双重痛苦，再次陷入人生的绝境。
这件事在朝廷内部引起了一场轩然大波，很多正直的官员都纷纷表示不满，为范仲淹鸣不平，因而也受到牵连被贬。
诗人梅尧臣也赋下一首《啄木乌》诗，讽讥时政，声援范仲淹，诗中写道：
城头啄枯杨，城下啄枯桑。
朝啄不停咮，暮啄不充肠。
寒风正洌洌，蠹穴虫且殭。
况兹园林迥，剥剥响何长。
他在这首诗中，把范仲淹比喻成啄木鸟，虽然吸尽了林中的害虫，却得罪了树木的主人，不幸的是被主人射落在落日的余晖中，是多么可悲的一件事啊。