李光被貶奉祠回鄉(xiāng)后，住在新河。當時陸游的父親陸宰建了個小亭子叫千巖亭，可以看見南山的全貌。他每次來就是一天，曾經(jīng)作詩：家山好處難尋遍，日日當門只臥龍。欲盡南山巖壑勝，須來亭上少從容。每次說到當今的事情，經(jīng)常憤怒嘆氣，把秦檜稱為“咸陽”。一天，李光坐在亭子上，舉酒杯囑咐陸宰說：“我將要被貶官到遠方去了。秦檜很忌諱我和趙元鎮(zhèn)（趙鼎）。趙元鎮(zhèn)已經(jīng)走過高山，我怎么能逃過去呢！聽說趙元鎮(zhèn)在接到遠征的命令后，哭泣流涕地告別子弟。我決不會這樣的，到那時，青鞋布襪，即日起行。”過后十多天，真的有前往藤州的命令。陸宰送他到諸暨，回家后說：“泰發(fā)（李莊字）談笑慷慨，像往常一樣。當我問到其得罪的原因時，他說‘沒有什么好問的，但秦檜終究會把國家葬送的！’”

　　李光有前后集三十卷（《宋史·藝文志》），已佚?！秲伤蚊t小集》卷一五八存《椒亭小集》一卷，清四庫館臣據(jù)《永樂大典》輯有《莊簡集》十八卷。李光詩，以影印文淵閣《四庫全書·莊筒集》為底本，參校清乾隆翰林院抄本（簡稱院本，藏北京圖書館）、《椒亭小集》（簡稱小集）等。新輯集外詩編為第八卷。清王鵬運《南宋四名臣詞集》錄李光《莊簡詞》一卷。《山陰天樂李氏家乘》稱其曾著有《易傳》十卷、《兵略》十卷、《文集》四十卷、《神仙傳》十卷。

　　據(jù)傳李光家藏有數(shù)萬卷書籍，遺憾的是其子孫不守，都散于豪民之家。元朝孔克奇在《至正直記》里說：“予至上虞，聞莊簡公光無書不讀，蓄書數(shù)萬卷。子孫不肖，且粗率鄙俗，不能保守，散于鄉(xiāng)里之豪民家矣。讀其家訓，不覺為之痛心也?！?/p>

　　《云溪雜記》稱：李莊簡公光作詩極清絕可愛，予嘗見其《越州雙雁道中一絕》云：“晚潮落盡水涓涓，柳老秧齊過禁煙。十里人家雞犬靜，竹扉斜掩護蠶眠?！焙笤谡c秦檜議不合，為中司所擊，命下送藤州安置，差密院使臣伴送，公戲贈之云：“日日孤村對落暉，瘴煙深處忍分離。追攀重見蔡明遠，贖罪難逢郭子儀。南渡每憂鳶共墮，北轅應許雁相隨。馬蹄慣踏關(guān)山路，他日重來又送誰？”亦婉而有深意。

　　宋神宗元豐元年十一月初十日（1078年12月16日）丑時，李光出身 。李光童年時不做惡作劇，其父李高稱贊他說：“我的兒子是云間之鶴，將要使我家業(yè)興旺?！崩罡呷ナ篮?，李光居喪盡禮如同成人，有人送來財物，他都謝絕了。到下葬時，禮節(jié)非常合乎禮法。守喪期滿后，入太學，于宋徽宗崇寧五年（1106年）考中進士。調(diào)任開化縣令，任內(nèi)有政聲，朝廷召他到都堂審察，當時宰相不喜歡他，任命他為監(jiān)當官，改知平江府常熟縣?；兆趯櫝贾靹业母赣H朱沖倚勢橫暴，李光囚綁其家僮治罪。朱沖大怒，諷勸部使者改調(diào)他到吳江，李光不為屈服。改任京東西學事司管勾文字。

　　劉安世住在南京（應天府），李光執(zhí)學生禮前往拜見。劉安世告訴他在司馬光那里聽到的一句話：“學問應當從無妄中入門?！崩罟庑廊活I(lǐng)會。授任太常博士，升為司封。首先指責士大夫阿諛奸佞成風，甚至援引荀卿‘有聽從，無諫諍’的話，來堵塞言路；又認為怨嗟之氣，聚結(jié)為妖氣。王黼?yún)拹核?，令吏部任他為桂州陽朔知縣。劉安世聽說李光因為議論政事被貶，寫信稱贊他。當時李綱也因評論水災一事離開朝廷，住在義興，他在水驛等候李光，親自出來喊道：“不是趙州李司封的船嗎？”逗留幾天，二人定交而別。后授任司勛員外郎，升任符寶郎。

　　郭藥師叛亂，李光知道徽宗有內(nèi)禪之意，便交出符璽，對知樞密院蔡攸說：“陛下所為，都違背眾心。今日之事，沒有皇太子就會國、家俱危?！辈特芪窇?，不敢有異舉。宋欽宗受禪即位后，提升李光為右司諫。欽宗到東方，小人離間兩宮關(guān)系，李光請求商議奉迎典禮。又奏稱：“東南財用，被朱勔耗盡了；西北財用，被李彥耗困了；天下根本之財，被蔡京、王黼耗竭了。借名應奉，其實到了私家，官府沒有半年的儲蓄，百姓沒有十天的積糧。請求根據(jù)舊制，三省、樞密院通知軍民財計，與戶部計算一年的收支，控制國家費用，選擇官吏考核，使財源歸一?！?

　　金人圍攻太原，援兵沒有立功。李光說：“三鎮(zhèn)之地，祖宗百戰(zhàn)才得到它，一旦送與敵人，怎么立國？希望詔令大臣商議攻守之策，仍暗中派人檄令河東、河北兩地，征發(fā)全部強壯兵丁策應，首尾掩擊敵人?！鄙问逃?。當時輿論主張實行王安石之政，詔令張榜于廟堂。李光上疏反對。

　　蔡攸打算趁保衛(wèi)太上皇行宮入都，李光說：“蔡攸如果入朝，則百姓必定導致變亂，萬一驚犯陛下車駕，臣會犯不預言之罪。希望早些貶斥他?！碑敃r已修治擷景園為寧德宮，而太上皇后想到禁中居住。李光說：“禁中，是天子的宮殿，正應使陛下寒暖方便，奉迎太上皇后入宮，也應當稟太上皇，交有關(guān)部門討論典禮。”便把李光的奏章，交付有關(guān)部門，讓兩宮大臣奏知，太上皇后便住在寧德宮。

　　金兵逼近京城，士大夫棄職而逃的有五十二人，罪過相同而懲罰相異，輿論紛然，李光請求交付大理寺公正處理。太原被圍，事態(tài)危急，李光上言說：“請就地委任折彥質(zhì)征發(fā)全部晉、絳、慈、隰、澤、潞、威、勝、汾八州民及本路各縣弓箭手，使守令各自統(tǒng)率。如果有土豪、士人愿意當首令的，給予他們初官、應副器甲，協(xié)力赴援。女真族劫持親王，以三鎮(zhèn)為借口，勢必深入，請大修京城守御裝備，以擊碎敵人的陰謀?！?

　　又上言說：“朱勔托口應奉脅制州縣，田園第宅，富比王室。請求選擇清廉強干官員設(shè)立機關(guān)，追究朱勔父子及奉承監(jiān)司、守令，如胡直孺、盧宗原、陸蜫、王仲閔、趙霖、宋晦等人，查根究底，計資沒收，把他們強奪的百姓財產(chǎn)還給百姓?！?

　　李會、李擢被召回任諫官。李光上言說：“蔡京再度執(zhí)政時，李會、李擢相繼為諫官，對政事不發(fā)一言；金人圍城時，與白時中、李邦彥專倡避敵割地之謀。白時中、李邦彥因此罪罷職，而李會、李擢反被召用，又加入諫諍職務之列。請求撤回成命?！睔J宗不予答復。李光請求調(diào)任到地方，欽宗也不答復。

　　彗星出現(xiàn)在寅、艮間，耿南仲等人都認為感應在外夷，不足憂。李光奏稱：“孔子做《春秋》，不記載祥瑞，是想使人君常懷恐懼從而修省政事，沒有聽說過把災異歸于外夷。”表疏上奏后，被貶任監(jiān)汀州酒稅。

　　宋高宗即位后，提升李光為秘書少監(jiān)，授任江州知州；不久，升任侍御史，都因為道路梗阻不赴任。

　　建炎三年（1129年），高宗從臨安到建康，授任他為宣州知州。當時范瓊將率軍經(jīng)過，李光先入州處理政事，范瓊到了就開城門慰勞，留住三天后離去，無人敢喧嘩。李光認為宣州離行都較近，于是修理城池，積聚軍糧，把地方百姓編冊，按保伍分編，稱為義社。選擇其中健壯者，以土豪為統(tǒng)率，得到保甲一萬多人，號稱“精揀軍”。又在二十三處險要之地設(shè)立兵營謹慎戍守，把全城分為十處地方，分別巡邏內(nèi)外，白天自由行動，晚上守城，有敵情就參戰(zhàn)。苗租按年交縣的，都送到州里。當初人們紛紛指責不方便，到守城時，贍養(yǎng)軍民，終于得以成功。政事傳到朝廷，被任命為管內(nèi)安撫，允許他見機行事，晉升為直龍圖閣學士。

　　杜充以建康降敵，金兵奪取馬家渡。御營統(tǒng)制王〈王燮〉、王珉歷來不和，到這時，率領(lǐng)潰兵在城外扎營互斗。李光親自到二人兵營，勸說他們先國家后私仇之義，二人都感悟而解。當時逃將、散卒到宣州的，李光都送給很多財物。有水師在繁昌叛亂，逼近宣州境內(nèi)，李光立即派兵殲擊，出敵不意，敵人于是連夜逃走。升任右文殿修撰。李光上言說：“金人雖然深入江、浙，但是違背天時地利，臣已送文書讓劉光世率領(lǐng)大軍到宣州，合力攻討金兵。請迅速委托宣撫使周望，約定日期水陸并進?！?/p>

　　潰將邵青從真州率數(shù)百艘艦船，在當涂、蕪湖兩縣之間剽掠，李光招撫勸說他，送給他二千斛大米。邵青非常高興，對使者說：“我們是官軍，所經(jīng)之地都把我們當盜賊對待，只有李光不懷疑我?！庇谑乔锖翢o犯。后來，船隊經(jīng)過繁昌，有人騙他說：“這是宣州境內(nèi)?！庇谑茄乇卑峨x去。

　　巨盜戚方攻破寧國縣，抵達城下，分兵四面圍攻；李光招募勇敢之士抵御，賊兵驚憂，以致自相殘殺。朝廷派統(tǒng)制官巨師古、劉晏兼程來援。敵人急攻朝京門，把竹木編起來當浮橋渡過護城河。不久，敵軍爬上城墻，把大炮架在石對樓上。李光下令把竹子編成簾狀迎著炮彈，炮彈打來就反附地下，不能傷人。取巨木做撞竿，靠凸凹的小墻抵御對樓，敵人退走。劉晏率領(lǐng)赤心隊直搗敵營。敵人假裝敗退，劉晏追擊他們，中了埋伏遇害。師古率領(lǐng)中軍大敗敵人，敵人逃走。當初，戚方圍攻宣州，與他的副職并馬巡城，商量攻城計劃。李光把信綁在箭上射到他的副職的馬前，說：“戚方是窮途末路之寇，上天必然誅殺他，你是將門之子，哪里能依附盜賊？”二人互相懷疑，攻勢稍緩，才得到時間作戰(zhàn)斗準備，而援軍到了。他曾經(jīng)把匕首放在枕匣中，與家人約道：“城不一定能保住，如果讓人來取匕首，我一定會死。你們應自殺，不要落到盜賊手中?！笔谌嗡麨榛臻嚅w待制、臨安知府。

　　紹興元年（1131年）正月，被授任為洪州知州，他堅決謝絕，任提舉臨安府洞霄宮。授任婺州知州，剛到任，提升為吏部侍郎。李光上疏極力指責朋黨的危害：“議諫大臣，各人懷有避諱顧慮之意，不肯把持危抉顛作為己任。行都在會稽，前后歷時三載。從前一年到現(xiàn)在，敵人不再有南渡意向，淮甸近在咫尺，一點也不著意經(jīng)營，長江千里，不設(shè)防備敵，每天懷著怯意細考乘船浮海之計。晉元帝區(qū)區(qū)草創(chuàng)，還能建立國家，修建宮殿，保有江、浙。劉琨、祖逖與逆胡在并、冀、兗、司、雍諸州抵抗作戰(zhàn)，這些地方從未陷沒。石季龍重兵已到歷陽，晉元帝任命王導都督中外諸軍以抗御敵人，沒有聽過專門躲避胡狄像今天這樣的。陛下駕臨會稽，江、浙是天下之根本，能夠進足以戰(zhàn)，退足以守的地方，莫如建康。建康到姑熟一百八十里，其間險要可守之地有六處：江寧鎮(zhèn)、碙砂夾、采石、大信，上游則有蕪湖、繁昌，都與淮南對境。其余都是蘆條枝蔓之地，或是奇岸險灘水勢湍急，難于行走舟船。不如預先在各險要之地屯兵積糧，命令將士分管各地，調(diào)發(fā)鄰近鄉(xiāng)兵，協(xié)力守御。請求明詔命令大臣，斟酌實行。”

　　當時有詔令，金兵攻入，各地守臣互相商量，可守可避，得以自便。李光上言：“守臣擔負人民、國家的重任，應當責之以存亡。如果預先開啟遷避之門，是引誘他們逃跑，希望追回前命?！备咦诖蛩氵w到臨安，李光受旨節(jié)制臨安府現(xiàn)時駐扎諸軍，兼任戶部侍郎，督營繕后之事。李光處理軍政適宜，不驚擾百姓而辦好了政事。奏請減免兩浙歷年積欠及九縣賦斂，以表示施德自近之意。戚方以管軍隸屬于李光節(jié)制，非?？謶?，跪拜在庭下。李光握著他的手扶起他，說：“你過去做盜賊，我任郡守，抓捕你是我份內(nèi)的事；現(xiàn)在都是臣子，應當共同勉勵忠義，不要以先前的事猜疑。”戚方感激得哭泣起來。又兼任侍讀，于是上言說：“金人侵犯內(nèi)地，百姓失業(yè)為強盜，本非其意，可以用誠意感召他們。自從李成逃到北方，群盜離心，如果此時選用一兩個盜賊首領(lǐng)，以激勵他們，一定會互相欽慕，相繼歸降。”升任吏部尚書。

　　大將韓世清本是苗傅余黨，長期駐扎宣城，擅自占據(jù)倉庫，不聽征調(diào)。李光請求先行除掉他，于是任命李光為淮西招撫使。李光假道到宣城，韓世清前來相見，李光把他捆送到朝廷受誅。當初，李光在高宗面前陳述計劃，宰相沒有事先知道，懷怒于他。他還未到任，途中任命他為端明殿學士、江東安撫大使、建安知府，壽春、滁、濠、廬、和、無為宣撫使。當時太平州士卒陸德囚禁當?shù)厥爻紦?jù)城叛亂，李光多方設(shè)計，全部捉獲叛賊。

　　秦檜被罷相后，呂頤浩、朱勝非共同任宰相，李光歷來與他們政見不合。諫官指斥他為秦檜同黨，被奪職奉祠。不久復任寶文閣待制、湖州知州，授任顯謨閣直學士，改任平州知州，授任禮部尚書。李光上言說：“自古創(chuàng)業(yè)中興，一定有所依恃而起。漢高祖依恃關(guān)中，漢光武帝依恃河內(nèi)，陛下駐扎東南，兩浙難道不是天下的根本，是可倚恃之地嗎？從冬天到春天，雨雪不停，百姓失業(yè)，請求選擇諫官考察實情予以報告。加之連年福建、湖南盜賊作亂，范汝為、楊么相繼而起，朝廷派大軍誅討，殺戮過當?，F(xiàn)在各地旱荒，流丐滿路，盜賊出入。應選擇良吏招懷撫納，責令各地監(jiān)司懲治貪贓，撫恤饑民?！?/p>

　　大臣建議把四川交子法推廣到江、浙，李光說：“有錢則交子可行。現(xiàn)在已經(jīng)聲稱籌辦多少錢，發(fā)行多少交子，提出此議的人打算讓朝廷欺騙陛下，使陛下今后不免欺騙百姓。如果已經(jīng)籌辦現(xiàn)錢，則目前所發(fā)行的錢關(guān)子，已是流暢無阻，何至議論紛紛？工部所鑄造的交子務銅印，我不敢下發(fā)?！笔谌味嗣鞯顚W士，守臺州，不久改任溫州知州。

　　劉光世、張俊接連傳來捷報。李光說：“觀察金人部署，一定有陰謀?，F(xiàn)在我方已占據(jù)東南形勢，敵人萬里來襲，利于速戰(zhàn)，應當戒令諸將持重而拖延消耗敵人。不過數(shù)月，敵人糧食耗盡，則勝券操在我方手里。”授任江西安撫、洪州知州兼制置大使，升任吏部尚書；過了一月，授任參知政事。

　　當時秦檜開始倡議和議，準備張榜告示，打算借李光的名望來壓制民心。高宗本意不想用李光，秦檜說：“李光有名望，如果一起簽名，浮議會自動停息?！北阌昧死罟狻Ｍと藯顭樕蠒罟?，指責他借依附權(quán)相謀取高官，中了敵人奸議，毀掉了平日的氣節(jié)。李光本意認為只是趁和議之機作自治的打算。后來秦檜建議撤掉河南守備，奪去諸將兵權(quán)，李光極力陳述戎狄狼子野心，和談不可依恃，守備不可撤除。秦檜憎惡他。秦檜任命親黨鄭億年為資政殿學士，李光在高宗面前當面反對；又與秦檜在高宗面前辯論，便說：“看秦檜的心意，是想堵塞蒙蔽陛下的耳目，盜弄國權(quán)，懷奸誤國，不可不察?！鼻貦u大怒。第二天，李光請求罷職。高宗說：“你昨天當面斥責秦檜，舉動像古人。朕退朝后嘆息，正要寄心腹于你，為什么要辭職呢？”李光說：“臣與宰相爭論，不可留任?！本糯紊险抡埱?，便被授任為資政殿學士、紹興知府，改任提舉臨安洞霄宮。

　　紹興十一年（1141年）冬，御史中丞萬俟卨指責李光陰懷怨恨，貶職為建寧軍節(jié)度副使，安置在藤州。

　　紹興十五年（1145年），移置瓊州。

　　紹興二十三年（1153年），李光在瓊州八年，次子李孟堅因被陸升之誣為私撰國史，被立案；呂愿中又告李光與胡銓詩賦唱和，譏謗朝政，移置昌化軍。他議論文章考證歷史，怡然自得。年過八十，筆力精健。

　　紹興二十八年（1158年），因郊祭之恩，復左朝奉大夫，任其自便居住。

　　紹興二十九年（1159年），致仕，于四月三日（4月22日）在江州去世，年八十二。

　　宋孝宗即位后，追贈李光為資政殿學士，賜謚號為“莊簡”。

　　嘉定十五年（1222年），郡邑立李光祠于學，以配先賢，四季祭享。