朝鲜以前入贡都是从鸦鹘关进来,这时要求改从鸭绿江进入。尚书准备答应其请求,刘大夏说:“鸭绿江的通道,祖宗朝岂有不知的,而从鸦鹘关开道迂回几个大镇,这恐怕另有深意。不能批准。”此请未获明政府同意。宦官阿九的哥哥任京卫经历,因犯罪被刘大夏处以笞刑。阿九怀恨在心,宪宗听信了其对刘大夏的诬陷之言,将刘大夏抓起来下到诏狱,经东厂侦察无所得。赶上怀恩极力相救,被判杖二十而释放。
大夏听说父亲去世,一宿就动身奔丧。 弘治二年(1489年),刘大夏服满,调升广东右布政使。田州、泗城不安定,刘大夏前往告诫,事情很顺利地解决了。后山贼起,刘大夏奉檄文讨伐。他令部下只许活捉,验明为贼才杀,有一半人获得生还。改为左布政使,调往浙江。
弘治六年(1493年)春,黄河在张秋堤防决口,皇帝下诏博选才臣前往治理。吏部尚书王恕等推荐刘大夏,提升刘大夏为右副都御史前往。到职后,在黄陵冈疏通贾鲁河,又疏通孙家渡和四府营上游,以分水势。从胙城经过东明、长垣到徐州修筑长堤,共三百六十里长。水灾得到根治,张秋镇改名为“安平镇”。孝宗嘉奖刘大夏,赐玺书褒奖他。召他为左副都御史,任职户部左侍郎。
弘治十年(1497年)刘大夏受命兼佥都御史,前往宣府处理兵饷。尚书周经对他说:“塞上有权势家族的子弟以买卖粮食谋取私利,你不要因刚直招祸。”刘大夏说:“处理天下事,以理不以势,待我到后解决。”当初,塞上必须粟千石方能买入、草万束才得收进。由此宦官、武臣得以操纵市场,获取厚利。刘大夏下令有粮草的,草百束、粟十石以上都准许买卖,权势之家想牟利也落了空。不到两个月府仓储积有余,边人蒙受其利。弘治十一年(1498年)秋,刘大夏连上三疏称病辞官,归乡后在东山下筑草堂,在堂中读书。弘治十三年(1500年),廷臣纷纷举荐刘大夏,起任右都御史,统管两广军务。奉旨使者上门,刘大夏带二僮仆起程。两广人故来思念刘大夏,得知他即来任职都欢欣鼓舞。刘大夏到任后,清理吏治,减免官费供应,禁止镇守官私自役使军士,盗贼因此逐渐减少。
弘治十五年(1502年)刘大夏任兵部尚书,屡次推辞不掉才接受。不久,孝宗召见他,孝宗说:“朕数次任用你,你数次称病而去是为什么?”刘大夏磕头说“:臣年老又有病,看见国家民穷财尽,倘若有所不测,责任在兵部,自己估量力不从心,因此而辞。”孝宗听了沉默不语。南京、凤阳大风将树拔起,河南、湖广发生水灾,京师久雨成灾。刘大夏奏请凡属非祖宗留下的旧制而危害军民的,一一列举呈上革除。弘治十七年(1504年)二月,又奏请。孝宗命有关部门呈报所应实行与该革除的事例,有关部门全都按实奏报,时逢廷臣奏陈十六件事,都是对权贵所不利的,因此权贵们极力阻止,孝宗拿不定主意,下廷议再讨论。刘大夏等说:“事属朝廷外官,全都批准。稍稍涉及权贵,又令讨论核实。臣等很愚蠢,不知为什么?”许久,才得旨“:将传奉官的姓名奏疏上报,幼匠、厨役月每减米三斗;增设宦官、司礼监核实奏告;四卫勇士,御马监将名册报来。其余全照前次所议办理。”织造、斋醮都停办,仅俸禄就节省很大数目,而勇士虚报冒领之弊也大为减少。皇帝的命令一下,举朝欢悦。先前,外戚、近幸都不是以功受爵,而是出于皇帝的私恩,孝宗深知这样于政有害,发奋振作朝纲。因灾异多次出现,又告谕群臣,令各陈朝政的过失。刘大夏又奏陈数事。
弘治十五年(1502年)六月刘大夏第二次奏陈兵政的十害,并且要求辞官回乡。孝宗不答应,要他将各应该革除的弊端更详细地全部奏闻,于是,刘大夏举出南北军队陆路水路轮流值班运粮的劳苦,以及边军困倦疲惫、边将克扣的情况全都奏报。孝宗于是在便殿召见刘大夏,问道:“卿先前说天下民穷财尽。祖宗以来征收有常法,为什么现在这样?”刘大夏回答“:就是说没有按常法征取。如向广西每年取铎木,从广东取香、药,花费以万来计算,其他就可想而知了。”孝宗又问到军队,他回答:“与百姓一样穷。”孝宗说:“居有月粮,出有行粮,什么缘故会穷?”刘大夏答道:“其帅克扣超过一半,怎会不穷?”孝宗叹息道:“朕执政这久,还不知天下军民贫困,怎样做人君!”于是下诏严禁。当时,孝宗正锐意太平,而以刘健为首辅,马文升以兵部尚书领导六卿,一时正人君子占据各个部门。孝宗察知刘大夏正直严谨,并且办事熟练,尤其信任他。数次召见他判别事情,刘大夏也在各事上为皇帝尽力。
大同发生小的战事,孝宗听信宦官苗逵的话,准备出兵。内阁刘健等竭力劝阻,孝宗仍犹豫不决,召刘大夏问道:”卿在两广,知道苗逵捣毁延绥巢穴的功劳吗?”刘大夏答道:“臣听说,俘虏十几个妇女儿童而已,托朝廷威德,全师返回。不这样的话,后果就难说了。”孝宗沉默好久,问道:“太宗频频出塞,现在为什么不行?”刘大夏回答“:陛下的才干固然不比太宗差,而将领士马远不及太宗时期。如果淇国公稍许违背节制,将数十万兵众委之于沙漠,怎么能说是容易之事。臣揣度现在上策只有防守而已。”都御史戴珊也从旁边表示赞同,孝宗醒悟地说:“要不是你们劝说朕几乎误了大事。”于是果然没再出兵。
庄浪土著首领鲁麟任甘肃副将,求升大将不成,恃其部众强,擅自回到庄浪。廷臣担心其生变想授鲁麟大帅印,又想召他回京师,安置在不紧要的地方。大夏请求奖励其先世忠顺,而听任鲁麟闲居。鲁麟向来凶狠残暴失去众人之心,没有兵权无法有所作为,最后闷闷不乐而病死。
孝宗要在京城附近驻兵作为左右辅佐,刘大夏说:“保定设都司统率五卫,祖宗之意也是如此。请遣还操练军士,一万人作为西卫,将驻扎在密云、蓟州的军队作为东卫。”孝宗批准了。监督京营的宦官怨恨失去兵权,在宫门上贴小字报。孝宗以此给刘大夏看,并说:“宫门外人岂能进来,必定是某些不愿失去兵权的人所为。”由此,阴谋未得逞。
孝宗曾经对刘大夏说“:遇到事情总想召卿来商量,又担心超越卿职权范围而作罢。以后有事情的实行或罢止,卿用揭帖(文书)呈上来。”刘大夏磕头说“:对事情的决定,外边的交付政府部门,内部的向阁臣咨询就行了。揭帖易滋长弊病,不可作为后世效法。”孝宗称好。又曾问“:天下何时太平?”刘大夏答道“:求治不能太性急,不过用人行政全都与大臣面议,恰当的再实行,时间长了天下自然太平。”刘大夏曾经趁机提到四方镇守宦官的危害。孝宗询问详情,刘大夏答道:“臣在两广见到诸文武官的供应比不上一个镇守,其耗费可知。”孝宗说:“祖宗设置这些已很久,怎能一下子革除。不过从现在开始必须像郑原、麦秀那样廉洁的才能任用,不然则罢免之。”刘大夏磕头称好。刘大夏每次被召见,跪在御床前,孝宗往左右一看,近侍都退避走了。刘大夏曾有时回答问题时间长了,疲惫得起不来,孝宗就喊司礼太监李荣扶他出去。一天早朝,刘大夏本该当班,孝宗碰巧没见到他,第二天告诫刘大夏说:“卿昨天未上朝吗?担心御史纠察,没有立即召见您。”其受孝宗宠爱如此深。特别赐他玉带、麒麟服,送金币、上等醇酒,岁时不断。
不久,孝宗去世,武宗即位,刘大夏奉遗诏请求撤去非定额内的四方镇守宦官。武宗只撤去均州齐元。刘大夏又主张应撤去镇守宦官二十四人,又奏减皇城、京城守卫宦官,都未被接受。不久,刘大夏列举应当淘汰的传奉武臣六百八十三名,被批准。大汉将军薛福敬等四十八人也该削去官职,薛福敬等故意不入宫侍奉来激怒武宗。武宗立即命恢复薛等官职,而要求兵部回答详情,意欲加罪。宦官宁瑾磕头说:“这些是先帝遗命,陛下列入登基诏书,不宜问罪。”武宗才放弃追查此事。宦官韦兴在成化末年因有罪被长期罢官,这时靠巴结得以镇守均州。言官纷纷谏阻,刘大夏等再三争辩,武宗都不理。正德元年(1506年)春,刘大夏又奏道:“镇守宦官,如江西董让、蓟州刘琅、陕西刘云、山东朱云贪婪残暴尤其厉害,请求审查惩处。”武宗不高兴。刘大夏知道自己意见不被采纳,数次上奏章请求辞官。 刘大夏忠实诚恳,为孝宗所信任,忘我报国,对权贵近幸多行抑止。曾经要求严格考核勇士,为刘瑾所恨。刘宇也恨刘大夏,就与焦芳一起在刘瑾面前进谗言道“:抄刘大夏的家,可得边费的十分之二。”三年九月,借田州岑猛的事,将大夏逮捕下到诏狱。刘瑾要以激变罪判大夏死刑,都御史屠氵庸不同意,刘瑾谩骂道:“即使不死,可以不去戍边吗?”李东阳从中调解,刘瑾探知刘大夏家贫穷,就判其到最偏僻的边境戍边。起初拟戍广西,焦芳说:“是送他回去吗?”于是改戍肃州。大夏已有七十三岁,穿着布衣徒步经过大明门磕头而去。观者都叹息流泪,父老百姓携筐送吃的,大夏所到之处,人们为之罢市、烧香祝刘尚书生还。等到了戍所,各部门怕得罪刘瑾,不送食品不来慰问,儒学生徒送吃食给他。一到操练,刘大夏总是扛戈站进队伍。主管人再三推辞,刘大夏说:“军人本来就该服役的。”他只带来一个仆人。有人问他为什么不带子孙,他说:“我为官时,不为子孙捞好处。现在年老被罚,怎忍心令他们同我一起死在戍所呢?”刘大夏已经遣去戍边,刘瑾还借其他事二次罚他送米塞上。
正德五年(1511年)夏,刘大夏被赦免返乡。刘瑾被诛杀,恢复他官职,后退休。清军御史王相请求恢复刘大夏月粮和年役,录用其子孙。主事的宦官始终恨他,不答应。刘大夏回家后,教子孙种田谋生。稍有盈余,就分送给故旧宗族。预先自作墓志铭,并说“:不要让人用饰美之词,让我怀愧于地下也。”正德十一年(1517年)五月去世,享年八十一岁。追赠太保,谥号忠宣。