仕途开端
程钜夫的祖先自徽州徙郢州京山。程钜夫五岁就学，由于长辈谆谆教诲，家学渊源深厚，他从幼年时代开始就显得出类拔萃，文思敏捷，过目成诵，十七岁开始从学于龙渊先生胡自明，十九岁开始游学于临川临汝书院，从学于徽庵先生程若庸，和翰林学士吴澄是同窗，都是教育家李燔的三传弟子。
叔父程飞卿于宋恭宗德祐元年（1275年）任建昌军（今江西南城县）通判，程钜夫随其叔父来南城寄居。
德祐二年（1276年），元军将攻南城，程飞卿献城降元，因程钜夫是叔父的嗣子，作为人质进京。
至元（1264年—1294年）年间，授宣武将军、管军千户。元世祖忽必烈曾召见他，问他南宋贾似道为何许人。他应对极详，忽必烈甚喜；忽必烈让他书写笔札以观其才能，他立即写了二十多幅笔札呈上，忽必烈很惊奇，问他担任何职，他禀告说是一千户。忽必烈对近臣说：“朕观此人相貌，已应贵显。听其言论，的确聪明有见识，可安排为翰林。”不久，求相火礼霍传旨召他至翰林院，因见他年轻，就任命他为应奉翰林文字。忽必烈嘱咐他：“从此国家政事得失，及朝臣邪证，都应该为肤言之。”他顿首谢恩说：“臣本疏远之臣，蒙陛下知遇之恩，敢不竭力以报答陛下。”程钜夫耿直敢言，深得忽必烈信任。不久后，升为翰林修撰，再任集贤直学士，兼秘书少监。
展露头角
程钜夫是元朝开国以来最先得到重用的南人之一，这与其机遇、才能、忠诚、通晓典章制度，且又熟悉江南情况、能与南宋遗民沟通感情是分不开的。
当时元朝廷将人分为五等，一为蒙人，二为鲜卑人，三为色目人，四为汉人 （中原一带汉人），五为南人，即江南一带的汉族人，本来南方汉人文化程度较高，但因原在南宋境内，元朝政府就有意去压制、歧视。
为改变这种局面，至元十九年（1282年），程钜夫奏陈五事：
一、取会江南仕籍；
二、通南北之选；
三、立考功历；
四、置贪赃籍；
五、供给江南官吏棒禄。
这五件事是为了争取江南人与北方人有同等选拔提升的机会，享有同等待遇的权益，并制定章程，不管南人还是北方人，都应同样因功而获奖赏，因贪赃枉法而受惩罚。朝廷基本上采纳了他的建议。
至元二十年（1283年），加翰林集贤院学士、同领会同馆。
至元二十三年（1286年），他当面向忽必烈提出：“首先应兴建国学，请求派遣使者到江南去，搜访遗逸。御史台、按察司都应参酌使用南北之人。”忽必烈欣然同意了。次年，立尚书省，忽必烈下诏以他为参政政事，他一再推辞。忽必烈计划任命他为御史中丞，台臣说：“程钜夫是个南人，况且年轻，不可重用。”忽必烈大怒说：“你没有用过南人，怎么知道南人不可用。自今省部台院都必须参插用南人。”于是程钜夫仍以集贤直学士职，加拜侍御史台事，不久，朝廷派他奉诏往江南一带徵访贤能。
起初，书写诏令都是用蒙古文字，自决定派人到江南搜访遗逸以后，忽必烈特地命令可以用汉字书写诏令。临行时对程钜夫说：“早就听说赵孟頫、叶李二人有名望，请务必招此二人来。”程钜夫到江南以后，除招致二人进京外，又举荐了余惩、万一鄂、张伯淳、胡梦魁等二十余人，均一一安排了台宪及文学之职。程钜夫回到朝廷后，将他在民间所看到的治政利病上奏给忽必烈，希望朝政有所改进，这在客观上，有利于阶级矛盾的缓和。由于推荐南人出仕的措施与他礼贤好士、兴儒重文的态度与行动，大大缓和了蒙汉之间的民族矛盾，也使蒙人逐渐接受了汉人的高度文化。后来元朝廷能够恢复科举、编修图书等文教事业，莫不与程钜夫的意见有关。
至元二十四年（1287年），元朝复设中书省，授程钜夫为参知政事，他坚辞不就。又命其为御史中丞，言官认为程钜夫是南方人又年轻，不宜重用。忽必烈斥之，并规定各部院必须选用南人。遂以集贤院直学士拜侍御史，行御史台事。程钜夫奉诏前往江南求贤，并以汉字书写诏书。经其荐举，赵孟頫、吴澄等二十余人均被安置台宪或文学之职。还朝，奏陈民间利弊五事；授集贤学士，仍还行台。
得授重任
至元二十六年（1289年），丞相桑哥专权，法令苛急，四方骚动。程钜夫时任江南行台御史，他毅然入朝上疏，请求弹劝桑哥。他面见忽必烈，直言：“臣听说天子之职，最重大的事就是选择宰相。宰相之职，最重要的事就是迸贤任能，如果不以进贤为急务，只是用心事在增殖财货上，这就不是为上为德、为下为民之意。从前汉文帝向相国周勃问及刑狱与钱谷事，周勃回答不出来。推说，刑狱事应问廷尉，钱谷事应问治粟内史。汉文帝不悦，因为宰相要上理阴阳，下顺万物之宜，对外镇抚四夷，对内亲附百姓。这是宰相的职责。如今权奸用事，所任命的官员，大多是贪财邀利之人，江南一带，盗贼不断，就是因此之故。臣认为应罢除贪利之官，推行恤民之事，这对国家是大有好处的。”桑哥闻知大怒，将他竭留京师，不放回江南，并六次奏请杀他，忽必烈均未准许。
至元三十年（1293年），程钜夫出任闽海道肃政廉访使。他兴办学校，注重教化，一时僚吏畏其严明的法纪，百姓爱戴这位慈善的长官。
大德四年（1300年），调任江南湖北道肃政廉访使。到任后，首先就整治了行省平章事家中一个祸害百姓的家奴，引起了震动，一时上下法纪肃然。其时，他注意选拔人才。如龙兴富城（今江西丰城）人揭傒斯，刻苦好学，这时正在漫游湘汉，程钜夫听说有这样一位好学的年轻人，立即召见他，诵其诗文，大加赞赏，经他推荐，揭傒斯出任国史编修官，累官至翰林侍讲学士，并在文史方面颇有成就。
大德八年（1304年），程钜夫被拜为翰林学士，参与中书省议事。
大德十年（1306年），因天旱时又突起风暴，星象有变。程钜夫应诏奏陈弭灾除害之策，他提出敬天、尊祖、清心、持体、更化五条。成宗认为很正确，加以采纳。其时云南省臣提出：世祖曾亲征云南，民众愿意在点苍山刻石以纪功德。成宗便令程钜夫撰文。
大德十一年（1307年），程钜夫任山南江北道肃政廉访使，复留为翰林学士。成宗崩，他奉命修《成宗实录》。
至大元年（1308年），《成宗实录》修成。次年，至上都（今内蒙古正蓝旗东北闪电河北岸）。
至大三年（1310年），程钜夫复任山南江北道肃政廉访使，调任浙江东海右道肃政廉访使，留为翰林学士承旨。
皇庆元年（1312年），主修《武宗实录》。
皇庆二年（1313年），程钜夫应诏上奏陈桑林六事，触件宰相意。次日，仁宗派近臣去安慰他说：“中书省集议，惟卿所言最恰当，以后望畅所欲言，不须顾忌。”于是诏程钜夫与平章政事（宰相）李孟一同议政。参知政事许师敬欲推广贡举法，程钜夫建议“经学当主程颐、朱熹传注”，“文章宜革唐宋宿弊”。于是，仁宗命令程钜夫起草诏令推行其主张。
致仕归家
皇庆二年（1313年）三月，程钜夫以老病求致仕还乡，末获准许。诏令由太医给药物治疗，安排他儿子程大本为郊祖署令，以便就近侍养。并时时派近臣去看望他，安慰他说：“卿乃是世祖旧臣，惟忠惟贞，其勉加餐粥，只是要稍留京师，以宽肤心。”后见他态度坚决，仁宗才同意。行前特授程钜夫光禄大夫，赠上尊称号，命廷臣以下官员至大都齐化门外饯别，并令行省等对程钜夫经常加以慰问。
程钜夫先后得到世祖、成宗、武宗、仁宗四位皇帝的倚重，是元朝信任、重用的少数南方籍官员之一。
延祐五年七月十八日（1318年8月14日），程钜夫去世，享年七十岁。
泰定二年（1325年），追赠大司徒、柱国，追封楚国公，谥号“文宪”。

文学
程钜夫为四朝元老，四十余年间出入显要，朝廷典册多出其手，是元代前朝最主要的文臣之一。他以平易正大之学，振文风，作士气，为朝野视为楷模。《四库总目提要》一书中对程钜夫及其文章评价很高，赞誉他“宏才博学，被遇四朝，忠亮鲠直 ”，“文章亦舂容大雅，有北宋馆阁余风”，“其诗亦磊落俊伟，具有气格……古诗落落自将，七言尤多遒警。当其合作，不减元祐诸人”（指苏东坡、司马光、黄庭坚等人）。
他曾主修《成宗实录》、《武宗实录》。著有《雪楼集》45卷（今存30卷），包括函诏制册文10卷，序记书文15卷，还有部分诗歌集，内容丰富，资料翔实精当，有很高的史料和文学艺术价值，为治元史者所经常引用。
因病在家乡五年，他写了不少诗文颂扬家乡风物。其中《游麻姑山》中写道：“步人千峰紫翠间，清都境界异尘寮。龙鳞老木冰霜操，鸟爪仙人玉雪颜。台树古碑荒薛合，族幢微影白云间。丹成鸡犬飞腾久，空想丹炉炼火还。”格调高而不泛，情韵永而不匿。可见他有诗才，借为政事所累而名不彰。
程钜夫书法
程钜夫善书法，《书史会要》称其“字体纯正，下笔暗合书法，亦工大字”。