伯颜是蒙古八邻部人。他曾祖父述律哥图在太祖手下当差，任八邻部左千户职位。祖父阿刺继承了他曾祖父的职位，并兼任断事官，因为平定忽禅有功，又扩充了忽禅的地盘。父亲晓古台继任了他祖父的职位，并跟随宗王旭烈兀夺取西域。伯颜生长于伊儿汗国。以深略善断著称，信奉也里可温教（基督教）。元宪宗三年（1253年），跟随旭烈兀西征。后受伊儿汗旭烈兀命出使大汗廷奏事，深得元世祖忽必烈赏识，留作侍臣 ，与谋国事。一直没有能和他相比的。世祖越发认可他的贤能，便敕中书右丞相安童的妹妹给他做老婆，并说：“做伯颜的老婆，不令你的姓氏失色。”至元二年（1265年）七月，官拜光禄大夫、中书左丞相。朝廷里的大小事情，有难办的，他往往三言两语就能搞定。众人信服的说：“真正有能耐的宰相啊。”至元四年（1267年），任中书右丞相。至元七年（1270年），改任同知枢密院事。搬到同知枢密院任职。至元十年（1273年），按皇帝的意愿拥立燕王真金为太子。 忽必烈汗任命他为伐宋军最高统帅。至元十一年（1274年），复任左丞相，总兵分三路攻宋，与阿术统中路，取鄂州、汉阳等地，沿长江东下，次年取黄州、蕲州、江州、安庆、池州等地，大败宋宰相贾似道军于丁家洲，收降太平州、滁州，下建康（今南京），寻进中书右丞相。十一月，分兵三路进军临安（今杭州市），与右丞相阿塔海取中道，节制诸军并进。至元十三年（1276年），陷临安，俘宋帝、谢太后等北还，取宋地三十七府、一百二十八州、七百余县。至元十四年（1277年），以宗王昔里吉等叛执北平王那木罕，自阿力麻里东犯和林，奉命率师北上，大败叛军于斡耳寒河（今鄂尔浑河）。至元十八年（1281年），从皇太子真金抚军漠北，益藤州四千九百余户为食邑。至元二十二年（1285年），代宗王阿只吉总军西北。至元二十四年（1287年），从元世祖讨平叛王乃颜之乱。至元二十六年（1289年），任知枢密院事，分院和林。至元二十九年（1292年），招降叛王明理铁木儿，屡败海都叛军。因遭朝臣谗陷，被罢职，居大同。至元三十一年（1294年），忽必烈驾崩，受顾命拥戴铁穆耳即位，复任知枢密院事。同年十二月（1295年初）病卒，年五十九。大德八年（1304年），特赠宣忠佐命开济功臣、太师、开府仪同三司，追封淮安王，谥号忠武。至正四年（1344年），加赠宣忠佐命开济翊戴功臣，进封淮王，其余如旧。有《丞相淮安忠武王碑》以志其功。应仁宗帝儒师王约的请求，元帝为伯颜在杭州建立祠堂（忠武王庙，即元丞相伯颜祠也）。姚靖《西湖志》：“方其统兵下临安，驻节皋亭，俟宋出降，不嗜杀戮，杭民德之，为建此祠。”《元史》载：‘功臣之祠，惟故淮安忠武王立庙于杭，春秋二仲月次戊祀以少牢，用笾豆簠簋，行酌献礼！’”