在战国时期，“山东”这一名称就出现了。齐、楚、韩、赵、魏、秦战国七雄中，秦国势力最大，与其余六国形成了东西对峙的两大势力集团。秦国居关中，六国则在崤山、函谷关以东，那时的“山东”泛指崤山或华山以东的黄河流域，与当时的“关东”含义相同。
春秋时的晋国，建都平城时代的北魏，以及五代时的晋国，因为自己处于太行山以西，故称太行山以东地区为山东。
“山东”被明确地划为一个独立的行政单位，开始于北宋，正式形成于金。北宋将全国划分为十五路（相当于现在的省），今日的山东地区主要属于京东路，部分属于河北路。之所以称为“京东路”是因为其位置在当时的首都开封的东面。
此后女真族占领中原，建立了金政权，定都中都（今北京）。金政权沿用宋朝“路”的行政区划，但由于“京东路”位于其首都的南面，故改称“山东”，取“太行山之东”之意。
明初在全国设立了十三个布政使司，俗称省。山东即为其中的一个，称山东布政使司。清朝正式称为山东省，并以济南为省会，沿用至今。山东省的简称源自历史上的行政辖地名称。因为春秋时期属鲁国领地，故简称“鲁”；又因战国时属齐国领地，又简称“齐”。习惯上常有人用“齐鲁大地”代替山东省的称呼。