格尔木原属郭勒木德地区，郭勒木德在游牧蒙古族语言里是河流汇集的地方格尔木市地图。20世纪中土战争后，郭勒木德地区逐渐增加了移民，从游牧民族河边的蒙古包，逐渐演变成了一座面积巨大的城市，取名“噶尔穆”（蒙古语也即河流汇集的地方）, 1960年9月经国务院简化为“格尔木”。

格尔木古为羌地，自东晋至清历属吐谷浑、威定县、吐蕃王国、角厮罗政权、吐蕃等处宣慰司、曲先卫、钦差办理青海蒙古番子事务大臣。民国十八年（1929年）青海建省后属都格尔木历史(4张)兰县、通新设置局。1954年成立阿尔顿曲克哈萨克族自治区人民政府，1956年成立噶尔穆临时工委（一说：1956年3月1日成立了格尔木工作委员会，为县级领导机构），1960年11月17日国务院全体会议第105次会议批准设格尔木市，1965年3月27日改为格尔木县，1980年6月14日复设格尔木市。格尔木市仍隶属海西蒙古藏族自治州管辖，为副地级市。1992年设立省计划单列市。 　　1980年6月14日改县建市后，设立3个街道办事处。 　　1988年底共有7个基层政权机构，即3个办事处（昆仑路办事处、金峰路办事处、河西办事处）、4个乡（唐古拉山乡、乌图美仁乡、大格勒乡、郭勒木德乡），24个居民委员会，28个村（牧）民委员会。1992年成立格尔木昆仑经济开发区（2002年升格时隶属格尔木市管理）。 　　2001年8月9日，青海省人民政府青政函[2001]81号文批复：格尔木市设立东城行政委员会、西城行政委员会和察尔汗行政委员会作为市人民政府的派出机构。与此同时，青政函[1997]21号文件停止执行。