图们的地名来源于图们江。图们之名，在古籍中用字很不统一，有“统们、驰满、土门、豆满”之称，皆一声之转，都是指图们江。图们江位于吉林省东南边境，是中国与朝鲜民主主义人民共和国的界河，也是延边朝鲜族自治州第一条大河。金、元称爱也窟河，其下游段称统门河，明称啊也苦河，其下游段称徒门河，清朝时按满语读音译作“土门江”。“土门”其实并非汉语，也不是朝鲜语，“土门”满语原称满语原称“tumen sekiyen”“土门色禽”，土门意为“万”，色禽意思是“河源，亦即万水之源。

自1881年到1933年分别属于珲春副都。

1913年延吉县建县伊始，图们划为延吉县志仁乡五甲依兰沟管辖，时称艾蒿甸子或灰幕洞，为一自然屯。随着朝、汉垦民的迁入，到1925年时有居民20余户，仍称艾蒿甸子或灰幕洞。

1929年为延吉县一区五甲辖。

1930年为延吉县一区艾苇乡辖。

1931年图们始为百余户村屯，仍为延吉县属。

“九.一八“事变后，延吉县政府于1932年4月改称伪延吉县公署，灰幕洞（图们）仍属之。

1933年敦图铁路开通后，几无人烟的“艾蒿甸子”人口骤增，变成了一个城镇。1933年6月，“艾蒿甸子”改称图们，“图们”为满语音译，意为万水之源，隶属延吉县。

1934年改称伪间岛省延吉县图们市。

1936年图们市改称图们街，市公署改称街公署。

1945年8月17日，图们解放。国民党分子和敌伪残余势力于8月20日自行成立图们地方临时自治委员会。同年10月，图们临时自治委员会改称图们街公所。11月，图们街公所改称图们街政委员会。

1946年2月，中共图们区委在民主大同盟的协助下，对图们街政委员会进行了整顿，改称图们市政府。1946年3月，正式成立图们市政府。

1949年9月，改称延吉县图们市人民政府。

1952年9月3日，随延吉县人民政府归延边朝鲜族自治区人民政府辖，后归自治州人民政府辖。

1956年3月，延吉县人民政府撤销图们市建制，设立图们镇和农安乡。同年4月，图们镇人民政府改称图们镇人民委员会。1958年9月，将图们镇与农安乡合并，建立图们镇人民公社。

1964年11月，撤销公社建制，恢复图们镇建制。

1965年5月1日，根据国务院（65）议字9号关于设立图们市的决定，经延边朝鲜族自治州人民委员会批准，图们市人民委员会成立，为延边朝鲜族自治州直辖市（县级），以延吉县图们镇行政区域和汪清县石岘镇部分行政区域为图们市行政区域，机关驻地图们，下辖新华、向上、石岘三个街道办事处和新建一个红光人民公社。1

966年“文化大革命”开始后，图们市人委瘫痪。

1968年7月，图们市革命委员会成立，替代市人民委员会。

1969年7月，经吉林省革委会批准，将延吉县月晴公社和汪清县新农公社划归图们市。

1980年7月，改市革命委员会为图们市人民政府。

1980年8月，各公社革命委员会改称公社管理委员会。

1983年8月，撤销人民公社建制，恢复乡镇建制，设乡镇人民政府。

根据吉林省民政厅1984年11月15日（吉民行[1984]53号）文件精神。

1985年2月，石岘街道办事处与新农乡合并，成立石岘镇。

1988年7月，将延吉县长安镇划归图们市管辖。

1991年7月，又将珲春市凉水镇划入图们市。1995年2月，月晴乡人民政府改称月晴镇人民政府。

2003年10月，经省政府批准，红光乡并入月晴镇。图们市现辖四镇（月晴、石岘、长安、凉水）三个街道办事处（向上、新华、月宫）。