它是传说中南京第一个被人工改造过的山，秦始皇凿山通淮泄王气，晋宋时人就认为是在这儿。传说往往是历史的影子，方山至少在东吴时代就被纳入水利工程之中。
南方吴人以舟为车，水路交通自然是首选。南京向北，有天堑长江，同时也是黄金水道，再向北有邗沟和巢湖两条水路，一东一西沟通江淮；南京向南，则是水路交通的薄弱环节，金陵地势高于三吴的太湖流域，没有河流通航。通过占天斗地的人工改造，将南京与太湖水系的河道串连成线，成为弥补天然缺陷的唯一选择。吴人把工程起名为“破岗渎”，这个是真正的凿山断垄。方山是破岗渎的终点，山南筑有方山埭。埭就是横截河道的土坝。破岗渎中间高，两头低，要通过沿途上下十四埭，太湖船才能层层抬升至句容，再下航方山，经秦淮河入城，最后走运渎入吴宫。
过埭时，用牛牵绳引船，要缴牛埭税，有点像现在的高速公路收费站，在方山设有津主一人负责管理。所以古人相送，关系近、感情好的也就送到方山，由于方山距城有四十里，大多还要住一晚才依依惜别。迎来送往，客货中转，方山便热闹起来。
相传，晋元帝时，建康老百姓因为大官张廷尉私建大门侵占民宅，到处打官司无人敢理，后来听说另一个高大的官贺司空出城，便跑到方山拦住他告状，张廷尉吓坏了，赶紧拆掉大门，还亲自去方山请罪。晋成帝逝世，名士阮裕自会稽晋京，千里赴丧，不见京中名流，事毕了就打道回府，众人齐追至方山，不及而返。这两件事都记在《世说新语》里，所以方山津是东南方向出入京城的必经之地，与著名的石头津南北相对。王彪之、谢灵运也都有方山送别诗为证：
与诸兄弟方山别诗
晋·王彪之
脂车总驰轮。泛舟理飞棹。
丝染墨悲欢。路歧杨感悼。
邻里相送至方山
宋·谢灵运
祗役出皇邑，相期憩瓯越。
解缆及流潮，怀旧不能发。
析析就衰林，皎皎明秋月。
含情易为盈，遇物难可歇。
积疴谢生虑，寡欲罕所阙。
资此永幽栖，岂伊年岁别。
各勉日新志，音尘慰寂蔑。
谢灵运此去就任永嘉太守，其永嘉山水诗是中国诗风的一大转折。“析析就衰林，皎皎明秋月”两句已见山水寄情之端。
过往的人多了，方山之奇便为人所注意，六朝人又爱山水泉林之幽隐。元嘉末，尚书令何尚之退休后即僦居方山，还写了《退居赋》以明其志。何尚之是“赞扬佛教”的著名居士。此后，孝武帝时，又有高僧释法瑗庐于方山，注《胜鬘》及《微密持经》。这是方山与佛教搭上关系的最早明证。
方山这么好，于是皇帝也来凑热闹，齐武帝就梦想着要在这儿起离宫，大诗人王融、沈约都有《侍游方山应诏》诗，估计和此事有关：
侍游方山应诏
王融
巡躅望登年，怅饮临秋县。
日羽镜霜浔，云旗落风甸。
四瀛良在目，八寓婉如见。
小臣窃自嘉，预奉栢梁讌。
侍游方山应诏
沈约
清汉夜昭晳，扶桑晓陆离。
发歌摐阳下，建羽朝夕池。
摐金浮水若，耸跸诏山祗。
一沾九霄露，藜藿终自知。
后来的朱洪武，晚年也动过方山的心思，“命户部于正阳门外距板桥五里度地，自牛首山接方山，西傍河涯为上林苑，户部为图以进，寻以妨民业止之。”
方山的繁荣与南京的地位休戚相关，一荣俱荣，一损俱损。隋文帝统一南北灭陈后，对南京做了两件坏事。一件是六朝台城平荡为农田，这倒还好，没人住的皇宫终究要废圯，老百姓还可以多两块砌房的砖瓦。还有一件才是真正的“辣手摧花”，废弃破岗渎，南京从此像被人挑了筋，切断了与三吴腹心之地的紧密联系，武功尽废。后来南唐建国，因为太湖一带基本为吴越控制，东南水路依旧不通。南宋初年，金兀术就为这个吃了大亏，他领着载满财货的船队从江南返回时，只能绕道镇江，结果困在到处都是芦苇、港汊的黄天荡，差点被韩世忠包了饺子。到了朱元璋，破岗渎已经没法恢复，只好在溧水另开胭脂河，才解决与苏南的交通难题。
