谁也说不清坎儿井是在何时何地开始出现的。新疆维吾尔族人中流传着这样一个故事：很久很久以前，一个年轻的牧羊人为了寻找水源，用手挖出了水井，从此水井代代相传。
也有人说，新疆的坎儿井是从波斯随着伊斯兰教的传播而传到中国的。坎儿井在中东、中亚及北非干旱地区的很多地方都有，尤其是伊朗中部的高原地带，那里有成千上万眼坎儿井点缀着沙漠里的绿洲。据说，伊朗的坎儿井已经有两千多年的历史了。位于丝绸之路上的的新疆，很有可能接受了国外传来的引水方法，从而开凿了中国第一眼坎儿井。
但是有不少学者坚持认为坎儿井是中国中原地区首先发明的，其后随着领土向西域的扩张而传入了新疆。汉武帝年间，陕西大荔县曾经开挖了一条“龙首渠”，将洛河水从地下引至下游的大荔平原，以方便灌溉。有人说“龙首渠”就是坎儿井的前身， 后由中原派到西域屯田守边的汉族军民带到了新疆。
根据历史情况来看，吐鲁番是古代欧亚交通的主要通道，为经济文化交流频繁的地区，东西方文化技术的传人对坎儿井的形成会起到重要作用，而坎儿井真正的起源还需要进一步考证。
