如果我们对代数符号不是要求像现在这样简练，那么，代数学的产生可上溯到更早的年代。
西方人将公元前三世纪古希腊数学家丢番图看作是代数学的鼻祖，而真正创立代数的则是古阿拉伯帝国时期的伟大数学家默罕默德·伊本·穆萨（我国称为“花刺子密”，生卒约为公元780-850年）。而在中国，用文字来表达的代数问题出现的就更早了。
“代数”作为一个数学专有名词、代表一门数学分支在我国正式使用，最早是在1859年。那年，清代数学家李善兰和英国人韦列亚力共同翻译了英国人棣么甘所写的一本书，译本的名称就叫做《代数学》。当然，代数的内容和方法，我国古代早就产生了，比如《九章算术》中就有方程问题。
代数的起源可以追溯到古巴比伦的时代[1]，当时的人们发展出了较之前更进步的算术系统，使其能以代数的方法来做计算。经由此系统的被使用，他们能够列出含有未知数的方程并求解，这些问题在今日一般是使用线性方程、二次方程和不定线性方程等方法来解答的。相对地，这一时期大多数的埃及人及西元前1世纪大多数的印度、希腊和中国等数学家则一般是以几何方法来解答此类问题的，如在兰德数学纸草书、绳法经、几何原本及九章算术等书中所描述的一般。希腊在几何上的工作，以几何原本为其经典，提供了一个将解特定问题解答的公式广义化成描述及解答方程之更一般的系统之架构。
代数（algebra）导源于阿拉伯语单字“al-jabr”，其出自 al-Kitāb al-muḫtaṣar fī ḥisāb al-ğabr wa-l-muqābala这本书的书名上，意指移项和合并同类项之计算的摘要，其为波斯回教数学家花拉子米于820年所著。Al-Jabr此词的意思为“重聚”。传统上，希腊数学家丢番图被认为是“代数之父”，的成果到今日都还有用途，且他更给出了一个解答二次方程的一详尽说明。而支持丢番图的人则主张在Al-Jabr里出现的代数比在Arithmetical里出现的更为基本，且Arithmetical是简字的而Al-Jabr却完全是文辞的。[3]另一位波斯数学家欧玛尔·海亚姆发展出代数几何出，且找出了三次方程的一般几何解法。印度数学家摩诃吠罗和婆什迦罗与中国数学家朱世杰解出了许多三次、四次、五次及更高次多项式方程的解了。
代数更进一步发展的另一个关键事件在于三次及四次方程的一般代数解，其发展于16世纪中叶。行列式的概念发展于17世纪的日本数学家关孝和手中，并于十年后由莱布尼茨继续发展着，其目的是为了以矩阵来解出线性方程组的答案来。加布里尔·克拉默也在18世纪时在矩阵和行列式上做了一样的工作。抽象代数的发展始于19世纪，一开始专注在今日称为伽罗瓦理论及规矩数的问题上。
