这个问题涉及的是数学按不同划分标准得到的不同细分学科。
高等数学是相对初等数学而言的，主要以是否引入变化或者运动这个概念为区分点。换言之，静态的数学是初等数学，动态的数学是高等数学，所以通常从微积分开始就算是高等数学了，更咬文嚼字一点可以从函数这个概念开始就该算了。不过高等数学这个词语现在更多的是指大学非数学专业的一门数学课程名称，内容通常涉及微积分、线性代数和空间解析几何。
离散数学是相对连续数学而言的，主要以研究对象是否具有连续性为区分点。从这个角度来说，通常的微积分就算是连续数学。但离散数学这个词和高等数学一样，现在更多的是用来指代大学非数学专业的一门数学课程名称，它的内容主要涉及数论、图论、最优化、群论等问题，通常是计算机类专业的必修课程。
随机数学是相对非随机数学而言的，主要以研究对象是否具有随机性为区分点。随机性是不确定性的一种，所以还有个更广的分类叫确定性数学与不确定性数学，后者还包括一种称为模糊性的不确定性。涉及随机性的都可以归到随机数学一类，比如概率论、随机过程、随机微分方程等，其它如微积分、线性代数之类就都算是非随机数学了。
至于联系，个人认为只要是数学分支之间其实都有联系，许多方法、技巧都是相通的。比如级数就可以视作是积分的一种离散形式，进而可以类比出许多共有的问题，而概率上根据样本空间是可数还是不可数的也会分别用到离散形式和连续形式的计算技巧。
在具体细分学科方面，我觉得维基百科上现在的分类是比较恰当的。即，按照研究对象是数学领域本身的问题还是其他学科的数学问题来分，可以分成纯数学和应用数学两大类。每一类下面可以再分成许多子类。子类就很多了，应用数学下面有两个大的子类，是统计数学和计算数学。纯数学下面的子类也很多，但大类上至少有代数学、几何与拓扑、分析学、集合论等。
附带说一句，从数学学习的角度来说，具体数学内容只是数学学习的一方面，数学上的成熟度也很重要。比如拓扑学，其许多内容并不需要你有多少先行的数学知识准备，但你如果没有一定的数学上的成熟度，思考起来往往会觉得很困难。另外，代数、几何、分析这三个传统上的数学分支在其思维方法上多多少少有些区别，有些人更擅长代数而有些人更擅长分析，遇到具体数学问题时可以多从几个角度来想。
来源：知乎网友
温馨提示：答案为网友推荐，仅供参考