脊椎动物虽然在距今5.3亿年的早寒武纪就已出现，但很长一段时间里，这些全身裸露的原始鱼形动物并未得到发展，古海洋中仍然是无脊椎动物的天下。距今4.4亿年的奥陶纪末期，由于大规模的冰川活动，地球上发生了一次生物大灭绝事件。躲过这场浩劫的古鱼类在志留纪时开始了分化，泥盆纪时达到了演化的鼎盛时期。因此，志留纪和泥盆纪被称为“鱼类时代”。
在4.3亿年前的志留纪，最早分化的是甲胄鱼类。这是一些全身披上“甲胄”的古鱼类。当然，这里所说的“甲胄”，并非古代将士戴在头上的头盔和披在身上的金属护身衣，而是一种含钙质成分的骨质甲片。甲胄鱼类属于脊椎动物的最原始类型——无颌类，它们还没有演化出上下颌，没有骨质的中轴骨骼或脊柱，通常靠滤食海洋中的小型生物或微生物为生，有时候可以吮食大型动物的尸体，主动捕食能力非常差。
甲胄鱼类主要包括三个大的演化支系：骨甲鱼类、异甲鱼类和盔甲鱼类。前两个支系分布在欧洲、北美和西伯利亚等地，而盔甲鱼类为中国和越南所特有。盔甲鱼类身长一般不超过30厘米，一块完整的盾状甲包裹着头的背面，并折向腹面形成腹环。眼睛长在头甲的背面或侧面，鼻孔有细长形的、横椭圆形的和心形的，大小不等，但无一例外在头甲的背面口与数目不等的鳃孔则长在头的腹面。有的头甲还“装备”很长的吻突，可以用来进攻、恐吓其他动物，或者用来挖掘水底的淤泥。盔甲鱼类有一个尾鳍，但没有成对的胸鳍或腹鳍。它们是一种底栖的脊椎动物，生活在滨海或与海相连的河口之中，迁徙能力很差，可以为恢复古地理环境提供重要证据。过去根据古地磁、古生物等证据，曾认为华南与华北两个板块相距十分遥远。但盔甲鱼类的化石记录表明，在大约4亿年前，华南板块(包括越南北方)、塔里木板块和华北板块相互之间已经靠近，它们共同组成了一个华夏早期脊椎动物地理区系。
从无颌类衍生出来的是有颌脊椎动物，包括4个大的类群，即盾皮鱼类、棘鱼类、软骨鱼类和硬骨鱼类。颌的出现是生命史中的一次革命性的事件。由鳃弓演变过来的上下颌提高了鱼类的取食和咀嚼功能，因而增强了它们的生存竞争能力。
以恐鱼为代表的盾皮鱼类也是一种戴盔披甲的鱼类，泥盆纪时曾盛极一时。3.6亿年前的古海洋中，身长10米的恐鱼是一个巨无霸。它的头和躯干的前部都披有厚重的“甲胄”，甲胄长度可达3米。上下颌强壮的骨板，形成了剪刀式的锐利刀刃。凡是被恐鱼捕捉到的其他鱼类，都很难逃脱被吃掉的厄运。
盾皮鱼类笨重的甲胄虽然可起到自我保护作用，但付出了灵活性降低的代价。在生命史中，盾皮鱼类虽成为了泥盆纪古海洋的主宰，但终究是昙花一现，在3.5亿年前泥盆纪结束的时候，与它们的祖先甲胄鱼类一道全部退出了演化的舞台。
棘鱼类是另一类古老的鱼类，长得像黄花鱼，个体也不大，体长不超过30厘米。它的鳍非常特殊，与任何鱼类的鳍都不一样，所有鳍叶的前方都有一根相当强壮的鳍刺，其上还有像雕刻出来的纵向花纹。沿身体的腹侧，在胸鳍和腹鳍之间，还有几对附加的小鳍，同样由鳍刺支持。“棘鱼”的名字也由此而来。棘鱼类始终没有真正发展起来，在4亿年前曾达到其演化的顶峰，之后逐渐衰落，到2.7亿年前的古生代末期全部灭绝。
软骨鱼类和硬骨鱼类是有颌类中获得成功的两个大的支系。软骨鱼类包括各种鲨类和鳐类，中国4.3亿年前的志留纪地层中，曾发现最早的软骨鱼类化石。硬骨鱼类是今天地球上水域的统治者，现在已经到达了它们演化历史的极盛期。现生的脊椎动物大约有5万种，硬骨鱼类中的辐鳍鱼类就占了其中的一半。在鱼类繁盛的泥盆纪，硬骨鱼类还处于演化的早期阶段。这个时期，辐鳍鱼类的化石相对比较少。硬骨鱼类中的另一支——肉鳍鱼类倒是获得了辐射式的发展，并在3.6亿年前演化出了四足动物。