如果斗殴的双方中的任何一方人数达到三人以上，就属于聚众斗殴，斗殴的行为需要承担一定的法律责任。如果不构成犯罪，一般处最低五日、最高十日的拘留，并处最高五百元的罚款。如果斗殴的行为构成犯罪，一般处拘役、管制或者最高三年有期徒刑。情节严重的，处最低三年、最高十年有期徒刑。
法律依据：《中华人民共和国刑法》第二百九十二条 聚众斗殴的，对首要分子和其他积极参加的，处三年以下有期徒刑、拘役或者管制;有下列情形之一的，对首要分子和其他积极参加的，处三年以上十年以下有期徒刑：(一)多次聚众斗殴的;(二)聚众斗殴人数多，规模大，社会影响恶劣的;(三)在公共场所或者交通要道聚众斗殴，造成社会秩序严重混乱的;(四)持械聚众斗殴的。聚众斗殴，致人重伤、死亡的，依照本法第二百三十四条、第二百三十二条的规定定罪处罚。