在警察局调解过程中，对方家属儿子竟然进入警局调解现场，对着我指鼻子骂，而警察只是一再的说不能骂，而没有任何阻拦之意，最总引发肢体冲突。我想问对方家属能进警局调解现场么？警察为什么不阻拦，事情发展成这样该由谁负责。