我假期在淘宝开了个小店，碰到一态度极差的买家，最后交易我给了他差评。最近他到我店里恶意拍了物品，已经付款。我告诉他没货，让他退款。而他不但没退款反而给了我差评。我已经投诉对方。但我怕他再骚扰，请问我该怎么办？