付近に段差がありませんか？
ネズミやミミズは小さいためか、段差の下やハーフブロックの上にいると、むしとりあみを含む一部の攻撃が当たらないことがあります。
原因のブロックを取り除くか、ネズミが動くのを待ってください …と言いたいところですが、ツルハシ等の道具で殺ってしまうかもしれませんし、ネズミがなかなか動かない時もあるので、この場合は早々に諦めた方がいいかもしれません。