A、根据-8m3+12m2-4m=-4m(2m2-3m+1),故此选项错误;B、根据m2+5n-mn-5m=(m2-5m)-(mn-5n)=m(m-5)-n(m-5)=(m-5)(m-n),故此选项正确;C、根据m2-3mn-10n2=(m-5n)(m+2n),故此选项错误;D、根据x2-y2=(x-y)(x+y),故此选项错误;故选:B.