Zバッファを使ったマスク処理とは DrawGraphToZBuffer 等の関数のことでしょうか?
私の手元で試してみたところ、さかなさんの仰るとおり正常に動作しませんでしたので、
修正したバージョンをアップしました
大変お手数ですが、宜しければこちらをお試しになってみてください m(_ _)m
http://homepage2.nifty.com/natupaji/DxLib/DxLibVCTest.exe //VC用
http://homepage2.nifty.com/natupaji/DxLib/DxLibBCCTest.exe //BCC用
(中身を既存のライブラリのファイルに上書きして、BCCをお使いの
場合は『再構築』、VCをお使いの場合は『リビルド』をして下さい)