DXライブラリでシェーダーを使用する際には、独自の言語ではなくHLSLという言語を使用します。
ShaderCompiler.exeはHLSLで書かれた言語をバイナリファイルにコンパイルするもので、
DirectXSDKに付属するfxc.exeとほぼ同じものだと思います。(私の環境ではどちらを使っても同じでした)
基本的にDirectXのシェーダーと同じですが、DXライブラリで使う際には、
テクニックが使えない、入力や出力のデータ形式が固定などの注意点があります。
それらの点さえ注意すればエフェクトファイルに関しては、
DirectXで使用するものと同じように記述することができます。
こちらのサイトが参考になると思います。
ttp://marupeke296.com/ProShader_main.html