炎エフェクトについては
テクスチャとして扱えるサイズで作ったエフェクトアニメーションを用意して(輝度/コントラストを高めに)ビルボードで任意の場所に描画してから
その結果を新たに実装されたフィルタ関数を使ってブルームエフェクトを掛ければかなり見れるものになります。
ビルボードの他にポリライン(検索すれば出てきます)エフェクトなども組み合わせればそれなりに思ったものが出来るのではないでしょうか。
ブルームエフェクトについてはサンプルプログラムの項に新たに追加されたものを参考にするといいかと思います。
ヴァルキリープロファイル2(PS2)のエフェクトで似たような効果を使っているものがあるようです。
(こちらはスフィアモデルにブルームエフェクトをかけている様です。)
ブルーム前
ttp://game.watch.impress.co.jp/docs/20060911/vp204.htm
ブルーム後
ttp://game.watch.impress.co.jp/docs/20060911/vp205.htm
ポリラインエフェクトを扱っている記事
ttp://i-saint.skr.jp/log/2003.html#20031203
煙エフェクトについてはパーティクルエフェクト等について検索してみると見つかるかもしれません。
煙の画像(透過あり)をビルボードに張り付けていくつかランダム的に配置・移動させて動きを表現する方法です。
エフェクトや影の描画等と言ったものは3Dの基本的な描画機能・関数だけでは実装出来ません。独自に特別な処理を用意してやる必要があります。
ですが既存プログラムの組み合わせで十分実装出来るので、少しずつテストプログラムで完成させて、上手く出来たエフェクトをゲームに実装していく方法が安定するかと思います。
いきなり本番プログラムで作るとスパゲティになりやすいのでヽ(;´Д｀)ﾉ