SetWindowStyleMode の仕様が良く分からないので不安ですが、
美味しい緑茶さんの望む動作としては以下のような感じでどうでしょうか？
コツとしては WS_THICKFRAME を立てないことと、
WS_BORDER と WS_EX_DLGMODALFRAME、WS_EX_CLIENTEDGE、WS_EX_STATICEDGE の組み合わせで枠の見た目が変わるということです。
//- 以下、テストコード -//
#include "DxLib.h"
int WINAPI WinMain( HINSTANCE, HINSTANCE, LPSTR, int )
{
ChangeWindowMode( TRUE );
SetWindowText( "DxLib:" DXLIB_VERSION_STR );
if ( DxLib_Init( ) == -1 ) return -1;
int white = GetColor( 255, 255, 255 );
HWND hWnd = GetMainWindowHandle();
DWORD s = GetWindowLong( hWnd, GWL_STYLE ) & ~(WS_BORDER|WS_DLGFRAME|WS_SYSMENU) /*| WS_THICKFRAME*/;
DWORD es = GetWindowLong( hWnd, GWL_EXSTYLE ) | WS_EX_DLGMODALFRAME /*| WS_EX_CLIENTEDGE*/ /*| WS_EX_STATICEDGE*/;
SetWindowLong( hWnd, GWL_STYLE, s );
SetWindowLong( hWnd, GWL_EXSTYLE, es );
SetWindowPos(hWnd, NULL, 0, 0, 0, 0, SWP_NOSIZE | SWP_NOMOVE | SWP_NOACTIVATE | SWP_NOZORDER | SWP_FRAMECHANGED);
SetDrawScreen( DX_SCREEN_BACK );
while ( ProcessMessage( ) == 0 && CheckHitKey( KEY_INPUT_ESCAPE ) == 0 ) {
ClearDrawScreen( );
DrawFormatString( 0, 0, white, "TEST" );
ScreenFlip( );
}
DxLib_End( );
return 0;
}