２の方法で申しあげる事となるでしょうが、
基本、３次元直交座標系で処理したほうが良いような気がします。以下それを前提に。
地球儀上の、陸地と海の境界付近に境界点を設け、その点を中心とした半径（１ステップに移動する程度の距離）内に、
オブジェクトの移動先の座標があれば境界に接していると判断し移動を禁ずる。それを境界球とする。
何らかの転送地点も、半径の大きさを適宜調整すれば、その応用でできると思います。
そして、境界上にその半径未満の間隔で境界球を設置する
（※処理速度の兼ね合いで単純な足し算による８面体として判断するのも良いかと）。
また、地球儀即ち球面上を直線に移動するということは、
大円（地球儀の中心をとおる平面による断面の淵）を必ず通ることになるので、
その平面の法線方向を軸とした回転によって表現が可能です。
このような回転方法は四元数の積を利用して計算できます。
回転される座標 : p(0;x,y,z)
回転軸 : u(0;a,b,c) -> (a,b,c)は単位ベクトル
回転角 : θ -> 回転軸の矢先から見て反時計回り
変換四元数 : q(cosθ/2;a*sinθ/2,b*sinθ/2,c*sinθ/2), ~q(cosθ/2;-a*sinθ/2,-b*sinθ/2,-c*sinθ/2)
回転後の座標 : p' = q * p * ~q
このθを境界球の半径程度にすれば実現できそうだと思います。
