Androidは9.0の時代から、位置情報の精度という呼称に変更になって判りにくいですが、オンはGPS/Wi-Fi/モバイル ネットワーク/センサー（加速度計など）、オフはGPS /センサー（加速度計など）です(またオンは位置情報が収集されることに注意)。よって機内モードの代わりに、これをオフにする方法もあります。私はこれを使うようにしています。
またGPSに関して、https://www.ne.jp/asahi/nature/kuro/HGPS/principle_gps.htm
が詳しく、衛星の捕捉数、捕捉した衛星の位置により影響を受けそうなことがわかります。
歩き始めで衛星の捕捉が十分でなく誤差が多いようなときに、モバイル ネットワークの情報が用いられている可能性は十分ありそうですね。

mtkenさん、こんにちは。

私も同様の現象に悩まされたことがあり、少し調べてみたのですが、詳しいことはわかりませんでした。ただ、経験的には、機内モードにするのが対策としてはよさそうです。

スマホが位置特定する際に、GPSの情報だけを使うと時間がかかりすぎるため、携帯電話のネットワークにもアクセスして補助的な情報を使って高速化しています(A-GPS)。
これが結果的にゆらぎに繋がっていると想像しています。

具体的な方法は機種ごとに違うようですが、例えば、携帯電話の基地局の位置情報を補助的に使うこともあるようです。この基地局からの電波の強さは基本的には距離が離れれば弱くなるのですが、複雑な地形等が原因となって、実際には距離が離れている基地局からの電波を偶然強く受信する、といった現象が起こります(逆も起こります)。つまり、実際にはある基地局が遠くにあるのに、その基地局の近くにいると勘違いする、イメージです。
こうした現象が位置情報のゆらぎに繋がっていると想像しています。

機内モードにすると携帯電話の基地局からの電波を受信しなくなるので、以上のような原因によるゆらぎは起こらなくなるのだと思います。
想像による部分が多いですが…

基本的には4個の衛星からの時間情報で位置を求めるそうです。3個の衛星情報だけでも誤差が大きいもののある程度は求められるそうです。
約30個のアメリカ合衆国の軍事用GPS衛星のうち当然ですが4個の衛星が日本の上空にいるとは限りません。また、受信機で受信できる衛星の個数は異なります。衛星が見えていても受信機側のアンテナの向きや木の影響で受信強度が十分でないことも在るようです。ロガーで受信状況を表示できると思うので、確認してみるのが良いです。
日本独自のみちびき4機が動作しています。残念ながら常に4機が見えるのは沖縄だけだそうです。私のロガーはみちびき未対応です。

GPSは衛星から送られてくる信号には時間データや衛星の軌道情報等が入っており、そのデータから受信機の位置を求めています。

ここで問題になるのは時間データで、信号のデータは変わらなくても電波が伝わって来る経路によっては電波の到達する時間が長くなるので計算距離に誤差を生じ位置がずれます。これがGPSの誤差の原因です。

電波の伝わる経路（時間）が変わる要因としては、電離層の揺らぎ、対流圏での水蒸気による電波の屈折、山や建物での反射によるマルチパスがあり、特に山間の谷筋ではマルチパスの影響が大きいので誤差も大きくなります。

同じ環境に置かれた複数の端末で誤差が異なるのは次のような原因が考えられます。
・受信感度やアンテナの方向性の違いによってマルチパスで伝わってくる補足が異なる。
・位置計算のアルゴリズムが違う（計算プログラムの丸め誤差や受信信号の平均化の有無等も含めて）

あと、GPSの衛星データがメンテナンスや米国の戦略上の都合で変化することもあり、それに対応できるプログラムになっているか、などと言うのもあるかも知れませんね。


【追記】
forester_555さんが書かれている「機内モードにする」これは有効だと思います。
スマホは通話やデータ通信をしていなくても、定期的に基地局との間でデータのやり取りをしていますが、その電波はGPS受信ユニットにとっては雑音なわけでGPS衛星からの信号受信に影響する可能性はあるでしょうね。
だから機内モードにして基地局への電波を止めれば、GPSデータのゆらぎも少なくなるのは理に適っていると思います。