[FreeBSD-users-jp 96842] Re: ZFSが突然bootしなくなりました
Tomoaki AOKI
junchoon ＠ dec.sakura.ne.jp
2021年 7月 23日 (金) 11:42:05 UTC
青木@名古屋です。
あまり参考にならないかもしれませんが...。
私の場合、基本的に「メイン環境には最新のstableブランチ（今なら13）を
使う」ポリシーで運用しているので、所謂「.0リリース」に向けて新たな
stableブランチが来られる直前のコミットの状態でhead（今の呼びだと
main）環境の更新を凍結し、
・メイン環境をブランチ直後の最新stableに更新した直後、
・ブートコードを全て（Legacy／EFIとも）更新して起動できるのを確認し、
・まずmainの方をzpool upgradeして起動・動作に問題ないのを確認し。
・stableの方のホームディレクトリのデータセットをmainの方に
zfs send | zfs recvしてからmain環境の方で問題ないのを確認
してからstable環境の方もzpool upgradeするようにしています。
両方のコードがブランチ名関係を除いて完全に一致している状況でしか
upgradeしないのがミソで、最悪でもZFS関係のコードとブートコードが
完全に一致していさえすれば相互のsend | recvで非互換問題に遭遇
することもない、と。
ひとつ不安なのが、現状、mainはOpenZFSの開発版、stable/13は
リリース版をマージするように変更されてしまったことですね。
これ、次にstable/14がブランチするとき破綻しそうな気しか
しないんですが...。 最悪でも、両バージョンで使用できる
featureに差がない状況でないと危険で。
On Thu, 22 Jul 2021 21:16:15 +0900
KIRIYAMA Kazuhiko <kiri ＠ truefc.org> wrote:
> On Tue, 20 Jul 2021 09:50:53 +0900,
> Hideo Kuwabara wrote:
> >
> > きりやま さん、ありがとうございます。
> >
> > そうですね、JBODでやるのが早いと思いますが、1個壊れた時が怖いなと思い止めました。ブートローダーをストライピングに置くと故障率が倍になると言われて、移動しました。
> >
> > JBODの出来るIFの乗ってないでBIOS+GPT
> > もあったので、この方法に統一しました。
> >
> >
> >
> >
> > 2021年7月20日(火) 6:56 KIRIYAMA Kazuhiko <kiri ＠ truefc.org>:
> >
> > > On Mon, 19 Jul 2021 09:50:03 +0900,
> > > Hideo Kuwabara wrote:
> > > >
> > > > 返信ありがとうございます。
> > > > Root on ZFSの甘い罠でした。
> > > >
> > > > gptzfsbootを使っていて、gptのパーティションなので、4Tは大丈夫かと思っていたのですが、思い込みでした。
> > > >
> > > > gpt はあくまで mbr の上位互換があるので、ブートブロックは2T以内に置かないと、2Tを使った頃にブート出来なくなります。
> > > >
> > > > /boot を移動してから tarで解凍すると動くとか、bootコードを再書き込みすると治るとかありますが、運が良いと治るようです。
> > > >
> > > >
> > > ブートローダーの置いてあるファイルシステムの最後GPTの管理テーブルを書くらしいですが、BIOSが最後をレポートするときにINT13しかないので、2Tを超えた時に正しい値を返すと限らないとのことです。
> > > >
> > > > 管理テーブルが行方不明になると救いようが無いと思います。ストライピングだし無理かと思います。
> > > >
> > > > UEFIの場合にはAPIがあって大丈夫のようですね。
> > > >
> > > > 状態は、USBでブートすれば、ZFSは見えない状態でしたが、-f でimportしたら普通に見えるようになりました。
> > > >
> > > > こうなるとデータ救っておいて再インストールかと思ってます。
> > > >
> > > > あ、一つ試してない心残りがあります。
> > > > gpart recover ada0
> > > >
> > > > これをやってから再インストールすれば良かったなと心残りの状態です。
> > > >
> > > > 最終的には、プールを1個追加して/bootdirを
> > > > zfsroot にマウントしました。ここに/bootを移動してから、リンクしました。
> > > > boodir は、freebsd-zfs
> > > で1gのスライスを切りました。UEFIがないので、GPTの数バイトの管理テーブルはここに書かれると思います。
> > > > ブートローダーのプールは、zfs mirror
> > > > に一応しました。
> > > >
> > > > 現在は6TB辛い書き込んでますが、問題無くリブートできております。
> > >
> > > このあたりの話は [1] にありますが，結局 RAID カードの JBOD
> > > でディスクを 2TB に分割した状態にしてやれば FreeBSD 側で認識
> > > するので，そいつらをまとめて RAIDZ3 とかにするしかできないの
> > > ではと思います．うちでは以下のようなかんじで使ってます．
> > >
> > > root ＠ vm:~ # uname -a
> > > FreeBSD xx.xxxxxx.xxx 14.0-CURRENT FreeBSD 14.0-CURRENT #1
> > > main-n244894-f61e92ca5a23: Fri Feb 19 07:41:10 JST 2021
> > > admin ＠ xx.xxxxxx.xxx:/usr/obj/usr/src/amd64.amd64/sys/GENERIC amd64
> > > root ＠ vm:~ # zpool list
> > > NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP
> > > HEALTH ALTROOT
> > > bootpool 1.88G 320M 1.56G - - 1% 16% 1.00x
> > > ONLINE -
> > > zroot 20.2T 4.77T 15.5T - - 8% 23% 1.00x
> > > ONLINE -
> > > root ＠ vm:~ # zpool status
> > > pool: bootpool
> > > state: ONLINE
> > > status: Some supported features are not enabled on the pool. The pool can
> > > still be used, but some features are unavailable.
> > > action: Enable all features using 'zpool upgrade'. Once this is done,
> > > the pool may no longer be accessible by software that does not
> > > support
> > > the features. See zpool-features(5) for details.
> > > scan: scrub repaired 0B in 00:00:02 with 0 errors on Wed Nov 4 20:36:05
>
> ところで，zpool-features(5) を使ってらっしゃる方はいらっしゃ
> いますでしょうか？ 私は怖くて未だに `zpool upgrade' してない
> んですが... ;-)
>
> > > 2020
> > > config:
> > >
> > > NAME STATE READ WRITE CKSUM
> > > bootpool ONLINE 0 0 0
> > > mirror-0 ONLINE 0 0 0
> > > mfid0p2 ONLINE 0 0 0
> > > mfid1p2 ONLINE 0 0 0
> > > mfid2p2 ONLINE 0 0 0
> > > mfid3p2 ONLINE 0 0 0
> > > mfid4p2 ONLINE 0 0 0
> > > mfid5p2 ONLINE 0 0 0
> > > mfid6p2 ONLINE 0 0 0
> > > mfid7p2 ONLINE 0 0 0
> > > mfid8p2 ONLINE 0 0 0
> > > mfid9p2 ONLINE 0 0 0
> > > mfid10p2 ONLINE 0 0 0
> > > mfid11p2 ONLINE 0 0 0
> > >
> > > errors: No known data errors
> > >
> > > pool: zroot
> > > state: ONLINE
> > > status: Some supported features are not enabled on the pool. The pool can
> > > still be used, but some features are unavailable.
> > > action: Enable all features using 'zpool upgrade'. Once this is done,
> > > the pool may no longer be accessible by software that does not
> > > support
> > > the features. See zpool-features(5) for details.
> > > scan: scrub repaired 0B in 01:14:07 with 0 errors on Wed Nov 4 21:50:23
> > > 2020
> > > config:
> > >
> > > NAME STATE READ WRITE CKSUM
> > > zroot ONLINE 0 0 0
> > > raidz3-0 ONLINE 0 0 0
> > > mfid0p4 ONLINE 0 0 0
> > > mfid1p4 ONLINE 0 0 0
> > > mfid2p4 ONLINE 0 0 0
> > > mfid3p4 ONLINE 0 0 0
> > > mfid4p4 ONLINE 0 0 0
> > > mfid5p4 ONLINE 0 0 0
> > > mfid6p4 ONLINE 0 0 0
> > > mfid7p4 ONLINE 0 0 0
> > > mfid8p4 ONLINE 0 0 0
> > > mfid9p4 ONLINE 0 0 0
> > > mfid10p4 ONLINE 0 0 0
> > > mfid11p4 ONLINE 0 0 0
> > >
> > > errors: No known data errors
> > > root ＠ vm:~ #
> > >
> > >
> > > [1]
> > > http://freebsd.1045724.x6.nabble.com/ZFS-I-O-error-blocks-larger-than-16777216-are-not-supported-tt6265032.html#none
> > >
> > > >
> > > >
> > > >
> > > > 2021年7月18日(日) 0:52 skyblue <zyxjulep ＠ gmail.com>:
> > > >
> > > > > 悸村です。
> > > > > 当方、たいていは ufs を使用しているので、zfs に関して詳しくな
> > > > > いのですが、ちょっと気になる点があります。
> > > > >
> > > > > On Mon, 5 Jul 2021 19:47:28 +0900
> > > > > Hideo Kuwabara <kuwa ＠ superconnect.or.jp> wrote:
> > > > >
> > > > > > ハードディスクは入れ替えたばかりなので、ハードの不良ではないと思います。
> > > > > > 少し前に、 installworld, installkernel で 11.4p4 で動かしていました。
> > > > >
> > > > > /usr/src/UPDATING の 'ZFS notes' はお読みになられたでしょうか。
> > > > > > ZFS notes
> > > > > > ---------
> > > > > > When upgrading the boot ZFS pool to a new version, always follow
> > > > > > these two steps:
> > > > > >
> > > > > > 1.) recompile and reinstall the ZFS boot loader and boot block
> > > > > > (this is part of "make buildworld" and "make installworld")
> > > > > >
> > > > > > 2.) update the ZFS boot block on your boot drive
> > > > > >
> > > > > > The following example updates the ZFS boot block on the first
> > > > > > partition (freebsd-boot) of a GPT partitioned drive ada0:
> > > > > > "gpart bootcode -p /boot/gptzfsboot -i 1 ada0"
> > > > > >
> > > > > > Non-boot pools do not need these updates.
> > > > >
> > > > > 恐らく、installworld の直後あたりに、
> > > > > > "gpart bootcode -p /boot/gptzfsboot -i 1 ada0"
> > > > > と、boot block を更新する作業が必須のように書いてあります。
> > > > >
> > > > > 我が家では追試のテストが出来ない現状です。
> > > > > こちらの勘違いでしたら、外している筈なので、ご容赦ください。
> > > > >
> > > > > なお、当該の注記は、11.4 と 13.0 では、幾らか差異があります。
> > > > >
> > > > > --- /usr/src/UPDATING 2020-06-12 20:48:06.000000000 +0900
> > > > > +++ /y2/UPDATING-fb13.0-p3 2021-04-09 09:24:00.000000000 +0900
> > > > >
> > > > > @@ -1707,9 +2268,11 @@
> > > > >
> > > > > 2.) update the ZFS boot block on your boot drive
> > > > >
> > > > > - The following example updates the ZFS boot block on the first
> > > > > - partition (freebsd-boot) of a GPT partitioned drive ada0:
> > > > > - "gpart bootcode -p /boot/gptzfsboot -i 1 ada0"
> > > > > + The following example updates the ZFS boot block on the
> > > > > + freebsd-boot partition of a GPT partitioned drive ada0:
> > > > > + "gpart bootcode -p /boot/gptzfsboot -i $N ada0"
> > > > > + The value $N will typically be 1 (if booting from BIOS) or 2
> > > (if
> > > > > + booting from EFI).
> > > > >
> > > > > 13.0 では、いわゆる legacy BIOS と UEFI では別の指定をするように
> > > > > 記述されています。
> > > > >
> > > > >
> > > > > On Mon, 5 Jul 2021 19:47:28 +0900
> > > > > Hideo Kuwabara <kuwa ＠ superconnect.or.jp> wrote:
> > > > >
> > > > > > 桑原と申します。
> > > > > >
> > > > > > FreeBSD11.4 p4 にして暫くしたら突然bootしなくなりました。
> > > > > >
> > > > > >
> > > > > > Attempting Boot From Hard Drive (C:)
> > > > > > ZFS: i/o error - all block copies unavaillavle
> > > > > > ZFS: cat't read MOS of pool zroot
> > > > > > gptzfsboot: failed to mount default pool zroot
> > > > > >
> > > > > > FreeBSD/x86 boot
> > > > > >
> > > > > > 復旧のヒントを頂ければと思います。
> > > > > >
> > > > > > ハードディスクは入れ替えたばかりなので、ハードの不良ではないと思います。
> > > > > > 少し前に、 installworld, installkernel で 11.4p4 で動かしていました。
> > > > > >
> > > > > > USBでbootしても、zpool は見えませんでした。
> > > > > > そこで、 zpool import zroot しましたが はねられ 指示に従って
> > > > > > zpool import -f zroot したら zpool は正常に見えるようになり、
> > > > > > 手動でマウントすると中身は正しく見えますが、ブートできません。
> > > > > > 何かお呪いが必要でしょうか？
> > > > >
> > > > > --
> > > > > 悸村成一
> > > > > _______________________________________________
> > > > > freebsd-users-jp ＠ freebsd.org mailing list
> > > > > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp
> > > > > To unsubscribe, send any mail to "
> > > freebsd-users-jp-unsubscribe ＠ freebsd.org
> > > > > "
> > > > >
> > > > --
> > > >
> > > > Super Connect Network
> > > > Hideo Kuwabara
> > > > _______________________________________________
> > > > freebsd-users-jp ＠ freebsd.org mailing list
> > > > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp
> > > > To unsubscribe, send any mail to "
> > > freebsd-users-jp-unsubscribe ＠ freebsd.org"
> > > >
> > >
> > > ---
> > > きりやま <kiri ＠ truefc.org>
> > > _______________________________________________
> > > freebsd-users-jp ＠ freebsd.org mailing list
> > > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp
> > > To unsubscribe, send any mail to "freebsd-users-jp-unsubscribe ＠ freebsd.org
> > > "
> > >
> > --
> >
> > Super Connect Network
> > Hideo Kuwabara
> > _______________________________________________
> > freebsd-users-jp ＠ freebsd.org mailing list
> > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp
> > To unsubscribe, send any mail to "freebsd-users-jp-unsubscribe ＠ freebsd.org"
> >
>
> ---
> きりやま <kiri ＠ truefc.org>
> _______________________________________________
> freebsd-users-jp ＠ freebsd.org mailing list
> https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp
> To unsubscribe, send any mail to "freebsd-users-jp-unsubscribe ＠ freebsd.org"
--
青木 知明 [Tomoaki AOKI] <junchoon ＠ dec.sakura.ne.jp>
freebsd-users-jp メーリングリストの案内