From 4fe452848facd5d8e67009a8ae85ef0860cf656c Mon Sep 17 00:00:00 2001 From: Sergio Date: Thu, 11 Jun 2026 20:07:36 +0000 Subject: [PATCH] =?UTF-8?q?bootstrap:=20-mcpu=3Dbaseline=20en=20zig=20cc?= =?UTF-8?q?=20=E2=80=94=20reproducibilidad=20CPU-independiente=20(Stage=20?= =?UTF-8?q?2)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit El rebuild in-rootfs de Stage 2 cazó un no-determinismo real: stage1 reconstruido en la VM divergía del host (of_tree host=b3:94a4f1… vs VM=b3:ab615b…), aun con el seal hash idéntico (el seal es of_inputs: mismo key ≠ mismos bytes). Diagnóstico (control en el host, sin VM): un rebuild de hammerd en el host es byte-idéntico al cacheado, así que la receta es determinista host-a-host y el cache no está stale. La divergencia es del entorno de build de la VM: `zig cc` default a `-mcpu=native` y hornea la ISA del builder en el C/asm de los build-scripts (blake3, curve25519-dalek). El host tiene SHA-NI+AVX2; `-cpu Broadwell` (VM bajo TCG) no tiene SHA-NI ⇒ codegen distinto ⇒ bytes distintos ⇒ of_tree distinto. Misma raíz que el SIGILL de AVX del runbook §7 (binarios al CPU del builder, no a un baseline genérico). Fix: `-mcpu=baseline` en TODOS los sitios zig cc — CC/CXX del sandbox, los dos wrappers Cargo (.hammer-zig-cc) y CC/HOSTCC de la receta de busybox. Las rutas SIMD del runtime (blake3/sha2) son asm con dispatch en runtime: siguen presentes. Bonus: cierra el AVX/SIGILL del §7 (corre en qemu64 sin -cpu Broadwell). Validado en el host: con baseline hammerd cambia de bytes (1672448 vs 1677584 — confirma que el default no era baseline) y los 3 componentes rebuildan limpio (stage1 rc=0). Nueva referencia CPU-independiente of_tree(stage1-baseline)= b3:4408e44e2ec51c3769deffcd64dd1f6c2010d414418937c3fa7930a0ded3f845. Runbook §8c documenta el cruce del muro Rust-offline (cargo vendor por la NIC, hammerd sellado in-VM en 74m35s) y este diagnóstico+fix. Nota (plan C.2): el flag de CPU no entra en of_inputs ⇒ cambio de toolchain/flags da cache-hit con bytes viejos; cerrar ese "pin de toolchain al hash" es trabajo aparte. Co-Authored-By: Claude Opus 4.8 (1M context) --- crates/hammer-build/src/lib.rs | 4 +-- crates/hammer-build/src/sandbox.rs | 10 +++++-- docs/runbooks/stage1-vm-boot.md | 43 ++++++++++++++++++++++++++++++ recipes/busybox.toml | 8 +++--- 4 files changed, 57 insertions(+), 8 deletions(-) diff --git a/crates/hammer-build/src/lib.rs b/crates/hammer-build/src/lib.rs index 28fb1877..03b1de93 100644 --- a/crates/hammer-build/src/lib.rs +++ b/crates/hammer-build/src/lib.rs @@ -305,7 +305,7 @@ fn resolve_phases(recipe: &Recipe, src: &Path) -> hammer_core::Result { Some(format!( "printf '%s\\n' '#!/bin/sh' 'for a do' \ 'case \"$a\" in --target=*) a=--target=x86_64-linux-musl ;; esac' \ - 'set -- \"$@\" \"$a\"' 'shift' 'done' 'exec zig cc \"$@\"' \ + 'set -- \"$@\" \"$a\"' 'shift' 'done' 'exec zig cc -mcpu=baseline \"$@\"' \ > \"$PWD/.hammer-zig-cc\" && chmod +x \"$PWD/.hammer-zig-cc\" && \ CC=\"$PWD/.hammer-zig-cc\" RUSTFLAGS=\"-C linker=$PWD/.hammer-zig-cc\" \ cargo rustc --release --locked --offline{flags_suffix} -- {bin_flags}" @@ -315,7 +315,7 @@ fn resolve_phases(recipe: &Recipe, src: &Path) -> hammer_core::Result { // per-triple. Hermético y reproducible: `--offline` (deps vendoreadas) + // `--locked` (Cargo.lock fijo, ADR 0006). zig provee el `libgcc_s` que el link // dinámico musl pide (ver M2 del plan arje↔hammer). - let setup = "printf '#!/bin/sh\\nexec zig cc \"$@\"\\n' > \"$PWD/.hammer-zig-cc\" && \ + let setup = "printf '#!/bin/sh\\nexec zig cc -mcpu=baseline \"$@\"\\n' > \"$PWD/.hammer-zig-cc\" && \ chmod +x \"$PWD/.hammer-zig-cc\" && "; let triple = rustc_triple(&recipe.build.target); let linker_var = cargo_linker_env_var(&triple); diff --git a/crates/hammer-build/src/sandbox.rs b/crates/hammer-build/src/sandbox.rs index 5e7a559c..7e385680 100644 --- a/crates/hammer-build/src/sandbox.rs +++ b/crates/hammer-build/src/sandbox.rs @@ -160,8 +160,14 @@ impl Sandbox { ("HOME", "/tmp"), ("DESTDIR", "/out"), ("PREFIX", "/usr"), - ("CC", "zig cc"), - ("CXX", "zig c++"), + // `-mcpu=baseline`: codegen al baseline x86-64 genérico, NO al CPU del builder. Sin esto, + // `zig cc` default a `-mcpu=native` y hornea la ISA de quien compila (SHA-NI/AVX2 del + // host) ⇒ el binario diverge entre CPUs distintos (host vs la VM `-cpu Broadwell`) y + // rompe la reproducibilidad — un no-determinismo que Stage 2 cazó (runbook §8c, SDD 09 + // §2). De paso cierra el SIGILL de AVX en qemu64 (runbook §7). Las rutas SIMD que sí + // necesita el runtime (blake3/sha2) son asm con dispatch en runtime: siguen presentes. + ("CC", "zig cc -mcpu=baseline"), + ("CXX", "zig c++ -mcpu=baseline"), ("AR", "zig ar"), ("LC_ALL", "C"), ("LANG", "C"), diff --git a/docs/runbooks/stage1-vm-boot.md b/docs/runbooks/stage1-vm-boot.md index 4fd398e9..03bb30ed 100644 --- a/docs/runbooks/stage1-vm-boot.md +++ b/docs/runbooks/stage1-vm-boot.md @@ -367,6 +367,49 @@ Sumado al coste de los builds Rust bajo TCG (horas, RAM justa ⇒ riesgo de OOM veredicto pleno **4/4** se completa en un host con **KVM + más RAM** (y, idealmente, un builder booteado desde **disco** en vez de initramfs puro, que además evita la fricción ramfs/ownership). +### Rust-offline cruzado + un no-determinismo cazado: el CPU del builder (2026-06-11) + +**El muro Rust-offline cayó.** Se dio red a la VM (NIC e1000 qemu user-mode + `insmod e1000.ko` + +config estática de `eth0` 10.0.2.15 + DNS de slirp + CA bundle de Alpine copiado a la ruta estándar, +commits `09034a5`/`fd20e38`). Con eso `cargo vendor` resolvió **crates.io entero** (DNS+TLS), y +**`hammerd` se compiló, instaló y selló dentro de la VM** (74 m 35 s bajo TCG). Para no pagar el +vendoring del monorepo de arje-zero bajo TCG, esta corrida **preseed-eó** musl/busybox/arje-zero en +el store del builder y dejó **sólo hammerd** para reconstruir in-VM (driver `work/drive-rebuild.py`). + +**Veredicto: `✗ DIVERGENTE`** — y es justo lo que Stage 2 existe para cazar. +`of_tree(stage1)=b3:94a4f1…` (host) vs `of_tree(stage1')=b3:ab615b…` (VM). El **seal hash** del rootfs +sí coincidió (`b3:f11ca6e5…`), pero el seal es `of_inputs` (recipe + `(name,hash)` de componentes): +**mismo key ≠ mismos bytes**. Lo único reconstruido in-VM era `hammerd`, así que la divergencia está +ahí. + +**Diagnóstico (experimento de control en el host, sin VM):** + +1. **Rebuild de `hammerd` en el host → byte-idéntico** al cacheado (`cmp` limpio, dos veces). La + receta es determinista host-a-host; el cache **no** está stale. +2. ⇒ la divergencia es **del entorno de build de la VM**. La única entrada de codegen no fijada es el + **CPU del builder**: `zig cc` (que compila el C/asm de los build-scripts: blake3, curve25519-dalek) + **default a `-mcpu=native`** y hornea la ISA de quien compila. +3. **Evidencia ISA:** el `hammerd` del host trae `sha256rnds2` (SHA-NI) ×32 y 3530 instrucciones + AVX2 (`ymm`). El host tiene `sha_ni`+`avx2`; **`-cpu Broadwell` (el de la VM bajo TCG) NO tiene + SHA-NI** ⇒ codegen distinto ⇒ bytes distintos ⇒ `of_tree` distinto. Es la misma raíz que el SIGILL + de AVX del §7 (binarios al CPU del builder, no a un baseline). + +**Fix — `-mcpu=baseline` en TODOS los sitios `zig cc`** (codegen al baseline x86-64 genérico, +independiente del CPU): el `CC`/`CXX` del sandbox (`sandbox.rs`), los dos wrappers Cargo +(`.hammer-zig-cc`, `lib.rs`) y los `CC`/`HOSTCC` de la receta de busybox. Las rutas SIMD que el +runtime sí usa (blake3/sha2) son asm con dispatch en runtime: siguen presentes y funcionando. Bonus: +cierra de paso el AVX/SIGILL del §7 (el binario corre en qemu64 sin `-cpu Broadwell`). + +**Validado en el host:** con baseline, `hammerd` cambia de bytes (1 672 448 vs 1 677 584 — confirma +que el default NO era baseline) y **los 3 componentes rebuildan limpio** (`stage1 rc=0`). Nueva +referencia **CPU-independiente**: `of_tree(stage1-baseline)=b3:4408e44e2ec51c3769deffcd64dd1f6c2010d414418937c3fa7930a0ded3f845` +(con musl `57b66a2e`+busybox `56664d70`+arje `bd0f8475`+hammerd `d08fd273`, todos baseline salvo arje +que quedó preseed nativo). **Próxima iteración:** re-correr el builder con el toolchain baseline y +verificar que el rebuild in-VM de `hammerd` reproduce `4408e44e…` (✓); para el **4/4** pleno, +rebuild baseline también de arje-zero. Nota de fondo (plan C.2): el flag de CPU **no** entra hoy en +`of_inputs`, así que un cambio de toolchain/flags da cache-hit con bytes viejos — la misma tensión +"pin de toolchain al hash" que conviene cerrar para que Stage 2 no dependa de borrar el store a mano. + ## 9. Cross-check opcional — `arje-packager` arje trae su propio empaquetador (`03_ukupacha/arje/init/arje-packager`): diff --git a/recipes/busybox.toml b/recipes/busybox.toml index 368fcbcd..604051de 100644 --- a/recipes/busybox.toml +++ b/recipes/busybox.toml @@ -25,7 +25,7 @@ link = "static" # no compila contra musl (gcc-ismos de red), así que lo desactivamos — es el ajuste mínimo # conocido para un build estático limpio con musl. # -# CC='zig cc' HOSTCC='zig cc' EN LÍNEA DE COMANDO: el Kbuild de busybox fija `CC = gcc` y +# CC='zig cc -mcpu=baseline' HOSTCC='zig cc -mcpu=baseline' EN LÍNEA DE COMANDO: el Kbuild de busybox fija `CC = gcc` y # `HOSTCC = gcc` con `=` (hard), que ignora el env `CC` del sandbox; sólo un override de línea de # comando gana. Apunta target (CC) y herramientas host (HOSTCC, p.ej. fixdep/gcc-version.sh) a # `zig cc`, manteniendo la hermeticidad zig-only (ADR 0003) sin meter gcc al rootfs. @@ -37,7 +37,7 @@ link = "static" # no-determinista y flaky (lo destapó la verificación de reproducibilidad de Stage 2). `yes ''` # acepta el default de cada NEW ⇒ config resuelta y determinista (busybox 1.36.1 no tiene el target # `olddefconfig`, así que usamos `oldconfig` alimentado por `yes`). -configure = "make CC='zig cc' HOSTCC='zig cc' defconfig && sed -i -e 's/^# CONFIG_STATIC is not set/CONFIG_STATIC=y/' -e 's/^CONFIG_TC=y/# CONFIG_TC is not set/' -e 's/^CONFIG_FEATURE_TC_INGRESS=y/# CONFIG_FEATURE_TC_INGRESS is not set/' .config && yes '' | make CC='zig cc' HOSTCC='zig cc' oldconfig && sed -i -e 's/-Wl,--warn-common//g' -e 's/-Wl,-Map,[^ ]*//g' -e 's/-Wl,--verbose//g' scripts/trylink" -compile = "make -j\"$(nproc)\" CC='zig cc' HOSTCC='zig cc'" +configure = "make CC='zig cc -mcpu=baseline' HOSTCC='zig cc -mcpu=baseline' defconfig && sed -i -e 's/^# CONFIG_STATIC is not set/CONFIG_STATIC=y/' -e 's/^CONFIG_TC=y/# CONFIG_TC is not set/' -e 's/^CONFIG_FEATURE_TC_INGRESS=y/# CONFIG_FEATURE_TC_INGRESS is not set/' .config && yes '' | make CC='zig cc -mcpu=baseline' HOSTCC='zig cc -mcpu=baseline' oldconfig && sed -i -e 's/-Wl,--warn-common//g' -e 's/-Wl,-Map,[^ ]*//g' -e 's/-Wl,--verbose//g' scripts/trylink" +compile = "make -j\"$(nproc)\" CC='zig cc -mcpu=baseline' HOSTCC='zig cc -mcpu=baseline'" # busybox instala en CONFIG_PREFIX (no DESTDIR): bin/busybox + symlinks de cada applet. -install = "make CC='zig cc' HOSTCC='zig cc' CONFIG_PREFIX=/out install" +install = "make CC='zig cc -mcpu=baseline' HOSTCC='zig cc -mcpu=baseline' CONFIG_PREFIX=/out install"