bootstrap: -mcpu=baseline en zig cc — reproducibilidad CPU-independiente (Stage 2)
El rebuild in-rootfs de Stage 2 cazó un no-determinismo real: stage1 reconstruido en la VM divergía del host (of_tree host=b3:94a4f1… vs VM=b3:ab615b…), aun con el seal hash idéntico (el seal es of_inputs: mismo key ≠ mismos bytes). Diagnóstico (control en el host, sin VM): un rebuild de hammerd en el host es byte-idéntico al cacheado, así que la receta es determinista host-a-host y el cache no está stale. La divergencia es del entorno de build de la VM: `zig cc` default a `-mcpu=native` y hornea la ISA del builder en el C/asm de los build-scripts (blake3, curve25519-dalek). El host tiene SHA-NI+AVX2; `-cpu Broadwell` (VM bajo TCG) no tiene SHA-NI ⇒ codegen distinto ⇒ bytes distintos ⇒ of_tree distinto. Misma raíz que el SIGILL de AVX del runbook §7 (binarios al CPU del builder, no a un baseline genérico). Fix: `-mcpu=baseline` en TODOS los sitios zig cc — CC/CXX del sandbox, los dos wrappers Cargo (.hammer-zig-cc) y CC/HOSTCC de la receta de busybox. Las rutas SIMD del runtime (blake3/sha2) son asm con dispatch en runtime: siguen presentes. Bonus: cierra el AVX/SIGILL del §7 (corre en qemu64 sin -cpu Broadwell). Validado en el host: con baseline hammerd cambia de bytes (1672448 vs 1677584 — confirma que el default no era baseline) y los 3 componentes rebuildan limpio (stage1 rc=0). Nueva referencia CPU-independiente of_tree(stage1-baseline)= b3:4408e44e2ec51c3769deffcd64dd1f6c2010d414418937c3fa7930a0ded3f845. Runbook §8c documenta el cruce del muro Rust-offline (cargo vendor por la NIC, hammerd sellado in-VM en 74m35s) y este diagnóstico+fix. Nota (plan C.2): el flag de CPU no entra en of_inputs ⇒ cambio de toolchain/flags da cache-hit con bytes viejos; cerrar ese "pin de toolchain al hash" es trabajo aparte. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
Sergio
co-authored by
Claude Opus 4.8
Claude Opus 4.8
parent
fd20e38d38
commit
4fe452848f
@@ -305,7 +305,7 @@ fn resolve_phases(recipe: &Recipe, src: &Path) -> hammer_core::Result<Phases> {
|
||||
Some(format!(
|
||||
"printf '%s\\n' '#!/bin/sh' 'for a do' \
|
||||
'case \"$a\" in --target=*) a=--target=x86_64-linux-musl ;; esac' \
|
||||
'set -- \"$@\" \"$a\"' 'shift' 'done' 'exec zig cc \"$@\"' \
|
||||
'set -- \"$@\" \"$a\"' 'shift' 'done' 'exec zig cc -mcpu=baseline \"$@\"' \
|
||||
> \"$PWD/.hammer-zig-cc\" && chmod +x \"$PWD/.hammer-zig-cc\" && \
|
||||
CC=\"$PWD/.hammer-zig-cc\" RUSTFLAGS=\"-C linker=$PWD/.hammer-zig-cc\" \
|
||||
cargo rustc --release --locked --offline{flags_suffix} -- {bin_flags}"
|
||||
@@ -315,7 +315,7 @@ fn resolve_phases(recipe: &Recipe, src: &Path) -> hammer_core::Result<Phases> {
|
||||
// per-triple. Hermético y reproducible: `--offline` (deps vendoreadas) +
|
||||
// `--locked` (Cargo.lock fijo, ADR 0006). zig provee el `libgcc_s` que el link
|
||||
// dinámico musl pide (ver M2 del plan arje↔hammer).
|
||||
let setup = "printf '#!/bin/sh\\nexec zig cc \"$@\"\\n' > \"$PWD/.hammer-zig-cc\" && \
|
||||
let setup = "printf '#!/bin/sh\\nexec zig cc -mcpu=baseline \"$@\"\\n' > \"$PWD/.hammer-zig-cc\" && \
|
||||
chmod +x \"$PWD/.hammer-zig-cc\" && ";
|
||||
let triple = rustc_triple(&recipe.build.target);
|
||||
let linker_var = cargo_linker_env_var(&triple);
|
||||
|
||||
@@ -160,8 +160,14 @@ impl Sandbox {
|
||||
("HOME", "/tmp"),
|
||||
("DESTDIR", "/out"),
|
||||
("PREFIX", "/usr"),
|
||||
("CC", "zig cc"),
|
||||
("CXX", "zig c++"),
|
||||
// `-mcpu=baseline`: codegen al baseline x86-64 genérico, NO al CPU del builder. Sin esto,
|
||||
// `zig cc` default a `-mcpu=native` y hornea la ISA de quien compila (SHA-NI/AVX2 del
|
||||
// host) ⇒ el binario diverge entre CPUs distintos (host vs la VM `-cpu Broadwell`) y
|
||||
// rompe la reproducibilidad — un no-determinismo que Stage 2 cazó (runbook §8c, SDD 09
|
||||
// §2). De paso cierra el SIGILL de AVX en qemu64 (runbook §7). Las rutas SIMD que sí
|
||||
// necesita el runtime (blake3/sha2) son asm con dispatch en runtime: siguen presentes.
|
||||
("CC", "zig cc -mcpu=baseline"),
|
||||
("CXX", "zig c++ -mcpu=baseline"),
|
||||
("AR", "zig ar"),
|
||||
("LC_ALL", "C"),
|
||||
("LANG", "C"),
|
||||
|
||||
@@ -367,6 +367,49 @@ Sumado al coste de los builds Rust bajo TCG (horas, RAM justa ⇒ riesgo de OOM
|
||||
veredicto pleno **4/4** se completa en un host con **KVM + más RAM** (y, idealmente, un builder
|
||||
booteado desde **disco** en vez de initramfs puro, que además evita la fricción ramfs/ownership).
|
||||
|
||||
### Rust-offline cruzado + un no-determinismo cazado: el CPU del builder (2026-06-11)
|
||||
|
||||
**El muro Rust-offline cayó.** Se dio red a la VM (NIC e1000 qemu user-mode + `insmod e1000.ko` +
|
||||
config estática de `eth0` 10.0.2.15 + DNS de slirp + CA bundle de Alpine copiado a la ruta estándar,
|
||||
commits `09034a5`/`fd20e38`). Con eso `cargo vendor` resolvió **crates.io entero** (DNS+TLS), y
|
||||
**`hammerd` se compiló, instaló y selló dentro de la VM** (74 m 35 s bajo TCG). Para no pagar el
|
||||
vendoring del monorepo de arje-zero bajo TCG, esta corrida **preseed-eó** musl/busybox/arje-zero en
|
||||
el store del builder y dejó **sólo hammerd** para reconstruir in-VM (driver `work/drive-rebuild.py`).
|
||||
|
||||
**Veredicto: `✗ DIVERGENTE`** — y es justo lo que Stage 2 existe para cazar.
|
||||
`of_tree(stage1)=b3:94a4f1…` (host) vs `of_tree(stage1')=b3:ab615b…` (VM). El **seal hash** del rootfs
|
||||
sí coincidió (`b3:f11ca6e5…`), pero el seal es `of_inputs` (recipe + `(name,hash)` de componentes):
|
||||
**mismo key ≠ mismos bytes**. Lo único reconstruido in-VM era `hammerd`, así que la divergencia está
|
||||
ahí.
|
||||
|
||||
**Diagnóstico (experimento de control en el host, sin VM):**
|
||||
|
||||
1. **Rebuild de `hammerd` en el host → byte-idéntico** al cacheado (`cmp` limpio, dos veces). La
|
||||
receta es determinista host-a-host; el cache **no** está stale.
|
||||
2. ⇒ la divergencia es **del entorno de build de la VM**. La única entrada de codegen no fijada es el
|
||||
**CPU del builder**: `zig cc` (que compila el C/asm de los build-scripts: blake3, curve25519-dalek)
|
||||
**default a `-mcpu=native`** y hornea la ISA de quien compila.
|
||||
3. **Evidencia ISA:** el `hammerd` del host trae `sha256rnds2` (SHA-NI) ×32 y 3530 instrucciones
|
||||
AVX2 (`ymm`). El host tiene `sha_ni`+`avx2`; **`-cpu Broadwell` (el de la VM bajo TCG) NO tiene
|
||||
SHA-NI** ⇒ codegen distinto ⇒ bytes distintos ⇒ `of_tree` distinto. Es la misma raíz que el SIGILL
|
||||
de AVX del §7 (binarios al CPU del builder, no a un baseline).
|
||||
|
||||
**Fix — `-mcpu=baseline` en TODOS los sitios `zig cc`** (codegen al baseline x86-64 genérico,
|
||||
independiente del CPU): el `CC`/`CXX` del sandbox (`sandbox.rs`), los dos wrappers Cargo
|
||||
(`.hammer-zig-cc`, `lib.rs`) y los `CC`/`HOSTCC` de la receta de busybox. Las rutas SIMD que el
|
||||
runtime sí usa (blake3/sha2) son asm con dispatch en runtime: siguen presentes y funcionando. Bonus:
|
||||
cierra de paso el AVX/SIGILL del §7 (el binario corre en qemu64 sin `-cpu Broadwell`).
|
||||
|
||||
**Validado en el host:** con baseline, `hammerd` cambia de bytes (1 672 448 vs 1 677 584 — confirma
|
||||
que el default NO era baseline) y **los 3 componentes rebuildan limpio** (`stage1 rc=0`). Nueva
|
||||
referencia **CPU-independiente**: `of_tree(stage1-baseline)=b3:4408e44e2ec51c3769deffcd64dd1f6c2010d414418937c3fa7930a0ded3f845`
|
||||
(con musl `57b66a2e`+busybox `56664d70`+arje `bd0f8475`+hammerd `d08fd273`, todos baseline salvo arje
|
||||
que quedó preseed nativo). **Próxima iteración:** re-correr el builder con el toolchain baseline y
|
||||
verificar que el rebuild in-VM de `hammerd` reproduce `4408e44e…` (✓); para el **4/4** pleno,
|
||||
rebuild baseline también de arje-zero. Nota de fondo (plan C.2): el flag de CPU **no** entra hoy en
|
||||
`of_inputs`, así que un cambio de toolchain/flags da cache-hit con bytes viejos — la misma tensión
|
||||
"pin de toolchain al hash" que conviene cerrar para que Stage 2 no dependa de borrar el store a mano.
|
||||
|
||||
## 9. Cross-check opcional — `arje-packager`
|
||||
|
||||
arje trae su propio empaquetador (`03_ukupacha/arje/init/arje-packager`):
|
||||
|
||||
@@ -25,7 +25,7 @@ link = "static"
|
||||
# no compila contra musl (gcc-ismos de red), así que lo desactivamos — es el ajuste mínimo
|
||||
# conocido para un build estático limpio con musl.
|
||||
#
|
||||
# CC='zig cc' HOSTCC='zig cc' EN LÍNEA DE COMANDO: el Kbuild de busybox fija `CC = gcc` y
|
||||
# CC='zig cc -mcpu=baseline' HOSTCC='zig cc -mcpu=baseline' EN LÍNEA DE COMANDO: el Kbuild de busybox fija `CC = gcc` y
|
||||
# `HOSTCC = gcc` con `=` (hard), que ignora el env `CC` del sandbox; sólo un override de línea de
|
||||
# comando gana. Apunta target (CC) y herramientas host (HOSTCC, p.ej. fixdep/gcc-version.sh) a
|
||||
# `zig cc`, manteniendo la hermeticidad zig-only (ADR 0003) sin meter gcc al rootfs.
|
||||
@@ -37,7 +37,7 @@ link = "static"
|
||||
# no-determinista y flaky (lo destapó la verificación de reproducibilidad de Stage 2). `yes ''`
|
||||
# acepta el default de cada NEW ⇒ config resuelta y determinista (busybox 1.36.1 no tiene el target
|
||||
# `olddefconfig`, así que usamos `oldconfig` alimentado por `yes`).
|
||||
configure = "make CC='zig cc' HOSTCC='zig cc' defconfig && sed -i -e 's/^# CONFIG_STATIC is not set/CONFIG_STATIC=y/' -e 's/^CONFIG_TC=y/# CONFIG_TC is not set/' -e 's/^CONFIG_FEATURE_TC_INGRESS=y/# CONFIG_FEATURE_TC_INGRESS is not set/' .config && yes '' | make CC='zig cc' HOSTCC='zig cc' oldconfig && sed -i -e 's/-Wl,--warn-common//g' -e 's/-Wl,-Map,[^ ]*//g' -e 's/-Wl,--verbose//g' scripts/trylink"
|
||||
compile = "make -j\"$(nproc)\" CC='zig cc' HOSTCC='zig cc'"
|
||||
configure = "make CC='zig cc -mcpu=baseline' HOSTCC='zig cc -mcpu=baseline' defconfig && sed -i -e 's/^# CONFIG_STATIC is not set/CONFIG_STATIC=y/' -e 's/^CONFIG_TC=y/# CONFIG_TC is not set/' -e 's/^CONFIG_FEATURE_TC_INGRESS=y/# CONFIG_FEATURE_TC_INGRESS is not set/' .config && yes '' | make CC='zig cc -mcpu=baseline' HOSTCC='zig cc -mcpu=baseline' oldconfig && sed -i -e 's/-Wl,--warn-common//g' -e 's/-Wl,-Map,[^ ]*//g' -e 's/-Wl,--verbose//g' scripts/trylink"
|
||||
compile = "make -j\"$(nproc)\" CC='zig cc -mcpu=baseline' HOSTCC='zig cc -mcpu=baseline'"
|
||||
# busybox instala en CONFIG_PREFIX (no DESTDIR): bin/busybox + symlinks de cada applet.
|
||||
install = "make CC='zig cc' HOSTCC='zig cc' CONFIG_PREFIX=/out install"
|
||||
install = "make CC='zig cc -mcpu=baseline' HOSTCC='zig cc -mcpu=baseline' CONFIG_PREFIX=/out install"
|
||||
|
||||
Reference in New Issue
Block a user