Appearance
Poslední oblast spojuje zacházení s citlivými údaji a provozní dohled. Rozhoduje o tom, jak velká škoda může vzniknout, když se něco pokazí. U tohoto projektu je splněno 8 z 11 kontrol: bezpečnostní část je bez zjištěných nedostatků, provozní má tři.
Skóre
| Stav | Počet |
|---|---|
| ✅ OK | 8 |
| 🟥 Není OK | 3 |
Celkově: bezpečnostní část je v pořádku. Citlivé údaje nejsou v kódu, tajné hodnoty mají bezpečné uložení a rizikové operace mají oddělený postup, což je pro agentní vývoj zásadní. Provozní část má mezery v tom, jak se systém čte a obnovuje.
Co jsme hodnotili
| # | Kontrola | Stav |
|---|---|---|
| 1 | Citlivé informace nejsou součástí zdrojového kódu. | ✅ |
| 2 | Přístupové údaje a další tajné hodnoty jsou bezpečně ukládány a sdíleny. | ✅ |
| 3 | Konfigurace indexace aplikace odpovídá účelu cílového nasazení. | ✅ |
| 4 | Rizikové operace mají jasně oddělený a zdokumentovaný postup. | ✅ |
| 5 | Systém má nastavený monitoring a alerting aplikace, infrastruktury a dostupnosti služeb. | ✅ |
| 6 | Systém má nastavený alerting nákladů infrastruktury. | ✅ |
| 7 | Požadavky napříč službami lze sledovat pomocí distribuovaného tracingu. | ✅ |
| 8 | Systém má nastavené automatické zálohování. | ✅ |
| 9 | Logy jsou strukturované ve strojově čitelném formátu. | 🟥 |
| 10 | Projekt má definovaný a zdokumentovaný recovery plán. | 🟥 |
| 11 | Systém má definovanou očekávanou zátěž a její zvládnutí je pravidelně ověřováno zátěžovými testy. | 🟥 |
Zjištění
Rizikové operace mají oddělený postup
Operace jako migrace dat nebo destruktivní příkazy mají zdokumentovaný a oddělený postup. Agent, který zná hranici, ji dokáže respektovat, a člověk ví, kde musí zasáhnout.
Citlivé údaje nejsou v kódu
Tajné hodnoty jsou uložené a sdílené bezpečně, mimo zdrojový kód. U měření osy lidé jsme narazili na případ, kdy se agent opakovaně pokusil citlivé údaje do kódu vložit; tahle kontrola je splněná.
Monitoring, tracing a zálohování
Monitoring aplikace i infrastruktury je nastavený, včetně alertingu nákladů, a požadavky mezi službami lze sledovat distribuovaným tracingem. Zálohování běží automaticky.
🟥 Logy nejsou strukturované
Logy se ukládají jako nestrukturovaný text. Pro člověka to je nepohodlné, pro agenta téměř nepoužitelné: nedokáže z nich spolehlivě vyčíst příčinu chyby a dohledat souvislosti mezi službami. Strukturované logy jsou předpoklad toho, aby agent mohl diagnostikovat produkční problém; jinak zůstane u hádání nad zdrojovým kódem.
🟥 Chybí recovery plán
Automatické zálohování běží, ale neexistuje zdokumentovaný a ověřený postup obnovy. Záloha, u které nikdo nezkusil obnovu, je jen předpoklad zálohy. Toto zjištění nemá s AI nic společného, je to klasické provozní riziko. AI Readiness ho zachytí, protože vychází z projektového checklistu, ne z dotazníku o AI.
🟥 Zátěž se neověřuje
Očekávaná zátěž není definovaná a neověřuje se zátěžovými testy. Bez definované zátěže navíc nelze posoudit dopad změn, které agent navrhne, na výkon systému.
Doporučení
| Priorita | Doporučení |
|---|---|
| Vysoká | Zavést strukturované logování ve strojově čitelném formátu a popsat, jak v logech hledat. |
| Vysoká | Sepsat recovery plán a jednou ho nasucho odzkoušet, včetně záznamu o výsledku. |
| Střední | Definovat očekávanou zátěž a zavést pravidelné zátěžové testy. |
| Nízká | Doplnit přehled alertovacích pravidel a eskalační postup, které jsou dnes popsané jen zkratkou. |