> For the complete documentation index, see [llms.txt](https://docs.cerrix.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.cerrix.com/cerrix-documentation-no/om-cerrix/root-cause-analysis/rca-p1-incident-2025-07-09.md). # RCA P1 Avvik 2025-07-09 ## Avvikssammendrag **Produkt:** CERRIX Platform **Dato:** 2025-07-09 **Referanse-ID:** RCA-20250709-P1-ReleaseDowntime ## Avvikstidslinje
TidsstempelHendelse
2025-07-08 22:00Åpning av releasevinduet for sprint 46 og sprint 23 for alle produksjonsmiljøer
2025-07-08 22:13Nedetid starter for det første kundemiljøet
2025-07-08 23:59Alle kundemiljøer utilgjengelige
2025-07-09 07:20Oppdagelse av at produksjonsmiljøene ikke var tilgjengelige
2025-07-09 07:30La releasen tilbake i kø for alle produksjonsmiljøer
2025-07-09 08:00Kundemiljøene begynner å bli tilgjengelige igjen ett og ett
2025-07-09 08:45E-post sendt til alle kunder med informasjon om nedetiden
2025-07-09 09:37Alle produksjonsmiljøer er oppe og kjører, unntatt modulen for Avvik
2025-07-09 11:00Alle produksjonsmiljøer er oppe og kjører, inkludert modulen for Avvik
## Rotårsak ### Rotårsak Avviket ble forårsaket av en konfigurasjonsfeil knyttet til utrullingsrettigheter. Som et sikkerhetstiltak ble miljøene automatisk stengt ned for å forhindre videre problemer, og det var nødvendig med manuell inngripen for å gjenopprette tjenesten. ### Deteksjonsgap Selv om overvåkings- og varslingssystemene fungerte som tiltenkt, ble varslene ikke oppdaget av de ansvarlige ved utrullingstidspunktet. ### Årsaken til at problemet ikke ble identifisert før utgivelse Avviket var ikke knyttet til kodeendringene som ble distribuert, men heller til selve utrullingskonfigurasjonen. Derfor ble det ikke identifisert under test før release eller akseptansetesting. ## Konsekvensanalyse Kundene opplevde 8,5–11 timers nedetid i alle sine produksjonsmiljøer, hovedsakelig utenom arbeidstid. Miljøene var ikke tilgjengelige; i stedet viste de en feilside til kunden, noe som gjorde det umulig for dem å logge inn. Releasen gjaldt kun produksjonsmiljøene; alle deres test- og akseptansemiljøer har vært oppe og kjører uten problemer. ## Løsnings- og gjenopprettingstrinn ### Kortsiktige rettelser implementert En ny utrulling ble utført på PRD for alle miljøer, med korrekt konfigurasjon. ### Bekreftelse av stabilitet Bekreftelse fra kundene, overvåking av miljøene, helsesjekk og smoke-testing på interne produksjonsmiljøer ble gjennomført for å forsikre seg om at miljøene var tilbake til normal drift. ## Læringspunkter ### Hva fungerte bra Kommunikasjonen ble håndtert med stor omtanke av produktteamet og konsulentteamet. Tiden mellom oppdagelse og løsning var ganske kort. ### Hva som ikke fungerte bra En av hovedutfordringene som ble tydeliggjort av dette avviket, er at varslingen på det tidspunktet avviket oppstod, ikke varslet et medlem av teamet da manuell inngripen var nødvendig for at oppdateringen skulle fullføres. ### Forebyggende og korrigerende tiltak For å forhindre lignende avvik i fremtiden og ytterligere styrke tjenestepåliteligheten vår, iverksetter vi følgende tiltak:
HandlingForfallsdato
Vi vil gjennomgå og forbedre våre releasekonfigurasjoner for å forhindre at dette spesifikke problemet oppstår igjen i fremtidige utrullinger.2025-07-14
Vi forbedrer verktøyene våre for utrulling for å gjøre det enklere og mer pålitelig å legge releaser tilbake i kø, slik at løsning ved uventede problemer blir smidigere og raskere.2025-08-04
I tillegg tilbyr vi mer opplæring og kunnskapsdeling for å sikre at senior teammedlemmer er fullt oppdatert på alle sider av utrullingsprosessen.2025-07-14
Til slutt reviderer vi planleggingen av releaser og støttestrukturen vår for å sikre at teknisk støtte alltid er tilgjengelig under releasevinduer, også utenfor ordinær arbeidstid når det er nødvendig.2025-08-04 (før neste PRD-release)
Vi forblir fullt ut forpliktet til kontinuerlig å forbedre prosessene våre og minimere enhver potensiell påvirkning på kundene våre. Takk for forståelsen og tilliten. Hvis du har spørsmål om denne rotårsaksanalysen, vennligst [ta kontakt med oss](/cerrix-documentation-no/om-cerrix/getting-support.md). --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://docs.cerrix.com/cerrix-documentation-no/om-cerrix/root-cause-analysis/rca-p1-incident-2025-07-09.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.