Discord har återaktiverat cirka 200 användare som AI-bannats av misstag

Omkring 200 Discord-konton har återaktiverats efter en bugg som ledde till att användare permanent stängdes av från meddelandetjänsten sedan rutnätsbaserade bilder felaktigt identifierats av AI som skadligt material. Under helgen noterades att Discords AI-baserade modereringsverktyg gjorde att i princip alla bilder med ett kvadratiskt rutnät felaktigt klassades som innehåll med CSAM.

"Our systems flag content by matching it against known harmful material. This kind of similarity matching can produce false positives, which is why a member of our Trust & Safety team always reviews flagged content before any action is taken," Discord explained in a thread on Twitter/X. It said that the primary focus of flagged content is to pause uploads, rather than ban a user outright.

Företaget förklarade också att syftet med systemet i första hand är att stoppa uppladdningar av misstänkt innehåll, inte att omedelbart stänga av användare. Det var dock buggen som låg bakom avstängningarna, och de konton som påverkades har nu granskats och återaktiverats. Discord uppger att över 8000 konton har påverkats av buggen sedan maj i år, men att samtliga nu har fått sina avstängningar hävda:

"We know that's not a satisfying explanation if this was your account, and we should have caught this sooner. We're working on better safeguards so this can't quietly happen again, and more broadly, on making sure our safety systems don't penalize people who did nothing wrong."

Om du har väntat med att visa upp ditt Minecraft-inventarium fullt av diamanter av rädsla för att bli avstängd på grund av buggen verkar det nu som att Discord har finjusterat sin mönsterigenkänning för att undvika felaktiga avstängningar.