Mänsklig kontroll

Artikel 14 i AI-förordningen kräver att alla högrisk-AI-system ska ha ett människa-maskin-gränssnitt som möjliggör realtidsövervakning. Syftet är att säkerställa verklig mänsklig tillsyn - att enbart "stämpla av" AI-genererade resultat är uttryckligen otillräckligt.

Fem krav på beslutsfattaren

Den person som utses att utöva mänsklig kontroll över ett högrisk-system måste uppfylla fem krav:

1. Fullt förstå systemets kapacitet och begränsningar - veta vad AI-systemet kan och inte kan göra
2. Vara medveten om automationsbias - aktivt motverka tendensen att okritiskt lita på maskinens förslag
3. Kunna tolka resultaten i kontext - förstå statistiska resultat och kunna bedöma dem utifrån den specifika situationen
4. Ha full frihet att åsidosätta eller reversera - kunna ignorera AI-rekommendationer och fatta egna beslut utan organisatoriska hinder
5. Ha befogenhet att stoppa systemet - omedelbart kunna avbryta AI-systemets drift om det behövs

Mer än en formalitet

Förordningen ställer krav på genuin kontroll, inte symbolisk tillsyn. Om en rekryterare konsekvent godkänner varje AI-rankning utan att faktiskt granska underlaget - så kallad rubber-stamping - uppfylls inte kravet. Beslutsfattaren måste ha tillräcklig tid, kompetens och mandat att göra en verklig bedömning i varje enskilt fall.

Koppling till svensk arbetsrätt

I Sverige förstärks kravet på mänsklig kontroll av MBL och den fackliga samverkansmodellen. Att införa ett högrisk-AI-system för rekrytering, schemaläggning eller utvärdering utgör en "viktigare förändring" som utlöser primär förhandlingsskyldighet enligt MBL § 11. Den löpande informationsskyldigheten i MBL § 19 ger fackliga representanter rätt att fortlöpande ta del av hur systemen fungerar och vilka beslut de påverkar.