iborderctrl/IBC.tex

% !TeX program = lualatex

\documentclass{beamer}

\usetheme{DarkConsole}
\usepackage{graphicx}
\usepackage{caption}
\usepackage{hyperref}

%\setbeamersize{text margin left=20pt,text margin right=10pt}

\title{\texttt{Smart Borders?}}
\subtitle{Wie die EU versucht Grenzübergänge mit einem diskriminierenden KI-Lügendetektor zu regulieren.}
\author{AG Link - Verein für kritische Informatik}

\begin{document}

\begin{frame}
  \maketitle
\end{frame}

\begin{frame}{Inhalt}
  \tableofcontents
\end{frame}

\section{Smart ... was? - Einführung in Smart Borders}
\subsection{Smart Borders Package der EU}
\begin{frame}{Smart Borders Package}
\begin{figure}
    \centering
    \includegraphics[scale=0.4]{smartborders.png}
    Geplante Smart Borders Package der EU

\end{figure}
\end{frame}

\begin{frame}{Horizon 2020 - EU Forschungsprogramm}
    \begin{figure}
        \centering
        \includegraphics[scale=0.35]{eukommission.png}
        Verhältnis von Forschung und EU-Vorhaben
    \end{figure}

\end{frame}


\subsection{iBorderCtrl}
\begin{frame}{iBorderCtrl}
    \begin{itemize}
        \item iBorderCtrl = Intelligent Portable Control System
        \item Dauer: 2016-2019
        \item Budget: 4 Mio.€
        \item 13 EU weite Unternehmen, Forschungs- und Bildungseinrichtungen
    \end{itemize}
\end{frame}



\begin{frame}
	\begin{figure}
		\includegraphics[scale = 0.8]{iborderctrl-avatar-300x268.jpg}
		\caption*{\tiny Quelle: iborderctrl.eu}
	\end{figure}
	"The avatar is presented in a uniform to convey an air of authority." (K.Crockett et.al.)
\end{frame}
\subsection{Geschichte des Lügendetektor}


\begin{frame}{Die Geschichte des Lügendetektors - Der Polygraph}
	\begin{figure}
		\includegraphics[scale = 0.3]{Polygraph}
		\caption*{\tiny Foto: Sebastian Kahnert/ dpa}
	\end{figure}
	\end{frame}
\begin{frame}{Die Geschichte des Lügendetektors - Der Polygraph}
	\begin{itemize}
		\item Entwicklung in der ersten Hälfte des 20. Jahrhunderts
		\item Maßgeblich von John A. Larson (Polizist und Physiologe) geprägt
		\item Später patentiert und vermarktet
		\item Forschung umstritten
		\item Einige Studien legen nahe, dass Ergebnisse beinahe zufällig sind 
				(Saxe, Ben-Shakhar, 1999)
		\item  Andere Systeme, die physiologische Reaktionen testen ähnlich umstritten
		\end{itemize}
	\end{frame}

\begin{frame}{Die Geschichte des Lügendetektors - Mikroexpressionen}
\begin{figure}
	\includegraphics[scale = 0.35]{Ekman_Facial_Affekt}
	\caption*{Paul Ekman's Pictures of Facial Affect}
\end{figure}
	\end{frame}

\begin{frame}{Die Geschichte des Lügendetektors - Mikroexpressionen}
	\begin{itemize}
		\item Facial Action Coding System (FACS) von Ekman und Friesen entwickelt,
		\item 'Mikroexpressionen' codieren Gefühle des Menschen,
		\item Annahme: Lügen ist emotionaler Akt und kann mit Mikroexpressionen entschlüsselt werden,
		\item Studien zeigen: Vorgehen ist so exakt wie zufällige Vermutung,
		\item Forschung ist uneinig, ob Mikroexpressionen bei jedem Menschen vorliegen und eindeutig sind.
		\end{itemize}
	\end{frame}

\begin{frame}{Die Geschichte des Lügendetektors - Die Rolle von KI}
	\begin{itemize}
		\item Versuche Mikroexpressionen und Ähnliches mit KI zu klassifizieren,
		\item Nutzung für die Optimierung von Werbeanzeigen (Facebook),
		\item Projekt AVATAR (US-Projekt für Grenzkontrollen)
	\end{itemize}
\end{frame}

\section{Grundlagen KI}
\subsection{KI, Algorithmen und maschinelles Lernen}
\begin{frame}{KI, Algorithmen und maschinelles Lernen}
\begin{figure}
\begin{center}
		\includegraphics[scale = 0.35]{Ki-Abbildung.png}
		\end{center}
	\end{figure}
\end{frame}

\subsection{Overfitting}
\begin{frame}{Overfitting}
\begin{figure}
\includegraphics[scale = 0.4]{overfitting.png}
\caption*{\tiny Quelle: Sagar Sharma / Towards Data Science}
\end{figure}
\end{frame}


\section{Grenzen und Risiken von KI}
\subsection{KI und Interpretierbarkeit}

\begin{frame}{Was heißt interpretierbar?}
	\begin{itemize}
		\item Keine einheitliche Definition
		\item Interpretierbarkeit als "Verstehen des Algorithmus":
		\begin{itemize}
			\item Bedeutung der Parameter kann verstanden werden
			\item Funktionsweise des Algorithmus kann für jeden Input nachvollzogen werden
			\item Kann bei KI oft nicht angewendet werden
			\end{itemize}
		\item Interpretierbarkeit durch methodische Analyse:
		\begin{itemize}
			\item Verschiedene Techniken
			\item Benutzung weiterer KI
			\item Analyse durch Manipulation von Datensätzen
			\item Konzepte sind neu
			\item Bedeutung und Korrektheit nicht geklärt
			\end{itemize}
	\end{itemize}
	\end{frame}

\begin{frame}{Wofür braucht mensch Interpretierbarkeit?}
	\begin{itemize}
		\item Kausalität vs. Korrelation, was lernt die KI? 
		\item Bsp.: KI soll Basketbälle erkennen und wird mit Bildern unterschiedlicher 
		Bälle trainiert. Erkennt die KI tatsächlich den Basketball oder einfach nur
		die Farbe Orange?
		\item Wenn KI in gesellschaftlich relevanten Bereichen eingesetzt wird, kann
		es entscheidend sein Ergebnisse interpretieren zu können
	\end{itemize}
	\end{frame}

\begin{frame}{Missklassifikationshack}
	\begin{itemize}
		\item Ergebnisse der KI hängen stark vom Datensatz ab
		\item Daraus ergibt sich ein Angriff auf KIs
		\item Die Kriterien für die Entscheidung der KI stimmen nicht mit menschlichen Kriterien überein
	\end{itemize}
\end{frame}

\begin{frame}{Panda oder Gibbon?}
	\begin{figure}
		\includegraphics[scale = 0.54]{panda_gibbon}
		\caption*{\tiny Quelle: J. Goodfellow et. al. }
	\end{figure}
\end{frame}

\begin{frame}
	\begin{figure}
		\includegraphics[scale = 0.07]{gibbon}
		\caption*{\tiny Quelle:  }
	\end{figure}
\end{frame}

\subsection{KI und Bias}
\begin{frame}{Arten von Bias}
Bias = Verzerrung
\vspace{0,5cm}
\begin{itemize}
\item Bias in den Daten
\item Bias durch Design des Algorithmus
\item Bias durch Rückkopplung
\end{itemize}
\vspace{0,5cm}
Konsequenz: Diskriminierende Algorithmen (auch Gender Bias, Racial Bias, Neurodiversity Bias etc. genannt)
\end{frame}

\begin{frame}{Bias in den Daten}
\begin{itemize}
\item \alert<1>{Measurement Bias:} Die Auswahl der Merkmale zur Darstellung des Sachverhalts kann zu Verzerrung führen
\item<2-> \alert<2>{Omitted Variable Bias:} Wichtige Merkmale werden nicht im Modell berücksichtigt
\item<3-> \alert<3>{Represenation Bias:} Fehlende Diversität in den verfügbaren bzw. genutzten Daten
\end{itemize}
\end{frame}

\begin{frame}{Bias in den Daten}
\begin{itemize}
\item \alert<1>{Aggregation Bias:} Spezifische Eigenschaften von Untergruppen gehen im gesamten Datensatz unter,
Überlagerung von Trends in verschiedenen Untergruppe führt zu falschen Aussagen
\end{itemize}
\begin{figure}
	\includegraphics[scale = 0.19]{AggregationBiasBeispiel}
	\caption*{\tiny Quelle: Statology.org What is Aggregation Bias?}
	\end{figure}
\end{frame}

\begin{frame}{Bias durch Design}
\begin{itemize}
\item \alert<1>{Evaluation Bias:} Performance des Algorithmus wird an unrealistischen Kriterien gemessen
\end{itemize}
\end{frame}

\begin{frame}{Bias durch Rückkopplung}
Verstärkung der Diskriminierung durch Rückkopplungsschleife bei Predictive Policing
\begin{figure}
	\includegraphics[scale = 0.23]{Predpol}
	\caption*{\tiny Quelle: Algorithmic Bias and Fairness: Crash Course AI by CrashCourse}
	\end{figure}
\end{frame}

\section{Bias in iBorderCtrl}
\begin{frame}{Bias in iBorderCtrl}
Konzeptionelle Mängel in iBorderControl
\vspace{0,5cm}
\begin{itemize}
\item Einsatz von Schauspieler*innen
\item Qualität der Kameraaufzeichnung
\end{itemize}
\vspace{0,5cm}
\end{frame}

\begin{frame}{Bias in iBorderCtrl}
\begin{itemize}
\item<1-> \alert<1>{Measurement Bias:} Stress beim Grenzübergang löst u.U. gleiche Symptome wie Lügen aus
\item<2-> \alert<2>{Omitted Variable Bias:} Lügen/nicht Lügen zeigt sich in nicht erfassten Phänomenen.Es gibt keine zuverlässigen Theorien dazu, welche physiologischen Merkmale Lügen eindeutig identifizierbar machen.
\item<3-> \alert<3>{Representation Bias:} fehlende Diversität in Hautfarbe, Geschlecht, Neurodiversität, Behinderungen, gesundheitlichen Faktoren, Narben etc.
\item<4-> \alert<4>{Aggregation Bias:} Reaktionen (z.B. Mikroexpressionen) nicht konsistent. Gleiches Verhalten bei unterschiedlichen Individuen/Gruppen kann Unterschiedliches bedeuten.
\item<5-> \alert<5>{Overfitting:} Trefferquote von 93 Prozent in Trainingsdaten vs 73 Prozent in Testdaten deutet auf Overfitting hin
\end{itemize}
\end{frame}

\begin{frame}{Bias in iBorderCtrl}
\begin{itemize}
\item<1-> \alert<1>{Evaluation Bias:} Testbedingungen entsprechen nicht den Einsatzbedingungen, zB Lichtverhältnisse
\item<2-> \alert<2>{Bias durch Rückkopplung:} Verzerrte Einsatzdaten werden von Überprüfungsbeamt*innen bestätigt und wieder in das System eingespeist, wodurch immer mehr Benachteiligte als lügend klassifiziert werden
\end{itemize}
\end{frame}

\begin{frame}{Testergebnisse}
\begin{itemize}
\item Anzahl verschiedener Personen in der Testdatenmenge: 1
\item Stichprobenstreuung: 24.37 (Truthful) / 34.29 (Deceptive)
\end{itemize}
\begin{figure}
\includegraphics[scale = 0.36]{Ergebnis_ibc}
\end{figure}
\end{frame}


\section{Ausblick und Diskussion}
\subsection{Politische Einordnung}
\begin{frame}{Kommt jetzt der Lügendetektor?}
    \begin{itemize}
        \item Nachfolgeprojekt: TRESSPASS (8 Mio.€ EU finanziert)
        \item Austausch zwischen Horizon 2020 Projekten und Frontex
        \item Anfrage von Die Linke auf Anwendung der Forschungsergebnisse
        \item Transparenzklage gegen geheime EU Überwachungs-Forschung der Piratenpartei
        \item Rechtliche Grundlage: 
        \begin{itemize}
            \item DSGVO §13 Informationspflicht,
            \item DSGVO §22 nicht einer ausschließlich automatischen Entscheidung unterworfen zu werden
            \item Rechtsrahmen für KI der EU-Kommission
        \end{itemize} 

    \end{itemize}
\end{frame}




\subsection{Wie und wofür forschen wir?}
\begin{frame}{Wie und wofür forschen wir?}
\begin{itemize}
\item Wissenschaft kann instrumentalisiert werden
\begin{itemize}
		\item mangelnde Rechenschaft (Argument der Blackbox, des Betriebsgeheimnisses)
		\item Transparenzinitiative Johanna Zitt
		\item FATML.org, Fairness, Accountability and Transparency in ML
\end{itemize}
\item Wir brauchen mehr kognitive Diversität in Forschungseinrichtungen
\item Was ist dein wissenschaftlicher Standard und worauf gründet er?
\end{itemize}
\end{frame}

\section{Veranstaltungen der AG Link}
\begin{frame}{Veranstaltungen der AG Link}
\begin{itemize}
    \item   \href{https://ag-link.xyz/event/2021/10/14/SichereKommunikation.html}{Sicherere Kommunikation und Datenschutz für AnfängerInnen} \newline 14 Oct 2021, 12:00 -14:00 Ort: S203, Seminargebäude
    \item \href{https://ag-link.xyz/event/2021/10/20/offenes-Plenum.html}{Offenes Plenum} \newline20 Oct 2021, 19:00-21:00 Ort: S114, Seminargebäude
    \item Website: \href{https://ag-link.xyz/}{AG-Link.xyz}
    \end{itemize}
\end{frame}

\section{Quellen}
\begin{frame}{Quellen}
    \begin{itemize}
        \item \href{https://www.iborderctrl.eu}{iBorderCtrl}
        \item \href{https://www.tresspass.eu/}{TRESSPASS}
        \item \href{https://netzpolitik.org/2021/eu-projekt-iborderctrl-kommt-der-luegendetektor-oder-kommt-er-nicht/}{Netzpolitik-Artikel zu iBorderCtrl}
        \item \href{https://dsgvo-gesetz.de/}{DSGVO}
        \item \href{https://www.consilium.europa.eu/de/policies/it-systems-in-the-area-of-freedom-security-and-justice/}{Übersicht IT-Systeme in der EU}
        \item \href{https://www.patrick-breyer.de/transparenzklage-gegen-geheime-eu-ueberwachungsforschung-richter-hinterfragen-geheimhaltung/}{Transparenzklage der Piratenpartei}
    \end{itemize}
\end{frame}

\section{Anhang}
\begin{frame}{iBorderCtrl Forschungsinsitutionen}
    \begin{figure}
        \centering
        \includegraphics[scale=0.7]{iborderctrlmap.png}
        \caption{Beteiligte Institute in iBorderCtrl}
        \label{fig:my_label}
    \end{figure}    
\end{frame}
\begin{frame}{TRESSPASS Forschungsinsitutionen}
    \begin{figure}
        \centering
        \includegraphics[scale=0.7]{tresspassmap.png}
        \caption{Beteiligte Institute in TRESSPASS}
        \label{fig:my_label}
    \end{figure}
\end{frame}

\end{document}