iborderctrl/IBC.tex

% !TeX program = lualatex

\documentclass{beamer}

\usetheme{DarkConsole}
\usepackage{graphicx}
\usepackage{caption}
\usepackage{hyperref}

%\setbeamersize{text margin left=20pt,text margin right=10pt}

\title{\texttt{Smart Borders?}}
\subtitle{Wie die EU versucht Grenzübergänge mit einem diskriminierenden KI-Lügendetektor zu regulieren.}
\author{AG Link}

\begin{document}

\begin{frame}
  \maketitle
\end{frame}

\begin{frame}{Inhalt}
  \tableofcontents
\end{frame}

\section{Smart ... was? - Einführung in Smart Borders}
\subsection{Smart Borders Package der EU}
\begin{frame}{Smart Borders Package}
\begin{itemize}
    \item \textit{"Intelligente Grenzen"}
    \item Maßnahmen und Technologien, um die Überwachung und Kontrolle der Grenzen zu vereinfachen und zu automatisieren
    \item soll einen \textit{"Beitrag zur Bekämpfung von Terrorismus und schwerer Kriminalität leisten"}
    \item Februar 2013: Vorstellung durch EU-Kommission
    \item Oktober 2017: Verabschiedung durch EU-Parlament und EU-Rat
    \item Fertigstellung des IT Systems: voraus. 2022
\end{itemize}
\end{frame}

\begin{frame}
    \begin{figure}
        \centering
        \includegraphics[scale=0.27]{eu-lisa.jpeg}
        \caption{IT Systeme der Europäische Agentur für das Betriebsmanagement von IT-Großsystemen im Raum der Freiheit, der Sicherheit und des Rechts -  eu-LISA}
        \label{fig:my_label}
    \end{figure}
\end{frame}


\begin{frame}{Horizon 2020 - EU Forschungsprogramm}
\begin{itemize}
    \item Umsetzung der Smart Borders auch durch EU finanzierte Forschung
    \item Horizon 2020 = EU-Rahmenprogramm für Forschung und Innovation
    \item Work Program: \textit{Border Security and External Security}
    \item Expliziter Auftrag: KI in der Grenzsicherheit

\end{itemize}
\end{frame}


\subsection{iBorderCtrl}
\begin{frame}{iBorderCtrl}
    \begin{itemize}
        \item iBorderCtrl = Intelligent Portable Control System
        \item Dauer: 2016-2019
        \item Budget: 4 Mio. €
        \item 13 EU weite Unternehmen, Forschungs- und Bildungseinrichtungen
    \end{itemize}
\end{frame}

\begin{frame}
    \begin{figure}
        \centering
        \includegraphics[scale = 0.8]{PO1.png}
        \caption{Technologien in iBorderCtrl}
        \label{fig:my_label}
    \end{figure}
\end{frame}

\begin{frame}
	\begin{figure}
		\includegraphics[scale = 0.8]{iborderctrl-avatar-300x268.jpg}
		\caption*{\tiny Quelle: iborderctrl.eu}
	\end{figure}
	"The avatar is presented in a uniform to convey an air of authority." (K.Crockett et.al.)
\end{frame}
\subsection{Geschichte des Lügendetektor}


\begin{frame}{Die Geschichte des Lügendetektors - Der Polygraph}
	\begin{figure}
		\includegraphics[scale = 0.8]{Polygraph}
		\caption*{\tiny Foto: Sebastian Kahnert/ dpa}
	\end{figure}
	\end{frame}
\begin{frame}{Die Geschichte des Lügendetektors - Der Polygraph}
	\begin{itemize}
		\item Entwicklung in der ersten Hälfte des 20. Jahrhunderts
		\item Maßgeblich von John A. Larson (Polizist und Physiologe) geprägt
		\item Später patentiert und vermarktet
		\item Forschung umstritten
		\item Einige Studien legen nahe, dass Ergebnisse beinahe zufällig sind 
				(Saxe, Ben-Shakhar, 1999)
		\item  Andere Systeme, die physiologische Reaktionen testen ähnlich umstritten
		\end{itemize}
	\end{frame}

\begin{frame}{Die Geschichte des Lügendetektors - Mikroexpressionen}
\begin{figure}
	\includegraphics[scale = 0.35]{Ekman_Facial_Affekt}
	\caption*{Paul Ekman's Pictures of Facial Affect}
\end{figure}
	\end{frame}

\begin{frame}{Die Geschichte des Lügendetektors - Mikroexpressionen}
	\begin{itemize}
		\item Facial Action Coding System (FACS) von Ekman und Friesen entwickelt,
		\item 'Mikroexpressionen' codieren Gefühle des Menschen,
		\item Annahme: Lügen ist emotionaler Akt und kann mit Mikroexpressionen entschlüsselt werden,
		\item Studien zeigen: Vorgehen ist so exakt wie zufällige Vermutung,
		\item Forschung ist uneinig, ob Mikroexpressionen bei jedem Menschen vorliegen und eindeutig sind.
		\end{itemize}
	\end{frame}

\begin{frame}{Die Geschichte des Lügendetektors - Die Rolle von KI}
	\begin{itemize}
		\item Versuche Mikroexpressionen und Ähnliches mit KI zu klassifizieren,
		\item Nutzung für die Optimierung von Werbeanzeigen (Facebook),
		\item Projekt AVATAR (US-Projekt für Grenzkontrollen)
	\end{itemize}
\end{frame}

\section{Grundlagen KI}
\subsection{KI, Algorithmen und maschinelles Lernen}
\begin{frame}{KI, Algorithmen und maschinelles Lernen}
\begin{figure}
\begin{center}
		\includegraphics[scale = 0.16]{Ki-Abbildung}
		\end{center}
	\end{figure}
\end{frame}

\subsection{Overfitting}
\begin{frame}{Overfitting}
\begin{figure}
\includegraphics[scale = 0.4]{overfitting.png}
\caption*{\tiny Quelle: Sagar Sharma / Towards Data Science}
\end{figure}
\end{frame}


\section{Grenzen und Risiken von KI}
\subsection{KI und Interpretierbarkeit}

\begin{frame}{Was heißt interpretierbar?}
	\begin{itemize}
		\item Keine einheitliche Definition
		\item Interpretierbarkeit als "Verstehen des Algorithmus":
		\begin{itemize}
			\item Bedeutung der Parameter kann verstanden werden
			\item Funktionsweise des Algorithmus kann für jeden Input nachvollzogen werden
			\item Kann bei KI oft nicht angewendet werden
			\end{itemize}
		\item Interpretierbarkeit durch methodische Analyse:
		\begin{itemize}
			\item Verschiedene Techniken
			\item Benutzung weiterer KI
			\item Analyse durch Manipulation von Datensätzen
			\item Konzepte sind neu
			\item Bedeutung und Korrektheit nicht geklärt
			\end{itemize}
	\end{itemize}
	\end{frame}

\begin{frame}{Wofür braucht mensch Interpretierbarkeit?}
	\begin{itemize}
		\item Kausalität vs. Korrelation, was lernt die KI? 
		\item Bsp.: KI soll Basketbälle erkennen und wird mit Bildern unterschiedlicher 
		Bälle trainiert. Erkennt die KI tatsächlich den Basketball oder einfach nur
		die Farbe Orange?
		\item Wenn KI in gesellschaftlich relevanten Bereichen eingesetzt wird, kann
		es entscheidend sein Ergebnisse interpretieren zu können
	\end{itemize}
	\end{frame}

\begin{frame}{Missklassifikationshack}
	\begin{itemize}
		\item Ergebnisse der KI hängen stark vom Datensatz ab
		\item Daraus ergibt sich ein Angriff auf KIs
		\item Die Kriterien für die Entscheidung der KI stimmen nicht mit menschlichen Kriterien überein
	\end{itemize}
\end{frame}

\begin{frame}{Panda oder Gibbon?}
	\begin{figure}
		\includegraphics[scale = 0.54]{panda_gibbon}
		\caption*{\tiny Quelle: J. Goodfellow et. al. }
	\end{figure}
\end{frame}

\begin{frame}
	\begin{figure}
		\includegraphics[scale = 0.07]{gibbon}
		\caption*{\tiny Quelle:  }
	\end{figure}
\end{frame}

\subsection{KI und Bias}
\begin{frame}{Arten von Bias}
Bias = Verzerrung
\vspace{0,5cm}
\begin{itemize}
\item Bias in den Daten
\item Bias durch Design des Algorithmus
\item Bias durch Rückkopplung
\end{itemize}
\vspace{0,5cm}
Konsequenz: Diskriminierende Algorithmen (auch Gender Bias, Racial Bias, Neurodiversity Bias etc. genannt)
\end{frame}

\begin{frame}{Bias in den Daten}
\begin{itemize}
\item \alert<1>{Measurement Bias:} Die Auswahl der Merkmale zur Darstellung des Sachverhalts kann zu Verzerrung führen
\item<2-> \alert<2>{Omitted Variable Bias:} Wichtige Merkmale werden nicht im Modell berücksichtigt
\item<3-> \alert<3>{Represenation Bias:} Fehlende Diversität in den verfügbaren bzw. genutzten Daten
\end{itemize}
\end{frame}

\begin{frame}{Bias in den Daten}
\begin{itemize}
\item \alert<1>{Aggregation Bias:} Spezifische Eigenschaften von Untergruppen gehen im gesamten Datensatz unter,
Überlagerung von Trends in verschiedenen Untergruppe führt zu falschen Aussagen
\end{itemize}
\begin{figure}
	\includegraphics[scale = 0.19]{AggregationBiasBeispiel}
	\caption*{\tiny Quelle: Statology.org What is Aggregation Bias?}
	\end{figure}
\end{frame}

\begin{frame}{Bias durch Design}
\begin{itemize}
\item \alert<1>{Evaluation Bias:} Performance des Algorithmus wird an unrealistischen Kriterien gemessen
\end{itemize}
\end{frame}

\begin{frame}{Bias durch Rückkopplung}
Verstärkung der Diskriminierung durch Rückkopplungsschleife bei Predictive Policing
\begin{figure}
	\includegraphics[scale = 0.23]{Predpol}
	\caption*{\tiny Quelle: Algorithmic Bias and Fairness: Crash Course AI by CrashCourse}
	\end{figure}
\end{frame}

\section{Bias in iBorderCtrl}
\begin{frame}{Bias in iBorderCtrl}
Konzeptionelle Mängel in iBorderControl
\vspace{0,5cm}
\begin{itemize}
\item Einsatz von Schauspieler*innen
\item Qualität der Kameraaufzeichnung
\end{itemize}
\vspace{0,5cm}
\end{frame}

\begin{frame}{Bias in iBorderCtrl}
\begin{itemize}
\item<1-> \alert<1>{Measurement Bias:} Stress beim Grenzübergang löst u.U. gleiche Symptome wie Lügen aus
\item<2-> \alert<2>{Omitted Variable Bias:} Lügen/nicht Lügen zeigt sich in nicht erfassten Phänomenen.Es gibt keine zuverlässigen Theorien dazu, welche physiologischen Merkmale Lügen eindeutig identifizierbar machen.
\item<3-> \alert<3>{Representation Bias:} fehlende Diversität in Hautfarbe, Geschlecht, Neurodiversität, Behinderungen, gesundheitlichen Faktoren, Narben etc.
\item<4-> \alert<4>{Aggregation Bias:} Reaktionen (z.B. Mikroexpressionen) nicht konsistent. Gleiches Verhalten bei unterschiedlichen Individuen/Gruppen kann Unterschiedliches bedeuten.
\item<5-> \alert<5>{Overfitting:} Trefferquote von 93 Prozent in Trainingsdaten vs 73 Prozent in Testdaten deutet auf Overfitting hin
\end{itemize}
\end{frame}

\begin{frame}{Bias in iBorderCtrl}
\begin{itemize}
\item<1-> \alert<1>{Evaluation Bias:} Testbedingungen entsprechen nicht den Einsatzbedingungen, zB Lichtverhältnisse
\item<2-> \alert<2>{Bias durch Rückkopplung:} Verzerrte Einsatzdaten werden von Überprüfungsbeamt*innen bestätigt und wieder in das System eingespeist, wodurch immer mehr Benachteiligte als lügend klassifiziert werden
\end{itemize}
\end{frame}

\begin{frame}{Testergebnisse}
\begin{itemize}
\item Anzahl verschiedener Personen in der Testdatenmenge: 1
\item Stichprobenstreuung: 24.37 (Truthful) / 34.29 (Deceptive)
\end{itemize}
\begin{figure}
\includegraphics[scale = 0.36]{Ergebnis_ibc}
\end{figure}
\end{frame}


\section{Ausblick und Diskussion}

\subsection{Politische Einordnung}
\begin{frame}{Aktueller Stand der Forschung}
    \begin{itemize}
        \item Nachfolge-Projekt: TRESSPASS
        \item robusT Risk basEd Screening and alert System for PASSengers and luggage
        \item Dauer: 2019-2021
        \item Budget: 9 Mio. € (8 Mio. € EU finanziert)
    \end{itemize}
\end{frame}

\begin{frame}{Kommt jetzt der Lügendetektor?}
    \begin{itemize}
        \item Workshops zwischen Horizon 2020 Projekten und Frontex
        \item Anfrage des EU Parlament Mitgliedes Özlem Demirel (Die Linke) auf Anwendung der Forschungsergebnisse
        \item Transparenzklage gegen geheime EU Überwachungs-Forschung der Piratenpartei - Urteil noch offen 
        \item Datenschutz Grundverordnung 
    \end{itemize}
\end{frame}




\subsection{Wie und wofür forschen wir?}
\begin{frame}{Wie und wofür forschen wir?}
\begin{itemize}
\item Wissenschaft kann instrumentalisiert werden
\begin{itemize}
		\item mangelnde Rechenschaft (Argument der Blackbox, des Betriebsgeheimnisses)
		\item Transparenzinitiative Johanna Zitt
		\item FATML.org, Fairness, Accountability and Transparency in ML
\end{itemize}
\item Wir brauchen mehr kognitive Diversität in Forschungseinrichtungen
\item Was ist dein wissenschaftlicher Standard und worauf gründet er?
\end{itemize}
\end{frame}

\section{Quellen}
\begin{frame}{Quellen}
    \begin{itemize}
        \item \href{https://www.iborderctrl.eu}{iBorderCtrl}
        \item \href{https://www.tresspass.eu/}{TRESSPASS}
        \item \href{https://netzpolitik.org/2021/eu-projekt-iborderctrl-kommt-der-luegendetektor-oder-kommt-er-nicht/}{Netzpolitik-Artikel zu iBorderCtrl}
        \item \href{https://dsgvo-gesetz.de/}{DSGVO}
        \item \href{https://www.consilium.europa.eu/de/policies/it-systems-in-the-area-of-freedom-security-and-justice/}{Übersicht IT-Systeme in der EU}
        \item \href{https://www.patrick-breyer.de/transparenzklage-gegen-geheime-eu-ueberwachungsforschung-richter-hinterfragen-geheimhaltung/}{Transparenzklage der Piratenpartei}
    \end{itemize}
\end{frame}

\section{Anhang}
\begin{frame}{iBorderCtrl Forschungsinsitutionen}
    \begin{figure}
        \centering
        \includegraphics[scale=0.7]{iborderctrlmap.png}
        \caption{Beteiligte Institute in iBorderCtrl}
        \label{fig:my_label}
    \end{figure}    
\end{frame}
\begin{frame}{TRESSPASS Forschungsinsitutionen}
    \begin{figure}
        \centering
        \includegraphics[scale=0.7]{tresspassmap.png}
        \caption{Beteiligte Institute in TRESSPASS}
        \label{fig:my_label}
    \end{figure}
\end{frame}

\end{document}