Blog

Nov 12, 2023

Ein Roomba zeichnete eine Frau auf der Toilette auf. Wie sind Screenshots auf Facebook gelandet?

Roboterstaubsauger-Unternehmen sagen, Ihre Bilder seien sicher, aber ein riesiges globales Angebot

Roboterstaubsaugerunternehmen behaupten, Ihre Bilder seien sicher, aber eine weitläufige globale Lieferkette für Daten von unseren Geräten birgt Risiken.

Im Herbst 2020 posteten Gig-Worker in Venezuela eine Reihe von Bildern in Online-Foren, in denen sie sich zum Fachsimpeln trafen. Bei den Fotos handelte es sich um banale, wenn auch manchmal intime Haushaltsszenen, die aus niedrigen Winkeln aufgenommen wurden – darunter einige, die man wirklich nicht im Internet teilen möchte.

In einer besonders freizügigen Aufnahme sitzt eine junge Frau in einem lavendelfarbenen T-Shirt auf der Toilette, ihre Shorts sind bis zur Mitte des Oberschenkels heruntergezogen.

Die Bilder wurden nicht von einer Person, sondern von Entwicklungsversionen des Roboterstaubsaugers der Roomba J7-Serie von iRobot aufgenommen. Anschließend wurden sie an Scale AI geschickt, ein Startup, das Mitarbeiter auf der ganzen Welt damit beauftragt, Audio-, Foto- und Videodaten zu kennzeichnen, die zum Trainieren künstlicher Intelligenz verwendet werden.

Dabei handelte es sich um die Art von Szenen, die mit dem Internet verbundene Geräte regelmäßig erfassen und an die Cloud zurücksenden – allerdings normalerweise mit strengeren Speicher- und Zugriffskontrollen. Doch Anfang des Jahres erhielt MIT Technology Review 15 Screenshots dieser privaten Fotos, die in geschlossenen Social-Media-Gruppen gepostet wurden.

Die Fotos variieren in Art und Empfindlichkeit. Das intimste Bild, das wir sahen, war die Reihe von Videostandbildern mit der jungen Frau auf der Toilette, deren Gesicht im Hauptbild verdeckt, in den körnigen Bildern unten jedoch unverdeckt zu sehen ist. Auf einem anderen Bild liegt ein Junge, der acht oder neun Jahre alt zu sein scheint und dessen Gesicht deutlich zu erkennen ist, auf dem Bauch auf dem Boden eines Flurs. Eine dreieckige Haarsträhne fällt ihm über die Stirn, während er scheinbar amüsiert auf das Objekt starrt, das ihn knapp unter Augenhöhe aufzeichnet.

Die anderen Aufnahmen zeigen Räume von Häusern auf der ganzen Welt, einige davon sind von Menschen bewohnt, eines von einem Hund. Möbel, Dekor und Gegenstände, die sich hoch an Wänden und Decken befinden, werden durch rechteckige Kästchen umrissen und mit Beschriftungen wie „TV“, „Pflanze oder Blume“ und „Deckenlicht“ versehen.

iRobot – der weltweit größte Anbieter von Roboterstaubsaugern, den Amazon kürzlich für 1,7 Milliarden US-Dollar im Rahmen eines bevorstehenden Deals übernommen hat – bestätigte, dass diese Bilder im Jahr 2020 von seinen Roombas aufgenommen wurden. Sie stammten alle von „speziell entwickelten Robotern mit Hardware- und Softwaremodifikationen“. „Es waren keine und nie auf iRobot-Verbraucherprodukten zum Kauf vorhanden“, sagte das Unternehmen in einer Erklärung. Sie wurden an „bezahlte Sammler und Mitarbeiter“ weitergegeben, die schriftliche Vereinbarungen unterzeichneten, in denen sie bestätigten, dass sie Datenströme, einschließlich Videos, zu Schulungszwecken an das Unternehmen zurücksendeten. Laut iRobot waren die Geräte mit einem hellgrünen Aufkleber mit der Aufschrift „Videoaufzeichnung läuft“ gekennzeichnet, und es oblag den bezahlten Datensammlern, „alles, was sie als sensibel erachten, aus dem Raum zu entfernen, in dem der Roboter arbeitet, auch Kinder.“

Haben Sie an den Datenerfassungsbemühungen von iRobot teilgenommen? Wir würden uns freuen, von Ihnen zu hören. Bitte kontaktieren Sie uns unter[email protected].

Mit anderen Worten: Nach Einschätzung von iRobot hatte jeder, dessen Fotos oder Videos in den Streams erschienen, zugestimmt, sich von seinen Roombas überwachen zu lassen. iRobot lehnte es ab, MIT Technology Review Einsicht in die Einwilligungsvereinbarungen zu gewähren, und stellte keinen seiner bezahlten Sammler oder Mitarbeiter zur Verfügung, um deren Verständnis der Bedingungen zu besprechen.

Auch wenn die mit uns geteilten Bilder nicht von iRobot-Kunden stammen, stimmen Verbraucher regelmäßig der Überwachung unserer Daten in unterschiedlichem Umfang auf Geräten von iPhones bis hin zu Waschmaschinen zu. Diese Praxis hat in den letzten zehn Jahren immer weiter zugenommen, da datenhungrige künstliche Intelligenz zunehmend in eine völlig neue Reihe von Produkten und Dienstleistungen integriert wurde. Ein Großteil dieser Technologie basiert auf maschinellem Lernen, einer Technik, die große Datenbestände – darunter unsere Stimmen, Gesichter, Häuser und andere persönliche Informationen – nutzt, um Algorithmen zu trainieren, Muster zu erkennen. Die nützlichsten Datensätze sind die realistischsten, weshalb Daten, die aus realen Umgebungen wie Häusern stammen, besonders wertvoll sind. Oft entscheiden wir uns einfach durch die Nutzung des Produkts, wie in Datenschutzrichtlinien mit vagen Formulierungen vermerkt, die den Unternehmen einen weiten Ermessensspielraum bei der Verbreitung und Analyse von Verbraucherinformationen einräumen.

Die von Saugrobotern gesammelten Daten können besonders invasiv sein. Sie verfügen über „leistungsstarke Hardware und leistungsstarke Sensoren“, sagt Dennis Giese, Doktorand an der Northeastern University, der die Sicherheitslücken von Internet-of-Things-Geräten, einschließlich Roboterstaubsaugern, untersucht. „Und sie können in Ihrem Zuhause herumfahren – und Sie haben keine Möglichkeit, das zu kontrollieren.“ Dies gilt insbesondere für Geräte mit fortschrittlichen Kameras und künstlicher Intelligenz – wie die Roomba J7-Serie von iRobot.

Eine Untersuchung des MIT Technology Review ergab kürzlich, dass Bilder eines Minderjährigen und eines Testers auf der Toilette in den sozialen Medien landeten. iRobot sagte, es habe die Einwilligung gegeben, diese Art von Daten aus dem Inneren von Häusern zu sammeln – aber die Teilnehmer sagen etwas anderes.

Diese Daten werden dann verwendet, um intelligentere Roboter zu bauen, deren Zweck eines Tages möglicherweise weit über das Staubsaugen hinausgeht. Um diese Datensätze jedoch für maschinelles Lernen nutzbar zu machen, müssen einzelne Menschen zunächst jedes Datenbit anzeigen, kategorisieren, kennzeichnen und auf andere Weise mit Kontext versehen. Dieser Vorgang wird als Datenannotation bezeichnet.

"Irgendwo sitzt immer eine Gruppe von Menschen – meist in einem fensterlosen Raum, und macht ein paar Mausklicks: „Ja, das ist ein Objekt oder nicht“, erklärt Matt Beane, Assistenzprofessor für Technologie Managementprogramm an der University of California, Santa Barbara, das die menschliche Arbeit hinter der Robotik untersucht.

Die 15 mit MIT Technology Review geteilten Bilder sind nur ein kleiner Ausschnitt aus einem umfassenden Datenökosystem. iRobot gab an, über 2 Millionen Bilder mit Scale AI und eine unbekannte Menge mehr mit anderen Datenanmerkungsplattformen geteilt zu haben; Das Unternehmen hat bestätigt, dass Scale nur einer der von ihm verwendeten Datenannotatoren ist.

James Baussmann, Sprecher von iRobot, sagte in einer E-Mail, das Unternehmen habe „alle Vorkehrungen getroffen, um sicherzustellen, dass personenbezogene Daten sicher und im Einklang mit geltendem Recht verarbeitet werden“ und dass die mit MIT Technology Review geteilten Bilder „unter Verstoß gegen eine schriftliche Vereinbarung“ weitergegeben wurden Geheimhaltungsvereinbarung zwischen iRobot und einem Anbieter von Bildanmerkungsdiensten.“ In einer E-Mail-Erklärung einige Wochen, nachdem wir die Bilder mit dem Unternehmen geteilt hatten, sagte Colin Angle, CEO von iRobot: „iRobot beendet seine Beziehung mit dem Dienstanbieter, der die Bilder durchgesickert hat, untersucht die Angelegenheit aktiv und ergreift Maßnahmen zur Beseitigung.“ Helfen Sie dabei, ein ähnliches Leck durch einen Dienstanbieter in der Zukunft zu verhindern.“ Auf weitere Fragen zu diesen Maßnahmen antwortete das Unternehmen nicht.

Letztlich stellen diese Bilder jedoch etwas Größeres dar als die Handlungen eines einzelnen Unternehmens. Sie verweisen auf die weit verbreitete und wachsende Praxis, potenziell sensible Daten zu teilen, um Algorithmen zu trainieren, sowie auf die überraschende, weltumspannende Reise, die ein einzelnes Bild unternehmen kann – in diesem Fall von Häusern in Nordamerika, Europa und Asien an die Server von iRobot mit Sitz in Massachusetts, von dort an Scale AI mit Sitz in San Francisco und schließlich an die von Scale beauftragten Datenarbeiter auf der ganzen Welt (darunter in diesem Fall venezolanische Gig-Mitarbeiter, die die Bilder in privaten Gruppen auf Facebook und Discord gepostet haben). , und anderswo).

Zusammengenommen enthüllen die Bilder eine ganze Datenlieferkette – und neue Punkte, an denen personenbezogene Daten nach außen dringen könnten –, die nur wenigen Verbrauchern überhaupt bewusst sind.

„Es wird nicht erwartet, dass Menschen das Rohmaterial überprüfen“, betont Justin Brookman, Direktor für Technologiepolitik bei Consumer Reports und ehemaliger Politikdirektor des Office of Technology Research and Investigation der Federal Trade Commission. iRobot wollte nicht sagen, ob den Datensammlern bewusst war, dass insbesondere Menschen diese Bilder betrachten würden, obwohl das Unternehmen sagte, dass die Einwilligungserklärung klarstellte, dass „Dienstleister“ dies tun würden.

„Es wird nicht erwartet, dass Menschen das Rohmaterial überprüfen.“

„Wir behandeln Maschinen buchstäblich anders als Menschen“, fügt Jessica Vitak hinzu, Informatikerin und Professorin an der Kommunikationsabteilung und dem College of Information Studies der University of Maryland. „Es ist für mich viel einfacher, einen süßen kleinen Staubsauger zu akzeptieren, der sich in meinem Raum bewegt, als jemanden, der mit einer Kamera durch mein Haus läuft.“

Und doch ist es im Wesentlichen das, was passiert. Es ist nicht nur ein Saugroboter, der Sie auf der Toilette beobachtet – möglicherweise schaut auch jemand hin.

Roboterstaubsauger waren nicht immer so intelligent.

Das früheste Modell, der in Schweden hergestellte Electrolux Trilobite, kam 2001 auf den Markt. Er nutzte Ultraschallsensoren, um Wände zu lokalisieren und Reinigungsmuster aufzuzeichnen; Zusätzliche Stoßsensoren an den Seiten und Klippensensoren an der Unterseite verhinderten, dass das Gerät gegen Gegenstände stiess oder von der Treppe fiel. Diese Sensoren waren jedoch fehlerhaft und führten dazu, dass der Roboter bestimmte Bereiche übersah oder andere wiederholte. Das Ergebnis waren unvollendete und unbefriedigende Reinigungsarbeiten.

Im nächsten Jahr brachte iRobot den Roomba der ersten Generation auf den Markt, der auf ähnlichen grundlegenden Stoß- und Drehsensoren basierte. Er war viel günstiger als sein Konkurrent und wurde der erste kommerziell erfolgreiche Roboterstaubsauger.

Heutzutage funktionieren die einfachsten Modelle immer noch ähnlich, während Reinigungsgeräte der mittleren Preisklasse über bessere Sensoren und andere Navigationstechniken wie gleichzeitige Lokalisierung und Kartierung verfügen, um ihren Platz in einem Raum zu finden und bessere Reinigungspfade festzulegen.

High-End-Geräte sind auf Computer Vision umgestiegen, eine Teilmenge der künstlichen Intelligenz, die sich dem menschlichen Sehvermögen annähert, indem sie Algorithmen trainiert, um Informationen aus Bildern und Videos zu extrahieren, und/oder Lidar, eine laserbasierte Sensortechnik, die von der NASA verwendet wird und weithin als die am weitesten verbreitete gilt genaueste – aber teuerste – Navigationstechnologie, die derzeit auf dem Markt erhältlich ist.

Computer Vision ist auf hochauflösende Kameras angewiesen, unserer Schätzung nach sind es rund ein DutzendFirmen haben nach vorne gerichtete Kameras in ihre Roboterstaubsauger zur Navigation und Objekterkennung integriert – und zunehmend auch zur Heimüberwachung. Dazu gehören die drei größten Roboterstaubsaugerhersteller nach Marktanteil: iRobot, das 30 % des Marktes hält und seit 2002 über 40 Millionen Geräte verkauft hat; Ecovacs mit etwa 15 %; und Roborock, das nach Angaben des Marktforschungsunternehmens Strategy Analytics etwa weitere 15 % ausmacht. Dazu gehören unter anderem auch bekannte Haushaltsgerätehersteller wie Samsung, LG und Dyson. Insgesamt wurden laut Strategy Analytics allein im Jahr 2021 in Europa und Amerika rund 23,4 Millionen Staubsaugerroboter verkauft.

Von Anfang an hat sich iRobot ganz auf Computer Vision konzentriert und sein erstes Gerät mit solchen Fähigkeiten, der Roomba 980, kam 2015 auf den Markt. Es war auch das erste Wi-Fi-fähige Gerät von iRobot und das erste, das Karten erstellen konnte Reinigen Sie Ihr Zuhause, passen Sie die Reinigungsstrategie an die Raumgröße an und identifizieren Sie grundlegende Hindernisse, die es zu vermeiden gilt.

Computer Vision „ermöglicht es dem Roboter, … den ganzen Reichtum der ihn umgebenden Welt zu sehen“, sagt Chris Jones, Chief Technology Officer von iRobot. Dadurch können die Geräte von iRobot „Kabel auf dem Boden vermeiden oder erkennen, dass es sich dabei um ein Sofa handelt“.

Damit die Computer-Vision in Saugrobotern jedoch wirklich wie vorgesehen funktioniert, müssen die Hersteller sie anhand hochwertiger, vielfältiger Datensätze trainieren, die die große Bandbreite dessen widerspiegeln, was sie möglicherweise sehen. „Die Vielfalt der häuslichen Umgebung ist eine sehr schwierige Aufgabe“, sagt Wu Erqi, der leitende Forschungs- und Entwicklungsdirektor von Roborock mit Sitz in Peking. Straßensysteme „sind ganz normal“, sagt er, sodass Hersteller selbstfahrender Autos „wissen, wie die Fahrspur aussieht … [und] wie das Verkehrsschild aussieht.“ Aber jede Inneneinrichtung ist ganz anders.

„Die Möbel sind nicht standardisiert“, fügt er hinzu. „Sie können nicht erwarten, was sich auf Ihrem Boden befindet. Manchmal ist dort eine Socke, vielleicht ein paar Kabel“ – und die Kabel sehen in den USA und in China möglicherweise anders aus.

MIT Technology Review hat mit zwölf Unternehmen gesprochen oder ihnen Fragen geschickt, die Roboterstaubsauger verkaufen, und festgestellt, dass sie unterschiedlich auf die Herausforderung reagieren, Trainingsdaten zu sammeln.

Im Fall von iRobot stammen über 95 % seines Bilddatensatzes aus echten Häusern, deren Bewohner entweder iRobot-Mitarbeiter oder Freiwillige sind, die von externen Datenanbietern angeworben wurden (die iRobot nicht nennen wollte). Menschen, die Entwicklungsgeräte verwenden, stimmen zu, dass iRobot Daten, einschließlich Videostreams, sammelt, während die Geräte laufen, oft im Austausch für „Anreize zur Teilnahme“, heißt es in einer Erklärung von iRobot.Das Unternehmen lehnte es ab, näher zu beschreiben, um welche Anreize es sich handelte, und erklärte lediglich, dass sie „je nach Länge und Komplexität der Datenerfassung“ unterschiedlich seien.

Die restlichen Trainingsdaten stammen aus dem, was iRobot als „gestufte Datenerfassung“ bezeichnet, bei der das Unternehmen Modelle erstellt, die es dann aufzeichnet.

iRobot hat außerdem damit begonnen, regulären Verbrauchern die Möglichkeit zu bieten, sich für die Bereitstellung von Trainingsdaten über seine App zu entscheiden. Dabei können die Benutzer bestimmte Bilder von Hindernissen an die Server des Unternehmens senden, um die Algorithmen zu verbessern. iRobot sagt, dass das Unternehmen, wenn ein Kunde an dieser sogenannten „User-in-the-Loop“-Schulung teilnimmt, nur diese spezifischen Bilder erhält und keine anderen. Baussmann, der Vertreter des Unternehmens, sagte in einer E-Mail, dass solche Bilder noch nicht zum Trainieren von Algorithmen verwendet wurden.

Im Gegensatz zu iRobot gibt Roborock an, dass das Unternehmen entweder „eigene Bilder in seinen Labors produziert“ oder „mit Drittanbietern in China zusammenarbeitet, die speziell gebeten werden, Bilder von Objekten zu erfassen und bereitzustellen.“ auf Böden für unsere Schulungszwecke. Unterdessen sagte Dyson, das zwei High-End-Roboterstaubsaugermodelle verkauft, dass es Daten aus zwei Hauptquellen sammelt: „Heimversuche innerhalb der Forschungs- und Entwicklungsabteilung von Dyson mit einer Sicherheitsfreigabe“ und zunehmend aus synthetischen oder KI-generierten Schulungen Daten.

Die meisten Roboterstaubsaugerunternehmen, mit denen MIT Technology Review gesprochen hat, gaben ausdrücklich an, dass sie keine Kundendaten verwenden, um ihre maschinellen Lernalgorithmen zu trainieren. Samsung antwortete nicht auf Fragen zur Quelle seiner Daten (obwohl es schrieb, dass es Scale AI nicht für die Datenanmerkung verwendet), während Ecovacs die Quelle seiner Trainingsdaten als „vertraulich“ bezeichnet. LG und Bosch antworteten nicht auf Anfragen nach Kommentaren.

„Man muss davon ausgehen, dass die Leute … sich gegenseitig um Hilfe bitten. Die Richtlinien sagen immer, dass man das nicht tun soll, aber es ist sehr schwer zu kontrollieren.“

Einige Hinweise auf andere Methoden der Datenerfassung stammen von Giese, dem IoT-Hacker, dessen Büro im Northeastern voll ist mit Roboterstaubsaugern, die er rückentwickelt hat, wodurch er Zugang zu ihren Modellen für maschinelles Lernen erhält. Einige werden von Dreame hergestellt, einem relativ neuen chinesischen Unternehmen mit Sitz in Shenzhen, das erschwingliche Geräte mit zahlreichen Funktionen verkauft.

Giese fand heraus, dass Dreame-Staubsauger über einen Ordner mit der Bezeichnung „AI-Server“ sowie Funktionen zum Hochladen von Bildern verfügen. Unternehmen sagen oft, dass „Kameradaten niemals in die Cloud gesendet werden und was auch immer“, sagt Giese, aber „als ich Zugriff auf das Gerät hatte, konnte ich im Grunde beweisen, dass das nicht stimmt.“ Auch wenn sie keine Fotos hochgeladen haben, fügt er hinzu: „[Die Funktion] ist immer da.“

Als die Nachfrage nach Datenkennzeichnung explodierte, machte eine wirtschaftliche Katastrophe Venezuela zum Ausgangspunkt für ein neues Modell der Arbeitsausbeutung.

Dreame stellt Roboterstaubsauger her, die auch von anderen Unternehmen umbenannt und verkauft werden – ein Hinweis darauf, dass diese Praxis auch von anderen Marken übernommen werden könnte, sagt Giese.

Dreame antwortete nicht auf per E-Mail gesendete Fragen zu den von Kundengeräten gesammelten Daten, aber in den Tagen nach der ersten Kontaktaufnahme mit MIT Technology Review begann das Unternehmen, seine Datenschutzrichtlinien zu ändern, einschließlich derjenigen, die sich auf die Art und Weise beziehen, wie personenbezogene Daten erfasst werden, und mehrere Firmware-Updates zu veröffentlichen .

Aber ohne eine Erklärung seitens der Unternehmen selbst oder ohne eine Möglichkeit, ihre Behauptungen außer durch Hacking zu testen, ist es schwer, sicher zu wissen, was sie von Kunden zu Schulungszwecken sammeln.

Mit den Rohdaten, die für maschinelle Lernalgorithmen benötigt werden, ist auch Arbeitsaufwand erforderlich, und zwar in großer Menge. Hier kommt die Datenannotation ins Spiel. Als junge, aber wachsende Branche wird die Datenannotation bis 2030 voraussichtlich einen Marktwert von 13,3 Milliarden US-Dollar erreichen.

Das Feld wurde vor allem deshalb ins Leben gerufen, um den enormen Bedarf an gekennzeichneten Daten zum Trainieren der in selbstfahrenden Fahrzeugen verwendeten Algorithmen zu decken. Heutzutage tragen Datenetikettierer, die in Entwicklungsländern oft schlecht bezahlte Vertragsarbeiter sind, dazu bei, einen Großteil dessen zu ermöglichen, was wir online als „automatisiert“ betrachten. Sie halten das Schlimmste aus dem Internet aus unseren Social-Media-Feeds heraus, indem sie Beiträge manuell kategorisieren und markieren, verbessern die Spracherkennungssoftware durch die Transkription von Audio in schlechter Qualität und helfen Saugrobotern, Objekte in ihrer Umgebung zu erkennen, indem sie Fotos und Videos mit Tags versehen.

Unter den unzähligen Unternehmen, die im letzten Jahrzehnt entstanden sind, sind Scale AI ist zum Marktführer geworden. Das 2016 gegründete Unternehmen baute ein Geschäftsmodell auf, bei dem es darum ging, auf Remotasks, seiner proprietären Crowdsourcing-Plattform, Verträge mit Fernarbeitern in weniger wohlhabenden Ländern zu günstigen projekt- oder aufgabenbasierten Tarifen abzuschließen.

Im Jahr 2020 hat Scale dort einen neuen Auftrag veröffentlicht: Projekt IO. Es zeigte Bilder, die vom Boden aus aufgenommen und in einem Winkel von etwa 45 Grad nach oben gerichtet waren, und zeigte die Wände, Decken und Böden von Häusern auf der ganzen Welt sowie alles, was sich gerade darin oder darauf befand – einschließlich Menschen, deren Gesichter deutlich sichtbar waren an die Etikettierer.

Etikettierer diskutierten über Project IO auf Facebook, Discord und anderen Gruppen, die sie eingerichtet hatten, um Ratschläge zum Umgang mit verspäteten Zahlungen auszutauschen, über die bestbezahlten Aufgaben zu sprechen oder um Hilfe bei der Etikettierung kniffliger Objekte zu bitten.

iRobot bestätigte, dass die 15 Bilder, die in diesen Gruppen gepostet und anschließend an MIT Technology Review gesendet wurden, von seinen Geräten stammten, indem es eine Tabelle mit den genauen Aufnahmedaten (zwischen Juni und November 2020) und den Ländern, aus denen sie kamen (USA, Japan, Frankreich, Deutschland und Spanien) und die Seriennummern der Geräte, die die Bilder erstellt haben, sowie eine Spalte, aus der hervorgeht, dass vom Benutzer jedes Geräts eine Einverständniserklärung unterzeichnet wurde. (Scale AI bestätigte, dass 13 der 15 Bilder aus „einem F&E-Projekt, an dem [es] vor über zwei Jahren mit iRobot gearbeitet hat“, stammten, weigerte sich jedoch, die Ursprünge der beiden anderen Bilder zu klären oder zusätzliche Informationen zu ihnen anzubieten.)

iRobot sagt, dass das Teilen von Bildern in Social-Media-Gruppen gegen Scales Vereinbarungen verstößt, und Scale sagt, dass Vertragsarbeiter, die diese Bilder teilen, gegen ihre eigenen Vereinbarungen verstoßen haben.

„Das zugrunde liegende Problem besteht darin, dass Ihr Gesicht wie ein Passwort ist, das Sie nicht ändern können. Sobald jemand die ‚Signatur‘ Ihres Gesichts aufgezeichnet hat, kann er sie für immer verwenden, um Sie auf Fotos oder Videos zu finden.“

Auf Crowdsourcing-Plattformen ist es jedoch nahezu unmöglich, solche Aktionen zu überwachen.

Als ich Kevin Guo, den CEO von Hive, einem Scale-Konkurrenten, der ebenfalls auf Vertragsarbeiter angewiesen ist, frage, ob er weiß, dass Datenkennzeichnungsgeber Inhalte in sozialen Medien teilen, antwortet er unverblümt. „Das sind verteilte Arbeiter“, sagt er. „Man muss davon ausgehen, dass die Leute … sich gegenseitig um Hilfe bitten. Die Richtlinien sagen immer, dass man das nicht tun soll, aber es ist sehr schwer zu kontrollieren.“

Das bedeutet, dass es dem Dienstleister überlassen bleibt, ob er bestimmte Arbeiten übernimmt oder nicht. Zu Hive sagt Guo: „Wir glauben nicht, dass wir angesichts unserer Belegschaft über die richtigen Kontrollen verfügen“, um sensible Daten wirksam zu schützen. Hive arbeite nicht mit Roboterstaubsaugerfirmen zusammen, fügt er hinzu.

„Es ist für mich irgendwie überraschend, dass [die Bilder] auf einer Crowdsourcing-Plattform geteilt wurden“, sagt Olga Russakovsky, leitende Forscherin am Visual AI Lab der Princeton University und Mitbegründerin der Gruppe AI4All. Sie weist darauf hin, dass die Kennzeichnung im Unternehmen, wo „die Leute strengen Geheimhaltungsvereinbarungen unterliegen“ und „auf Firmencomputern“ beibehalten würde, die Sicherheit der Daten deutlich erhöhen würde.

Mit anderen Worten: Sich auf weit verstreute Datenannotatoren zu verlassen, ist einfach keine sichere Möglichkeit, Daten zu schützen. „Wenn Sie Daten haben, die Sie von Kunden erhalten haben, befinden sich diese normalerweise in einer Datenbank mit Zugriffsschutz“, sagt Pete Warden, ein führender Computer-Vision-Forscher und Doktorand an der Stanford University. Bei Schulungen zum maschinellen Lernen werden jedoch alle Kundendaten „in großen Mengen“ zusammengeführt, wodurch der „Kreis der Personen“ erweitert wird, die Zugriff darauf erhalten.

iRobot seinerseits gibt an, dass es nur einen Teil der Trainingsbilder mit Datenanmerkungspartnern teilt, jedes Bild mit vertraulichen Informationen markiert und den Chief Privacy Officer des Unternehmens benachrichtigt, wenn vertrauliche Informationen entdeckt werden. Baussmann bezeichnet diese Situation als „selten“ und fügt hinzu, dass in diesem Fall „das gesamte Videoprotokoll, einschließlich des Bildes, von den iRobot-Servern gelöscht wird“.

Das Unternehmen erklärte: „Wenn ein Bild entdeckt wird, auf dem sich ein Benutzer in einer kompromittierenden Position befindet, einschließlich Nacktheit, teilweiser Nacktheit oder sexueller Interaktion, wird es gelöscht – zusätzlich zu ALLEN anderen Bildern aus diesem Protokoll.“ Es wurde nicht geklärt, ob diese Markierung automatisch durch einen Algorithmus oder manuell durch eine Person erfolgen würde und warum dies im Fall der Frau auf der Toilette nicht geschah.

Die iRobot-Richtlinien gelten jedoch nicht als sensibel für Gesichter, selbst wenn es sich um Minderjährige handelt.

„Um den Robotern beizubringen, Menschen und Bilder von Menschen zu meiden“ – eine Funktion, die das Unternehmen datenschutzbewussten Kunden empfohlen hat – muss das Unternehmen „den Robotern zunächst beibringen, was ein Mensch ist“, erklärte Baussmann. „In diesem Sinne ist es notwendig, zunächst Daten von Menschen zu sammeln, um ein Modell zu trainieren.“ Die Implikation ist, dass Gesichter Teil dieser Daten sein müssen.

Laut William Beksi, einem Informatikprofessor, der das Robotic Vision Laboratory an der University of Texas in Arlington leitet, sind Gesichtsbilder für Algorithmen zur Erkennung von Menschen jedoch möglicherweise nicht unbedingt erforderlich: Menschliche Detektormodelle können Menschen „einfach auf der Grundlage der …“ erkennen Umriss (Silhouette) eines Menschen.“

„Wenn Sie ein großes Unternehmen wären und sich Sorgen um den Datenschutz machen würden, könnten Sie diese Bilder vorverarbeiten“, sagt Beksi. Sie könnten beispielsweise menschliche Gesichter unkenntlich machen, bevor sie das Gerät überhaupt verlassen und „bevor Sie sie jemandem zum Kommentieren geben“.

„Es scheint ein bisschen schlampig zu sein“, schlussfolgert er, „vor allem, dass Minderjährige in den Videos enthalten sind.“

Im Fall der Frau auf der Toilette bemühte sich ein Datenetikettierer, ihre Privatsphäre zu schützen, indem er einen schwarzen Kreis über ihr Gesicht legte. Aber in keinem anderen Bild, auf dem Personen zu sehen waren, wurden die Identitäten verschleiert, weder durch die Datenkennzeichner selbst, durch Scale AI noch durch iRobot. Dazu gehört auch das Bild des kleinen Jungen, der ausgestreckt auf dem Boden liegt.

Baussmann erklärte, dass iRobot „die Identität dieser Menschen“ schützte, indem es „alle identifizierenden Informationen von den Bildern entkoppelte … wenn also ein Bild von einem schlechten Schauspieler aufgenommen wurde, können sie nicht rückwärts kartieren, um die Person auf dem Bild zu identifizieren.“

Aber das Erfassen von Gesichtern verstößt grundsätzlich gegen die Privatsphäre, argumentiert Warden. „Das zugrunde liegende Problem besteht darin, dass Ihr Gesicht wie ein Passwort ist, das Sie nicht ändern können“, sagt er. „Sobald jemand die ‚Signatur‘ Ihres Gesichts aufgezeichnet hat, kann er sie für immer verwenden, um Sie auf Fotos oder Videos zu finden.“

Darüber hinaus „würden Gesetzgeber und Datenschutzbeauftragte biometrische Daten, einschließlich Gesichter, als vertrauliche Informationen betrachten“, sagt Jessica Rich, eine Anwältin für Datenschutz, die zwischen 2013 und 2017 als Direktorin des Büros für Verbraucherschutz der FTC tätig war. Dies gilt insbesondere, wenn überhaupt Minderjährige werden vor der Kamera festgehalten, fügt sie hinzu: „Das Einholen der Einwilligung des Mitarbeiters [oder der Tester] ist nicht dasselbe wie das Einholen der Einwilligung des Kindes. Der Mitarbeiter ist nicht befugt, der Datenerfassung über andere Personen zuzustimmen – geschweige denn.“ die Kinder, die offenbar darin verwickelt sind. Rich sagt, dass sie sich in diesen Kommentaren nicht auf ein bestimmtes Unternehmen bezog.

Letztendlich besteht das eigentliche Problem wohl nicht darin, dass die Datenkennzeichner die Bilder in den sozialen Medien geteilt haben. Es ist vielmehr so, dass diese Art von KI-Trainingsset – insbesondere eines, das Gesichter darstellt – weitaus häufiger vorkommt, als die meisten Menschen verstehen, bemerkt Milagros Miceli, ein Soziologe und Informatiker, der seit Jahren verteilte Mitarbeiter interviewt, die von Datenannotationsunternehmen unter Vertrag stehen. Miceli war Teil eines Forschungsteams, das mit mehreren Bezeichnern gesprochen hat, die ähnliche Bilder gesehen haben, die von denselben niedrigen Aussichtspunkten aus aufgenommen wurden und manchmal Menschen in unterschiedlichen Stadien des Entkleidens zeigten.

Die Datenkennzeichner empfanden diese Arbeit als „wirklich unbequem“, fügt sie hinzu.

Hersteller von Roboterstaubsaugern sind sich selbst der erhöhten Datenschutzrisiken bewusst, die von Kameras auf dem Gerät ausgehen. „Wenn Sie sich entschieden haben, in Computer Vision zu investieren, müssen Sie sehr vorsichtig mit Datenschutz und Sicherheit sein“, sagt Jones, CTO von iRobot. „Sie bieten dem Produkt und dem Verbraucher diesen Vorteil, müssen aber auch Datenschutz und Sicherheit als oberste Priorität betrachten.“

Tatsächlich teilt iRobot dem MIT Technology Review mit, dass es viele Datenschutz- und Sicherheitsmaßnahmen auf den Geräten seiner Kunden implementiert hat, darunter die Verwendung von Verschlüsselung, das regelmäßige Patchen von Sicherheitslücken, die Einschränkung und Überwachung des Zugriffs interner Mitarbeiter auf Informationen sowie die Bereitstellung detaillierter Informationen für Kunden Daten, die es sammelt.

Es besteht jedoch eine große Kluft zwischen der Art und Weise, wie Unternehmen über Datenschutz sprechen, und dem Verständnis der Verbraucher.

Es sei zum Beispiel leicht, Datenschutz mit Sicherheit zu verwechseln, sagt Jen Caltrider, die leitende Forscherin hinter Mozillas „*Privacy Not Included“-Projekt, das Verbrauchergeräte sowohl auf Datenschutz als auch auf Sicherheit untersucht. Datensicherheit bezieht sich auf die physische Sicherheit und Cybersicherheit eines Produkts oder darauf, wie anfällig es für Hackerangriffe oder Eindringlinge ist, während es beim Datenschutz um Transparenz geht – das Wissen und die Kontrolle über die Daten, über die Unternehmen verfügen, wie sie verwendet werden und warum sie weitergegeben werden , ob und wie lange es einbehalten wird und wie viel ein Unternehmen zunächst einnimmt.

Caltrider fügt hinzu, dass es praktisch sei, beides miteinander zu vermischen, denn „die Sicherheit ist besser geworden, während der Datenschutz viel schlechter geworden ist“, seit sie 2017 mit der Produktverfolgung begonnen hat. „Die Geräte und Apps sammeln jetzt so viel mehr persönliche Informationen“, sagt sie.

Unternehmensvertreter verwenden manchmal auch subtile Unterschiede, wie die Unterscheidung zwischen „Teilen“ und Verkaufen von Daten, die es für Laien besonders schwierig machen, ihren Umgang mit dem Datenschutz zu verstehen. Wenn ein Unternehmen sagt, dass es Ihre Daten niemals verkaufen wird, heißt das nicht, dass es sie nicht verwenden oder zur Analyse an andere weitergeben wird.

Diese weitreichenden Definitionen der Datenerfassung sind im Rahmen der vage formulierten Datenschutzrichtlinien der Unternehmen oft akzeptabel, die praktisch alle Formulierungen enthalten, die die Verwendung von Daten zum Zweck der „Verbesserung von Produkten und Dienstleistungen“ erlauben – Formulierungen, die Rich als so weit gefasst bezeichnet, dass sie „erlauben“. im Grunde alles.“

„Entwickler sind traditionell nicht besonders gut in Sicherheitsfragen.“ Ihre Einstellung lautet: „Versuchen Sie, die Funktionalität zu erhalten, und wenn die Funktionalität funktioniert, versenden Sie das Produkt. Und dann kommen die Skandale ans Licht.“

Tatsächlich hat MIT Technology Review 12 Datenschutzrichtlinien für Roboterstaubsauger überprüft, und zwar alle Sie, einschließlich der von iRobot, enthielten ähnliche Formulierungen zum Thema „Verbesserung von Produkten und Dienstleistungen“. Die meisten Unternehmen, die MIT Technology Review um einen Kommentar gebeten hatte, antworteten nicht auf die Frage, ob „Produktverbesserung“ Algorithmen für maschinelles Lernen umfassen würde. Aber Roborock und iRobot sagen, dass es so wäre.

Und weil es in den Vereinigten Staaten an einem umfassenden Datenschutzgesetz mangelt – sie stützen sich stattdessen auf eine Mischung staatlicher Gesetze, vor allem auf den California Consumer Privacy Act –, bestimmen diese Datenschutzrichtlinien die rechtlichen Verantwortlichkeiten der Unternehmen, sagt Brookman. „In vielen Datenschutzrichtlinien steht, dass wir uns das Recht vorbehalten, Ihre Daten an ausgewählte Partner oder Dienstleister weiterzugeben“, stellt er fest. Das bedeutet, dass Verbraucher wahrscheinlich damit einverstanden sind, dass ihre Daten an weitere Unternehmen weitergegeben werden, unabhängig davon, ob sie diese kennen oder nicht.

Brookman erklärt, dass die rechtlichen Hürden, die Unternehmen überwinden müssen, um Daten direkt von Verbrauchern zu sammeln, relativ gering sind. Die FTC bzw. der Generalstaatsanwalt des Bundesstaates könne einschreiten, wenn es entweder zu „unfairen“ oder „betrügerischen“ Praktiken käme, stellt er fest, aber diese seien eng definiert: es sei denn, in einer Datenschutzrichtlinie heißt es ausdrücklich: „Hey, wir lassen keine Auftragnehmer.“ Schauen Sie sich Ihre Daten an“ und sie geben sie trotzdem weiter, sagt Brookman, dass Unternehmen „wahrscheinlich mit Täuschungen einverstanden sind, was für die FTC die wichtigste Möglichkeit ist“, „in der Vergangenheit den Datenschutz durchzusetzen“. Der Nachweis, dass eine Praxis unlauter ist, bringt zusätzliche Belastungen mit sich – einschließlich des Nachweises eines Schadens. „Die Gerichte haben nie wirklich darüber entschieden“, fügt er hinzu.

In den Datenschutzrichtlinien der meisten Unternehmen werden die erfassten audiovisuellen Daten bis auf wenige Ausnahmen nicht einmal erwähnt. In der Datenschutzrichtlinie von iRobot heißt es, dass audiovisuelle Daten nur erfasst werden, wenn eine Person Bilder über seine mobile App teilt. In der Datenschutzrichtlinie von LG für den kamera- und KI-fähigen Hom-Bot Turbo+ heißt es, dass die App audiovisuelle Daten sammelt, darunter „audio-, elektronische, visuelle oder ähnliche Informationen, wie Profilfotos, Sprachaufzeichnungen und Videoaufzeichnungen“. Und die Datenschutzrichtlinie für Samsungs Jet Bot AI+ Saugroboter mit Lidar und Powerbot R7070, die beide über Kameras verfügen, erfasst „Informationen, die Sie auf Ihrem Gerät speichern, wie Fotos, Kontakte, Textprotokolle, Berührungsinteraktionen, Einstellungen und Kalenderinformationen“. „und „Aufzeichnungen Ihrer Stimme, wenn Sie Sprachbefehle verwenden, um einen Dienst zu steuern oder unser Kundendienstteam zu kontaktieren.“ Unterdessen erwähnt die Datenschutzrichtlinie von Roborock keine audiovisuellen Daten, obwohl Unternehmensvertreter dem MIT Technology Review mitteilen, dass Verbraucher in China die Möglichkeit haben, diese weiterzugeben.

Helen Greiner, Mitbegründerin von iRobot, die heute ein Startup namens Tertill betreibt, das einen Unkrautjätungsroboter für den Garten verkauft, betont, dass Unternehmen mit dem Sammeln all dieser Daten nicht versuchen, die Privatsphäre ihrer Kunden zu verletzen. Sie versuchen lediglich, bessere Produkte zu entwickeln – oder, im Fall von iRobot, „eine bessere Reinigung zu ermöglichen“, sagt sie.

Dennoch hinterlassen selbst die besten Bemühungen von Unternehmen wie iRobot eindeutig Lücken beim Schutz der Privatsphäre. „Es handelt sich weniger um eine böswillige Sache, sondern lediglich um Inkompetenz“, sagt Giese, der IoT-Hacker. „Entwickler sind traditionell nicht besonders gut in Sicherheitsfragen.“ Ihre Einstellung lautet: „Versuchen Sie, die Funktionalität zu erhalten, und wenn die Funktionalität funktioniert, versenden Sie das Produkt.“

„Und dann kommen die Skandale ans Licht“, fügt er hinzu.

Der Bedarf an Daten wird in den kommenden Jahren nur noch zunehmen. Staubsauger sind nur ein kleiner Teil der vernetzten Geräte, die in unserem Leben immer häufiger vorkommen, und die größten Namen im Bereich Roboterstaubsauger – darunter iRobot, Samsung, Roborock und Dyson – äußern lautstark Ambitionen, die weit über die automatisierte Bodenreinigung hinausgehen. Robotik, einschließlich Heimrobotik, ist seit langem der wahre Preis.

Bedenken Sie, wie Mario München, damals Senior Vice President of Technology bei iRobot, im Jahr 2018 die Ziele des Unternehmens erklärte. In einer Präsentation über den Roomba 980, den ersten Computer-Vision-Staubsauger des Unternehmens, zeigte er Bilder aus der Sicht des Geräts – darunter eines einer Küche mit Tisch, Stühlen und Hockern – neben der Art und Weise, wie sie von den Algorithmen des Roboters beschriftet und wahrgenommen würden. „Die Herausforderung liegt nicht beim Staubsaugen. Die Herausforderung liegt beim Roboter“, erklärte Munich. „Wir möchten die Umgebung kennen, damit wir die Funktionsweise des Roboters ändern können.“

Diese größere Mission zeigt sich darin, was die Datenannotatoren von Scale kennzeichnen sollten – nicht Gegenstände auf dem Boden, die vermieden werden sollten (eine Funktion, die iRobot bewirbt), sondern Gegenstände wie „Schrank“, „Küchenarbeitsplatte“ und „Regal“, die … Zusammen tragen sie dazu bei, dass das Gerät der Roomba J-Serie den gesamten Raum erkennt, in dem es betrieben wird.

Die Unternehmen, die Roboterstaubsauger herstellen, investieren bereits in andere Funktionen und Geräte, die uns einer robotikgestützten Zukunft näher bringen werden. Die neuesten Roombas können über Nest und Alexa sprachgesteuert werden und erkennen über 80 verschiedene Objekte im Haus. Mittlerweile hat der Roboterstaubsauger Deebot Miele, das den RX2 Scout Home Vision vertreibt, hat seinen Fokus auf andere intelligente Geräte gerichtet, wie seinen kamerafähigen intelligenten Backofen.

Und wenn die 1,7-Milliarden-Dollar-Übernahme von iRobot durch Amazon voranschreitet – vorbehaltlich der Genehmigung durch die FTC, die die Auswirkungen des Zusammenschlusses auf den Wettbewerb auf dem Smart-Home-Markt prüft –, werden Roombas wahrscheinlich noch stärker in Amazons Vision eines ständig aktiven Smart Homes integriert der Zukunft.

Es überrascht vielleicht nicht, dass die öffentliche Politik beginnt, die wachsende öffentliche Sorge um den Datenschutz widerzuspiegeln. Von 2018 bis 2022 gab es eine deutliche Zunahme der Staaten, die Datenschutzbestimmungen in Betracht ziehen und verabschieden, beispielsweise den California Consumer Privacy Act und den Illinois Biometric Information Privacy Act. Auf Bundesebene erwägt die FTC neue Regeln, um gegen schädliche kommerzielle Überwachung und laxe Datensicherheitspraktiken vorzugehen – einschließlich derjenigen, die bei Trainingsdaten angewendet werden. In zwei Fällen ist die FTC gegen die vertrauliche Verwendung von Kundendaten zum Training künstlicher Intelligenz vorgegangen und hat die Unternehmen Weight Watchers International und den Foto-App-Entwickler Everalbum letztlich dazu gezwungen, sowohl die gesammelten Daten als auch die daraus erstellten Algorithmen zu löschen.

Dennoch befasst sich keine dieser punktuellen Bemühungen mit dem wachsenden Markt für Datenannotationen und der zunehmenden Verbreitung von Unternehmen, die auf der ganzen Welt ansässig sind oder Verträge mit globalen Gig-Arbeitern abschließen, die kaum überwacht werden, oft in Ländern mit noch weniger Datenschutzgesetzen.

Als ich diesen Sommer mit Greiner sprach, sagte sie, dass sie sich persönlich keine Sorgen über die Auswirkungen von iRobot auf die Privatsphäre mache – obwohl sie verstehe, warum manche Menschen anders denken könnten. Letztendlich definierte sie den Datenschutz als Entscheidungsfreiheit des Verbrauchers: Wer echte Bedenken hätte, könne dieses Gerät einfach nicht kaufen.

„Jeder muss seine eigenen Entscheidungen zum Datenschutz treffen“, sagte sie mir. „Und ich kann Ihnen sagen, die überwiegende Mehrheit der Menschen entscheidet sich für die Funktionen, solange sie zu einem kostengünstigen Preis angeboten werden.“

Allerdings sind nicht alle mit diesem Rahmen einverstanden, auch weil es für Verbraucher eine große Herausforderung ist, umfassend informierte Entscheidungen zu treffen. Die Einwilligung sollte mehr sein als nur „ein Stück Papier“ zum Unterschreiben oder eine Datenschutzrichtlinie zum Durchsehen, sagt Vitak, Informationswissenschaftler der University of Maryland.

Eine echte Einwilligung nach Aufklärung bedeutet, „dass die Person das Verfahren vollständig versteht, dass sie die Risiken vollständig versteht … wie diese Risiken gemindert werden und … welche Rechte sie hat“, erklärt sie. Dies geschieht jedoch selten in umfassender Weise – insbesondere wenn Unternehmen niedliche Roboterhelfer vermarkten, die saubere Böden auf Knopfdruck versprechen.

Haben Sie weitere Informationen darüber, wie Unternehmen Daten sammeln, um KI zu trainieren? Haben Sie sich an Datenerfassungsbemühungen von iRobot oder anderen Roboterstaubsaugerunternehmen beteiligt? Wir würden uns freuen, von Ihnen zu hören und respektieren Ihre Bitte um Anonymität. Bitte wenden Sie sich an [email protected].

Zusätzliche Forschung von Tammy Xu.

Korrektur: Electrolux ist ein schwedisches Unternehmen, nicht wie ursprünglich geschrieben ein Schweizer Unternehmen. Milagros Miceli war Teil eines Forschungsteams, das mit Datenkennern sprach, die ähnliche Bilder von Roboterstaubsaugern gesehen hatten.

„Ich habe plötzlich meine Meinung darüber geändert, ob diese Dinger intelligenter sein werden als wir.“

Hinton wird am Mittwoch bei EmTech Digital sprechen.

ChatGPT hat Spekulationen über künstliche allgemeine Intelligenz ausgelöst. Aber die nächste echte Phase der KI wird in bestimmten Bereichen und Kontexten stattfinden.

Sehen Sie, wie Hinton mit Will Douglas Heaven, dem leitenden Redakteur für KI bei MIT Technology Review, bei EmTech Digital spricht.

Entdecken Sie Sonderangebote, Top-Storys, bevorstehende Veranstaltungen und mehr.

Vielen Dank für das Absenden Ihrer E-Mail!

Es sieht so aus, als wäre etwas schief gelaufen.

Beim Speichern Ihrer Einstellungen ist ein Problem aufgetreten. Versuchen Sie, diese Seite zu aktualisieren und sie noch einmal zu aktualisieren. Wenn Sie diese Nachricht weiterhin erhalten, wenden Sie sich an [email protected] mit einer Liste der Newsletter, die Sie erhalten möchten.