Бир киши уулунун сүрөтүн дарыгерге тартып алып, аз жерден түрмөгө түшүп калды: Google кантип сиздин жашооңузду бузат

Google балдардын адепсиз сүрөттөрүн аныктоо үчүн автоматташтырылган куралга ээ. Бирок система ката кетириши мүмкүн, анын кесепети олуттуу болот, дейт NYTimes.

Сүрөт: IStock

Марк баласына бир нерсе болуп жатканын байкады. Уулунун жыныс мүчөсү шишип, ооруп калган. Марк, Сан-Францисколук ата, Android смартфонун алып, көйгөйдү документтештирүү жана анын жүрүшүнө көз салуу үчүн сүрөттөрдү тартты.

Бул 2021-жылдын февраль айынын жума күнү кечинде болгон. Анын аялы медициналык мекемедеги медайымдын консультантын чакырып, эртеси эртең менен шашылыш видео консультациясын уюштурган, анткени ал ишемби жана пандемия болгон. Медайым сүрөттөрдү дарыгерге алдын ала карап чыгышы үчүн жөнөтүүнү айтты.

Марктын аялы күйөөсүнүн телефонун алып, уулунун жамбаш аймагынын жогорку сапаттагы сүрөттөрүн iPhone телефонуна жөнөтүп, аларды медициналык тейлөөчүнүн билдирүү тутумуна жүктөй алган. Алардын бири Марктын колун көрсөттү, ал шишик жакшыраак көрүндү. Марк жана анын жубайы санариптик маалыматтарды тездик менен басып алууну жана бөлүшүүнү мүмкүн кылган технология гиганттары же ал дөөлөр сүрөттөр жөнүндө эмне деп ойлошу мүмкүн деп ойлошкон эмес.

тема боюнча: Мексикада туристтин чирип калган денеси табылды: анын 5 жашар уулу дайыма ошол жерде болгон

Сүрөттөрдүн жардамы менен дарыгер диагноз коюп, антибиотиктерди жазып берген, алар тез жардам берген. Бирок бул эпизоддон кийин Марк бир топ чоң көйгөйдү жаратып, ага он жылдан ашык байланыштар, электрондук почталар жана сүрөттөрдү жумшап, аны полициянын иликтөөсүнө айлантты. Потенциалдуу аброюна зыян келтирип алуудан коркуп, өзүнүн аты менен гана аталышын суранган Марк балдарга сексуалдык зомбулук көрсөткөн материалдарды бөлүшүп жаткан адамдарды кармоо үчүн иштелип чыккан алгоритмдик тармакка түшүп калган.

Технологиялык компаниялар туруктуу негизде ушунчалык көп маалыматтарды чогулткандыктан, кылмыштуу жүрүм-турумду аныктоо жана алдын алуу үчүн серверлери аркылуу эмне өтүп жатканын текшерип, кароолчу катары иштөөгө аргасыз болушкан. Балдардын жактоочулары интернетте сексуалдык зомбулук сүрөттөрүнүн көп таралышы менен күрөшүү үчүн компаниялардын кызматташуусу зарыл экенин айтышат. Бирок бул санариптик фото альбомдор сыяктуу жеке архивдерди карап чыгууну талап кылышы мүмкүн - колдонуучулар күтпөгөн интрузия - бул, жок эле дегенде, эки учурда бейкүнөө жүрүм-турумга алып келген The Times.

"Алар ондогон, жүздөгөн, миңдеген болушу мүмкүн", - деди Джон Каллас, Электрондук чек ара фондунун технологу, санариптик жарандык эркиндиктер уюму.

Айыптоолордун үрөй учурарлык мүнөзүн эске алып, Каллас туура эмес жазылган адамдардын көбү эмне болгонун коомчулукка жарыялабайт деп сунуштады.

"Мен бул компаниялар бизди карап турганын билчүмүн жана купуялуулук биз күтө турган нерсе эмес" деди Марк. – Бирок мен эч кандай туура эмес кылган жокмун.

Милиция макул болду. Google андай эмес.

"Оор бузуу"

40-жылдардын орто ченинде Gmail аккаунтун орноткондон кийин, XNUMXтардагы Марк Google'га көп таяна баштады. Ал Google календарында жубайы менен жолугушууларды шайкештештирген. Анын Android камерасы сүрөттөр менен видеолорду Google булутуна камдык. Ал тургай, Google Fi менен телефон планы болгон.

Ал уулунун сүрөтүн тарткандан эки күндөн кийин Марктын телефону үзгүлтүксүз эскертме үнүн чыгарды: анын аккаунту "зыяндуу мазмундан" улам өчүрүлгөн, бул "Google саясатын олуттуу бузуу жана мыйзамсыз болушу мүмкүн". "Көбүрөөк билүү" шилтемеси мүмкүн болгон себептердин тизмесине алып келди, анын ичинде "сексуалдык зомбулук жана балдарды эксплуатациялоо".

Марк адегенде түшүнбөстөн, кийин уулунун оорусун эстеди. Оо, Кудай, Google бул балдар порносу деп ойлошу керек, деп ойлоду ал.

Кызык жери, Марк колдонуучулар тарабынан көйгөйлүү деп белгиленген видео мазмунду алып салуу үчүн ири технологиялык компаниянын автоматташтырылган куралында инженер-программалык камсыздоочу болуп иштеген. Ал мындай системаларда компьютерлердин ката кетирбешине ынанган адам көп болорун билген жана бул адамга жеткенде анын иши чечилет деп ойлогон.

Ал уулунун оорусун түшүндүрүп, Google'ду кайра карап чыгууну суранган анкетаны толтурган. Ошол эле учурда ал Google'дун ийгиликсиздигинин домино эффектин ачкан. Ал электрондук почталарын, достору жана мурдагы кесиптештери үчүн байланыш маалыматын жана уулунун алгачкы жылдарындагы документтерди жоготпостон, анын Google Fi аккаунту жабылган, башкача айтканда, башка оператордон жаңы телефон номерин алууга туура келген. Эски телефон номерине жана электрондук почта дарегине кирүү мүмкүнчүлүгү жок, ал башка онлайн аккаунттарына кирүү үчүн керектүү коопсуздук коддорун ала албай, санариптик жашоосунун көп бөлүгүн бөгөттөп койгон.

«Бир себетте канчалык көп жумуртка болсо, ошончолук сынышы мүмкүн», - деди ал.

Google билдирүүсүндө: "Балдардын сексуалдык зомбулук материалдары жийиркеничтүү жана биз анын платформаларыбызда бөлүшүлүшүнө жол бербөөгө милдеттенебиз."

Марк апелляциялык арыз бергенден бир нече күн өткөндөн кийин, Google эч кандай түшүндүрмөсүз эле аккаунтту калыбына келтирбейбиз деп жооп берди.

Марк муну билген эмес, бирок Google'дун кароо тобу да ал тарткан видеону белгилеп, Сан-Франциско полиция департаменти буга чейин тергөө иштерин баштаган.

Google сүрөттөрдү кантип белгилейт

Марктын кыйынчылыктары башталган күндүн эртеси Техас штатында да ошол эле сценарий болгон. Хьюстондогу наристени "жеке бөлүктөрүндө" инфекция жуктурган, деп жазган атасы интернеттеги постунда Марктын окуясын айтып жатып журналист мүдүрүлүп калган. Кассионун педиатрынын өтүнүчү боюнча, ал дагы өзүнүн аты менен аталышын суранган, атасы Android аркылуу Google Фотого автоматтык түрдө сакталган сүрөттөрдү тарткан. Анан аларды Google Chat аркылуу жубайына жөнөткөн.

Gmail аккаунту өчүрүлгөндө Кассио үй сатып алуу жана сансыз санариптик документтерге кол коюу процессинде жүргөн. Ал ипотекалык брокеринен электрондук почтанын дарегин өзгөртүүнү суранган, бул Кассионун кыймылсыз мүлк агенти ага кепилдик бергенге чейин брокерди шектендирди.

"Бул чоң баш оору болду" деди Кассио.

Эксплуатацияланган же сексуалдык зордук-зомбулукка кабылган балдардын сүрөттөрү технология гиганттары тарабынан жылына миллиондогон жолу белгиленет. 2021-жылы Google гана балдарга карата зордук-зомбулук материалдары боюнча 600ден ашуун билдирүүлөрдү тапшырып, натыйжада 000 колдонуучу аккаунтун убактылуу токтоткон. Марк менен Кассионун башынан өткөргөн окуялары чоң океандагы тамчылар эле.

Балдар порнографиясы деп аталган кеңири онлайн алмашууну олуттуу түрдө үзгүлтүккө учураткан биринчи жогорку технологиялык өнөр жай инструменти PhotoDNA болгон, уникалдуу санариптик коддорго же хэштерге айландырылган кыянаттыктын белгилүү сүрөттөрүнүн базасы; аны сүрөт бир аз гана өзгөртүлгөн болсо да, дал келүүлөрдү табуу үчүн көп сандагы сүрөттөрдү тез карап чыгуу үчүн колдонсо болот. 2009-жылы Microsoft PhotoDNAны чыгаргандан кийин, Facebook жана башка технологиялык компаниялар аны мыйзамсыз жана зыяндуу сүрөттөрдү бөлүшкөн колдонуучуларды жок кылуу үчүн колдонушкан.

Дайынсыз жоголгон жана эксплуатацияланган балдар боюнча улуттук борбордун президенти: "Бул укмуштуудай курал" деди.

Он жылдан кийин, 2018-жылы, Google балдарды эксплуатациялоонун мурда болуп көрбөгөн сүрөттөрүн тааный турган AI куралын иштеп чыкканда чоң жетишкендик болду. Бул зордук-зомбулукка кабылган балдардын белгилүү сүрөттөрүн гана эмес, бийликтер куткара ала турган белгисиз курмандыктардын сүрөттөрүн издөөнү билдирген. Google өзүнүн технологиясын башка компанияларга, анын ичинде Facebook үчүн жеткиликтүү кылды.

Марк менен Кассионун сүрөттөрү автоматтык түрдө телефондорунан Google'дун серверлерине жүктөлгөндө, технология аларга тег койгон. EFFтин өкүлү Жон Каллас сканерлөө интрузивдүү деп аталып, кимдир бирөөнүн жеке түзмөгүндөгү үй-бүлөлүк фотоальбом "жеке чөйрө" болушу керек деп айтты. Google компаниясынын өкүлүнүн айтымында, компания колдонуучу "оң аракет" жасаганда гана сканерлейт, анын ичинде колдонуучунун телефону компаниянын булутуна сүрөттөрдүн камдык көчүрмөсүн сактаганда.

"Бул баарыбызды тынчсыздандырган коркунучтуу түш" деди Каллас. "Алар менин үй-бүлөлүк альбомумду сканерлешет, анан мен кыйынчылыкка кабылам".

Google үчүн адамдык мазмундун модератору AI балдарга сексуалдык зомбулук көрсөткөн материалдын федералдык аныктамасына туура келгенин ырастоо үчүн аларга тег койгондон кийин сүрөттөрдү карап чыкты. Google мындай ачылыш жасаганда, колдонуучунун аккаунтун убактылуу токтотуп, башка эксплуатациялоочу материалдарды издеп, федералдык мыйзам талап кылгандай, CyberTipline боюнча отчетту дайынсыз жоголгон жана эксплуатацияланган балдардын улуттук борборуна тапшырат.

Коммерциялык эмес уюм кыянаттык тууралуу билдирүүлөрдү чогултуучу борбор болуп калды; өткөн жылы ал 29,3 миллион отчетту же күнүнө 80 000ге жакын отчетту кабыл алган. CyberTipline компаниясын башкарган Фаллон МакНулти бул сүрөттөрдүн көбү мурда кабарланган сүрөттөр экенин айтты, алар дагы эле интернетте тынымсыз жайылууда. Ошентип, анын 40 аналитиктен турган штаты потенциалдуу жаңы курмандыктарга көңүл бурушат, ошондуктан алар укук коргоо органдарына ошол иштерди артыкчылыктуу кылып коюшат.

"Адатта, эгерде NCMEC кызматкерлери CyberTipline отчетун карап чыгып, мурда көрүлбөгөн эксплуатациялоочу материалдарды камтыса, алар күчөйт" деди МакНалти. "Бул али аныктала элек же корголбогон жана коопсуз эмес бала болушу мүмкүн."

МакНалтинин айтымында, Google'дун бул сүрөттөрдү таап, анын уюму аларды полицияга кошумча иликтөө үчүн билдире турган укмуштуудай жөндөмү "системанын керектүү түрдө иштеп жатканынын мисалы".

CyberTipline кызматкерлери скандоо максатында технологиялык компаниялар тарабынан колдонулган хэштелген маалымат базасына жаңы адепсиз сүрөттөрдү кошот. Марктын аялы муну билип калганда, Apple анын аккаунтун белгилейт деп коркуп, Марктын уулунун сүрөттөрүн iPhoneдон өчүрүп салган. Өткөн жылы Apple балдарга сексуалдык зомбулук көрсөткөн белгилүү сүрөттөр үчүн iCloud сүрөттөрүн сканерлөө планын жарыялаган, бирок купуялык топторунун каршылыгынан улам жайылтуу белгисиз мөөнөткө кечигип келген.

2021-жылы CyberTipline бийликтерге "4260тан ашык жаңы балдардын курмандыктары" жөнүндө эскерткенин билдирди. Алардын арасында Марк менен Кассионун уулдары болгон.

"Кылмыш болгон эмес"

2021-жылдын декабрында Марк Сан-Франциско полиция департаментинен конвертти почта аркылуу алган. Анда ал тергөө жүрүп жаткандыгы тууралуу кат, ошондой эле Google жана анын провайдери тарабынан берилген издөө ордерлеринин көчүрмөлөрү камтылган. Байланыш маалыматы берилген тергөөчү Марктын Google аккаунтундагы баарын сураган: анын интернеттеги издөөлөрү, жайгашкан жеринин тарыхы, билдирүүлөрү жана компанияда сактаган бардык документтер, сүрөттөр жана видеолор.

"Балдарды эксплуатациялоо боюнча видео" издөө анын уулун сүрөткө тарткандан кийин бир жуманын ичинде февраль айында жүргүзүлгөн.

Марк тергөөчү Николас Хиллардга телефон чалып, иш жабылганын айтты. Хилард мырза Марк менен байланышууга аракет кылган, бирок анын телефон номери жана электрондук почта дареги иштебей калган.

"Мен окуя кылмыштын критерийлерине жооп бербегенин жана эч кандай кылмыш жок экенин аныктадым" деп жазган Хиллар өз баяндамасында. Полиция Google'дун Марк тууралуу бардык маалыматтарына ээ болгон жана бул балдарды зомбулук же эксплуатация эмес деп чечти.

Марк Хиллар аккаунтун кайтарып алуу үчүн Google'га анын күнөөсүз экенин айта алабы деп сурады.

"Сиз Google менен сүйлөшүшүңүз керек" деди Хилард Марктын айтымында. - Мен эч нерсе кыла албайм".

Марк полицияга арыз менен кайрадан Google'га кайрылган, бирок майнап чыккан эмес. Эки ай мурун анын аккаунту биротоло жок кылынганы тууралуу эскертүү алгандан кийин, Марк юрист менен Google менен соттошуп, анын баасы канча болушу мүмкүн экенин айтты.

«Мен бул 7000 долларга жетпесе керек деп ойлогом», - деди ал.

Сент-Джон университетинин укук профессору, онлайн мазмунду модерациялоо жөнүндө жазган Кейт Клониктин айтымында, "сүрөттө көрүнбөгөн нерселерди, мисалы, сүрөттү бөлүшкөн адамдардын жүрүм-турумун эске алуу татаал болушу мүмкүн. ошол мазмунду алып жаткан адамдын ниети." . Миллиарддаган сканерленген сүрөттөрдү эске алганда, адамдар жаңылыштык менен белгиленүүчү жалган позитивдер сөзсүз болот. Көпчүлүк адамдар зомбулукка кабылган балдарды аныктоонун пайдасын эске алганда, бул компромиссти негиздүү деп эсептешсе да, Клоник компаниялар туура эмес белгиленген бейкүнөө адамдарды тазалоо жана калыбына келтирүү үчүн "бекем процесс" керек деди.

"Эгер бул жөн гана мазмунду модерациялоо жана цензура жөнүндө болсо, бул көйгөйлүү болмок" деди Клоник. "Бирок бул эки эсе кооптуу, анткени ал кимдир бирөөнүн укук коргоо органдарына билдирүүсүнө алып келет."

Анын айтымында, андан да жаман болушу мүмкүн, ата-эне балага камкордуктан ажырап калышы мүмкүн. "Сиз ал кандайча күчөшүн элестете аласыз" деди Клоник.

Кассионун ишин да полиция тергеп жаткан. 2021-жылдын күзүндө Хьюстон полиция департаментинин детективи ага телефон чалып, станцияга келишин суранган.

Кассио детективге педиатр менен болгон мамилесин көрсөткөндөн кийин, ал тез эле акталган. Бирок ал да Google Веб Кызматтарынын төлөм колдонуучусу болгонуна карабастан, он жылдык Google аккаунтун кайтарып ала алган жок. Азыр ал электрондук почта үчүн Hotmail дарегин колдонот, ал үчүн адамдар аны шылдыңдашат. Ал өзүнүн маалыматтарынын бир нече резервдик көчүрмөсүн түзөт.

Баары түшүнүксүз

Жылаңач балдардын сүрөттөрүнүн баары эле порнографиялык, эксплуатациялоочу же кемсинтүү эмес. Карисса Бирн Хессик, Түндүк Каролина университетинин укук профессору, балдар порнографиясынын кылмыштары жөнүндө жазган, сексуалдык зордук-зомбулук сүрөттөрүн юридикалык жактан аныктоо татаал болушу мүмкүн дейт.

Бирок Хессик медициналык сүрөттөр талапка жооп бербейт деген полиция менен макул экенин айтты. "Балдардын зордук-зомбулуктары жок" деди ал.

Машина үйрөнүүдө компьютердик программа “туура” жана “туура эмес” маалыматты аларды айырмалай алганга чейин кабыл алуу менен үйрөнөт. Ваннадагы ымыркайлардын же спринклерлерде жылаңач чуркаган балдардын сүрөттөрүн белгилөөдөн качуу үчүн, Google AI кыянаттыктарды аныктоо үчүн Google тарабынан мурун колдонуучу аккаунттарынан табылган мыйзамсыз материалдардын сүрөттөрү жана ага берүү үчүн кыянаттык көрсөтпөгөн сүрөттөр боюнча үйрөтүлгөн. эмнени белгилөө керектиги жөнүндө так түшүнүк.

Марк тарткан сүрөттөрдү белгилөө чечими айкын болгон: алар баланын жыныстык органдарынын ачык сүрөттөрү болгон. Бирок контекст маанилүү: аларды оорулуу баласы үчүн тынчсызданган ата-эне алып салган.

Google'дун балдардын коопсуздугу бөлүмүнүн башчысы Клэр Лилли: "Биз телемедицинанын жана өзгөчө Ковиддин доорунда ата-энелерге диагноз коюу үчүн балдарын сүрөткө тартуу керек болгонун түшүнөбүз" деди. Компания педиатрлар менен кеңешкен, ошондуктан анын кароочулары медициналык себептерден улам тартылган сүрөттөрдө пайда болушу мүмкүн болгон шарттарды түшүнүшөт, деди ал.

Америкалык педиатрия академиясынын Балдарга карата зордук-зомбулук жана кайдыгерлик боюнча кеңешинин төрагасы, доктор Сюзанна Хэни ата-энелерге дарыгердин көрсөтмөсү менен балдардын жыныстык органдарын сүрөткө тартпоону сунуштады.

"Сиз каалаган эң акыркы нерсе - сиздин балаңыздын кимдир бирөөнүн жыныстык органдарын сүрөткө тартып алганга көнүшү", - деди доктор Хани. "Эгер керек болсо, булутка жүктөөдөн качыңыз жана аларды дароо жок кылыңыз."

Анын айтымында, дарыгерлердин көбү мындай сүрөттөрдү сурашынын коркунучун билишпейт.

Доктор Хейни компаниянын кыянаттык менен күрөшүү аракеттери жөнүндө: "Мен Google жасап жаткан иштери үчүн кубаттайм" деди. "Бирок бизде чындап эле коркунучтуу көйгөй бар." "Тилекке каршы, бул ата-энелердин балдары менен туура иш кылууга аракет кылганынан улам болду."

Ушул жылдын башында кардарларды тейлөө өкүлү Кассиого жубайына Google Hangouts аркылуу сүрөттөрдү жөнөтүү чаттын тейлөө шарттарын бузганын айткан. Шарттарда "Hangouts'ту балдарга зыян келтирүүчү эч кандай жол менен колдонбоңуз" деп жазылган. "Google бул мазмун үчүн нөлдүк сабырдуулук саясаты бар."

Маркка келсек, Google компаниясынын кызматкери Лилли сынчылар ал тарткан сүрөттөрдө эч кандай исиркектер же кызарган жерлерди таппаганын жана анын аккаунтун текшерүүдө алты айлык видео табылганын, ал Google дагы көйгөйлүү деп тапкан кичинекей бала тууралуу айтты. чечинбеген аял менен төшөк.

Марк видеону эстеген жок жана аны көрө алган жок, бирок ал бул жеке көз ирмемдей угулуп жатканын айтты, ал аны эч ким эч качан көрүп же баалай турганын түшүнбөй эле тартып алгысы келет.

«Бул учур эсимде. Бир күнү эртең менен ойгондук. Жубайым жана уулум менен сонун күн болду жана мен ошол учурду тартып алгым келди», - деди Марк. "Эгер биз пижама менен уктап калсак, мунун баарынан кутулууга болот эле."

Google компаниясынын өкүлү укук коргоо органдары эки кишини актаганына карабастан, компания өз чечимдерин карманып жатканын айтты.

Демейки боюнча айыптоо

Юридикалык профессор Хессик балдарга сексуалдык зомбулукту жоюу жана токтотуу үчүн технологиялык компаниялардын укук коргоо органдары менен кызматташуусу "абдан маанилүү", бирок ал оңдоого мүмкүндүк берет деп эсептейт.

Сизди кызыктырышы мүмкүн: Нью-Йорктун негизги жаңылыктары, иммигранттарыбыздын окуялары жана Big Appleдеги жашоо жөнүндө пайдалуу кеңештер - мунун баарын ForumDaily Нью -Йорктон окуңуз.

"Гуглдун көз карашы боюнча, бул адамдарга өз кызматтарын колдонууга тыюу салуу оңой" деди ал. Болбосо, компания «балдарга кандай жүрүм-турум ылайыктуу жана эмнени сүрөткө тартуу ылайыктуу, эмнеси туура эмес» деген татаал суроолор менен күрөшүүгө туура келет.

Марк дагы эле өзүнүн маалыматын кайра ала алам деп үмүттөнөт. Сан-Франциско полиция департаменти анын Google аккаунтунун мазмунун флешкада сактайт. Азыр Марк көчүрмөсүн алууга аракет кылып жатат. Полициянын өкүлү департамент ага жардам берүүгө даяр экенин билдирди.

Оку: ForumDaily да:

Чикагодо үч украиналык белгисиз зат менен ууланды: алардын экөө каза болду

30 метр бийиктиктен кулады: Орегон штатында сейилдеп жүргөн аял жардан кулады

Барган сайын мыйзамсыз иммигранттар АКШга тымызын кирип жатышат: алар муну кантип кылышат жана селфидин буга кандай тиешеси бар

АКШдагы жашоо жана Америкага иммиграция тууралуу маанилүү жана кызыктуу жаңылыктарды каалайсызбы? — бизди колдо кайрымдуулук кыл! Ошондой эле биздин баракчага жазылыңыз Facebook. "Дисплейдеги артыкчылык" опциясын тандап, алгач бизди окуңуз. Ошондой эле, биздин каналга жазылууну унутпаңыз Телеграм каналы  жана Instagram- Ал жерде кызыктуу нерселер көп. Жана миңдеген окурмандарга кошулуңуз ForumDaily New York — ал жерден сиз мегаполистеги жашоо жөнүндө көптөгөн кызыктуу жана позитивдүү маалыматтарды таба аласыз.