Actualización: Apple mencionó una segunda inspección del servidor, y una empresa profesional de visión por computadora describió una posibilidad de lo que podría describirse en "Cómo podría funcionar la segunda inspección" a continuación.
Después de que los desarrolladores aplicaran ingeniería inversa a partes del mismo, la primera versión del sistema CSAM de Apple ha sido engañada para marcar una imagen inocente.Sin embargo, Apple declaró que tiene salvaguardas adicionales para evitar que esto suceda en la vida real.
El último desarrollo se produjo después de que se publicara el algoritmo NeuralHash en el sitio web para desarrolladores de código abierto GitHub, cualquiera puede experimentar con él...
Todos los sistemas CSAM funcionan mediante la importación de una base de datos de materiales conocidos de abuso sexual infantil de organizaciones como el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC).La base de datos se proporciona en forma de hash o huellas digitales de imágenes.
Aunque la mayoría de los gigantes tecnológicos escanean fotos cargadas en la nube, Apple usa el algoritmo NeuralHash en el iPhone del cliente para generar un valor hash de la foto almacenada y luego lo compara con la copia descargada del valor hash CSAM.
Ayer, un desarrollador afirmó haber realizado ingeniería inversa del algoritmo de Apple y lanzó el código a GitHub; esta afirmación fue efectivamente confirmada por Apple.
Unas pocas horas después de que se lanzó GitHib, los investigadores utilizaron con éxito el algoritmo para crear un falso positivo intencional: dos imágenes completamente diferentes que generaron el mismo valor hash.Esto se llama colisión.
Para tales sistemas, siempre existe el riesgo de colisiones, porque el hash es, por supuesto, una representación muy simplificada de la imagen, pero es sorprendente que alguien pueda generar la imagen tan rápidamente.
La colisión deliberada aquí es solo una prueba de concepto.Los desarrolladores no tienen acceso a la base de datos de hash CSAM, lo que requeriría la creación de falsos positivos en el sistema en tiempo real, pero demuestra que, en principio, los ataques de colisión son relativamente fáciles.
Apple confirmó efectivamente que el algoritmo es la base de su propio sistema, pero le dijo a la placa base que esta no es la versión final.La compañía también declaró que nunca tuvo la intención de mantenerlo confidencial.
Apple le dijo a Motherboard en un correo electrónico que la versión analizada por el usuario en GitHub es una versión genérica, no la versión final utilizada para la detección de CSAM de iCloud Photo.Apple dijo que también reveló el algoritmo.
"El algoritmo NeuralHash [...] es parte del código del sistema operativo firmado [y] los investigadores de seguridad pueden verificar que su comportamiento se ajuste a la descripción", escribió un documento de Apple.
La compañía continuó diciendo que hay dos pasos más: ejecutar un sistema de coincidencia secundario (secreto) en su propio servidor y revisión manual.
Apple también declaró que después de que los usuarios superen el umbral de 30 coincidencias, un segundo algoritmo no público que se ejecuta en los servidores de Apple verificará los resultados.
"Este hash independiente se eligió para rechazar la posibilidad de que el NeuralHash erróneo coincida con la base de datos CSAM encriptada en el dispositivo debido a la interferencia adversaria de imágenes que no son CSAM y exceda el umbral de coincidencia".
Brad Dwyer de Roboflow encontró una manera de distinguir fácilmente entre las dos imágenes publicadas como prueba de concepto para un ataque de colisión.
Tengo curiosidad por cómo se ven estas imágenes en CLIP de un extractor de características neuronales OpenAI similar pero diferente.CLIP funciona de manera similar a NeuralHash;toma una imagen y utiliza una red neuronal para generar un conjunto de vectores de características que se asignan al contenido de la imagen.
Pero la red de OpenAI es diferente.Es un modelo general que puede mapear entre imágenes y texto.Esto significa que podemos usarlo para extraer información de imagen comprensible para los humanos.
Pasé las dos imágenes de colisión de arriba a través de CLIP para ver si también fue engañado.La respuesta corta es no.Esto significa que Apple debería poder aplicar una segunda red extractora de características (como CLIP) a las imágenes CSAM detectadas para determinar si son reales o falsas.Es mucho más difícil generar imágenes que engañen a dos redes al mismo tiempo.
Finalmente, como se mencionó anteriormente, las imágenes se revisan manualmente para confirmar que son CSAM.
Un investigador de seguridad dijo que el único riesgo real es que cualquiera que quiera molestar a Apple pueda proporcionar falsos positivos a los revisores humanos.
"Apple realmente diseñó este sistema, por lo que la función hash no necesita mantenerse en secreto, porque lo único que puede hacer con 'no CSAM como CSAM' es molestar al equipo de respuesta de Apple con algunas imágenes basura hasta que implementen filtros para eliminar Esa basura en proceso son falsos positivos”, dijo Nicholas Weaver, investigador principal del Instituto de Ciencias Informáticas Internacionales de la Universidad de California, Berkeley, a Motherboard en un chat en línea.
La privacidad es un tema de creciente preocupación en el mundo actual.Siga todos los informes relacionados con la privacidad, la seguridad, etc. en nuestras pautas.
Ben Lovejoy es un redactor técnico británico y editor para la UE de 9to5Mac.Es conocido por sus columnas y artículos de diario, explorando su experiencia con los productos de Apple a lo largo del tiempo para obtener reseñas más completas.También escribe novelas, hay dos thrillers técnicos, algunos cortometrajes de ciencia ficción y una comedia romántica.
Hora de publicación: 20 de agosto de 2021