Tenemos que protegernos de los abusos del big data

Hace pocas semanas, el Departamento de Trabajo de Estados Unidos anunció que denunciaría a una de las estrellas de Silicon Valley, Palantir, por utilizar sus sistemas automatizados de datos masivos para discriminar a los trabajadores asiáticos. En septiembre, se publicó un estudio, firmado por Cathy O’Neil, que explica que las aseguradoras médicas, los bancos o los departamentos de recursos humanos pueden emplear esos sistemas para discriminar a enfermos, homosexuales, mujeres en edad fértil o personas sin recursos.

Cathy O’Neil, antigua analista de datos en Wall Street y exprofesora del prestigioso Barnard College, publicó en septiembre su estudio y las críticas que la acusaban de catastrofista no se hicieron esperar. Había tocado un nervio excepcionalmente sensible, pues el big data, un sector inmenso y poderoso de más de 122.000 millones de dólares de facturación, ha empezado mejorar las cifras de ventas y eficiencia de miles de empresas en todo el mundo. Son muchos los medios, expertos y directivos que quieren hablar de estos beneficios de los datos masivos… y muy pocos los que están dispuestos a alertar de sus amenazas.

Sin embargo, en una entrevista con Yorokobu, probablemente la primera a un medio español, la autora explicaba claramente las tres cuestiones fundamentales que le preocupan. Decía, para empezar, que los grandes bancos y aseguradoras estaban utilizando el big data para valorar, calcular, aprobar y rechazar los créditos o las pólizas de sus clientes, incluidas las pólizas médicas. Los clientes, según ella, no saben ni qué criterios se están utilizando para evaluarlos, ni si los datos son privados y han sido obtenidos sin su consentimiento, ni si son incorrectos y las empresas no les dan, por eso mismo, el trato que merecen.

Según ella, algo similar ha empezado a ocurrir también con los departamentos de recursos humanos que ya utilizan esos sistemas para filtrar a los candidatos de los procesos de selección y para medir el talento, la capacidad o la proyección de los trabajadores internos.

La segunda idea que le preocupaba a Cathy O’Neil es que esos grandes bancos, aseguradoras y departamentos de recursos humanos no siempre saben cómo funcionan los sistemas de análisis que les han vendido y, por eso mismo, no es fácil que identifiquen sus defectos. Entre esos defectos, pueden aparecer, como en el caso de Palantir, graves discriminaciones por raza, sexo o condición económica.

El motivo de que no sepan cómo funcionan los sistemas es que no cuentan con expertos en sus plantillas que puedan descifrarlos y que, cuando los tienen, tropiezan contra un muro: la ley de protección intelectual e industrial protege el secreto de los algoritmos.

En definitiva, si los que les venden el dispositivo de análisis no quieren explicárselo con todo detalle, están en su derecho. Si los clientes no quieren saber más porque piensan que las irregularidades les pueden beneficiar y desean echar la culpa a sus proveedores cuando las cosas se pongan feas, ya tienen una excusa.

La tercera circunstancia que le preocupa a Cathy O’Neil es la aureola casi religiosa que rodea al fenómeno de los datos masivos. Según ella, los resultados de los análisis de big data se consideran objetivos y, por tanto, inapelables porque están automatizados, porque son producto de la inteligencia artificial y porque se supone que los robots no tienen los mismos sesgos racistas, sexistas o clasistas que los humanos. El hecho, por desgracia, es que, según ella, las máquinas comparten los mismos sesgos racistas, sexistas o clasistas que los programadores o clientes que los encargan.

La gran incógnita

¿Estamos preparados en países como España o en Latinoamérica para defender a la población de los tres desafíos que ha identificado Cathy O’Neil? Todo parece indicar que no.

Fuentes de uno de los principales despachos de abogados españoles aseguran que, con la ley en la mano, los bancos, las aseguradoras o los departamentos de recursos humanos pueden negarse a facilitarnos la información que han utilizado para evaluar nuestro talento, nuestro crédito o nuestra salud si han recurrido al big data y no nos han dicho que lo iban a hacer. Además, como no sabemos de qué información disponen, pueden afirmar que nos la han entregado toda cuando la pidamos y ser falso.

¿Esto qué significa? Principalmente, que una empresa puede tomar decisiones como promocionarnos, contratarnos, despedirnos, darnos una póliza médica o concedernos un crédito utilizando a veces datos privados obtenidos sin nuestro consentimiento (por ejemplo, nuestros historiales médicos, nuestras multas o información sobre nuestras inclinaciones sexuales, políticas o religiosas), que quizás no lo sepamos nunca y que si esos datos son incorrectos es probable que no tengamos la oportunidad de corregirlos.

Además, resultará muy difícil que las autoridades lleguen a investigarlo y descubrirlo: no pueden atender a todos los ciudadanos que les llaman con una vaga sospecha después de no superar un proceso de selección.

En el caso concreto de las contrataciones, despidos y promociones, fuentes del Ministerio de Trabajo reconocen que, a diferencia de Estados Unidos, la inspección de trabajo en España no cuenta con profesionales especializados en sistemas de selección mediante big data aunque miles de trabajadores ya se están viendo afectados. Eso se explica, en parte, porque son muy pocas las empresas —sobre todo en banca, grandes almacenes o el sector farmacéutico— que los utilizan ahora mismo.

De todos modos, resultará difícil pero no imposible que atrapen a quien explote datos obtenidos ilegalmente, porque, tal y como la Agencia Española de Protección de Datos admite a Yorokobu, este organismo puede actuar «de forma preventiva», es decir, puede hacer una inspección sin que nadie le remita una queja.

Hasta la fecha, y aunque el sector del big data ya empleaba a más de 10.000 personas y facturaba casi 150 millones de euros hace dos años, la agencia no ha realizado ninguna inspección en el área de datos masivos de una empresa. Silvia Chavida, asociada del despacho de abogados Cremades & Calvo Sotelo y experta en protección de datos, cree que ha llegado el momento.

Otra cuestión que le preocupa a Chavida es que, muchas veces, los ciudadanos consienten ceder sus datos legalmente, por ejemplo a las redes sociales, sin entender las condiciones en las que lo hacen, porque los términos del servicio están redactados con verborrea y en un lenguaje oscuro que sólo los especialistas pueden comprender. Se pregunta si se le puede llamar a eso consentir libremente en una sociedad en la que no estar en Facebook es poco menos que no existir.

Segundo frente

Las perspectivas no son mucho mejores en el segundo frente que preocupaba a O’Neil, es decir, que las empresas que utilizan los sistemas de análisis de datos masivos a veces no saben cómo funcionan y se vuelven, por eso mismo, incapaces de corregir errores informáticos que pueden conducir a graves discriminaciones por raza, sexo o clase social.

Las leyes de la propiedad intelectual e industrial pueden proteger perfectamente en España o Latinoamérica la confidencialidad de un algoritmo que contenga esos defectos.

Por eso, las empresas que compren el sistema, según Silvia Chavida, sólo pueden presionar (con mejor o peor suerte) al proveedor para que se lo revele o hacer que éste garantice «contractualmente» que el algoritmo no discrimina. Si surgen problemas con las autoridades, ese contrato les permitirá echar la culpa al proveedor. Harán algo parecido si compran unos datos que no saben si se han obtenido legalmente. No necesitarán pedir más garantías.

Las empresas se pueden proteger más eficazmente, según Miguel Ángel Miranda, gerente sénior de capital humano en Deloitte, contratando un sistema de big data creado exclusivamente para ellas. Deloitte comercializa herramientas a medida en las que, entre otros, ayudan a radiografiar el talento interno de las compañías, a identificar a los trabajadores de alto potencial, a rastrear el tipo de formación que necesita la plantilla o a poner en marcha un sistema de evaluación continua —día a día— de los profesionales que reemplaza la vieja evaluación anual de desempeño.

Miranda reconoce que extrema el cuidado para que los sistemas que venden ni discriminen a los trabajadores, ni mezclen variables que puedan tratarlos con injusticia, ni procesen datos privados obtenidos sin su consentimiento. Utilizan, sobre todo, la información que les proporcionan los empleados a sus departamentos de Recursos Humanos, las bases de datos de las empresas o los dispositivos de geolocalización, que son muy útiles para saber si un profesional trabaja cerca o lejos de su casa.

Los reguladores podrían proteger a las empresas y a la población exigiendo que en los sistemas de extracción de datos masivos se incluyan, por ejemplo, reglas digitales antidiscriminación como las que publicaron hace tres años dos prestigiosos académicos españoles. Uno de ellos, Josep Domingo-Ferrer, director de la cátedra UNESCO de Privacidad de Datos de la Universitat Rovira i Virgili, cree que «la Agencia Española de Protección de datos debería auditar preventivamente los sistemas» para asegurarse de que han incorporado reglas como las suyas.

Autómatas con prejuicios

La tercera circunstancia que le preocupaba a Cathy O’Neil era la aureola casi religiosa que rodea a los datos masivos y a las decisiones, supuestamente objetivas, que los robots toman con ellos. Y esto a pesar de las advertencias de personalidades como Bill Gates, EllonMusk y Stephen Hawking sobre la inteligencia artificial o de la evidencia de que no existen autómatas, al menos por el momento, que no hereden los prejuicios de los programadores que los crearon, de los clientes que los compraron o de la sociedad en la que nacieron.

Es difícil saber hasta dónde llega la confianza de las sociedades de España o de países como Chile, México o Argentina en que los robots están mejor preparados que los humanos para tomar determinadas decisiones. Lo que sí es cierto es que, por ejemplo en España, la opinión pública, los medios de comunicación y los dirigentes políticos parecen mucho más preparados y dispuestos a hablar de los beneficios que de las amenazas, que son tachadas, demasiadas veces, de catastrofistas, alarmistas o demagógicas.

Si queremos proteger a la población de los abusos del big data y mantener al mismo tiempo muchas de sus ventajas, hace falta un debate público que se interese por las dos caras de la moneda, por dar más medios legales y financieros a los reguladores —las agencias de protección de datos o la inspección de trabajo se enfrentan a una tarea hercúlea y no se las puede dejar solas— y por debatir con seriedad y sin despreciar el punto de vista del otro. En España y Latinoamérica no será tarea fácil.