jlaznarte - Network

Sobre los límites de la IA en la universidad, hoy publico esta tribuna en El País:...

Sobre los límites de la IA en la universidad, hoy publico esta tribuna en El País: https://elpais.com/opinion/2023-04-19/la-inteligencia-artificial-en-la-universidad.html

This letter is 🎯«Are you an AI researcher at an academic institution? Are you anxious you are not coping with the current pace of AI...

This letter is 🎯

«Are you an AI researcher at an academic institution? Are you anxious you are not coping with the current pace of AI advancements? Do you feel you have no (or very limited) access to the computational and human resources required for an AI research breakthrough? You are not alone; we feel the same way.»

https://arxiv.org/abs/2304.06035

Otra vez @pluralistic dando en el clavo. La IA como «una solución en busca de problemas» es una definición que definitivamente...

Otra vez @pluralistic dando en el clavo. La IA como «una solución en busca de problemas» es una definición que definitivamente necesitaba leer.
https://mamot.fr/@pluralistic/109994523436704765

Hilo largo. 16.En definitiva, la conjunción de estas siete taras, que son tan nucleares a la tarea de la optimización predictiva,...

Hilo largo. 16.

En definitiva, la conjunción de estas siete taras, que son tan nucleares a la tarea de la optimización predictiva, requieren un desplazamiento de la carga de prueba: son quienes diseñan y deciden usar un algoritmo para decidir sobre personas quienes deben demostrar que este no es dañino antes de implantarlo. Y no al revés.

Aquí el enlace a la web del artículo: https://predictive-optimization.cs.princeton.edu/
Es estupendo que haya gente investigando la IA desde este punto de vista y con esta claridad de miras.

Many thanks @randomwalker et al.!

Hilo largo. 15/G/ La optimización predictiva no tiene en cuenta el comportamiento estratégico.La ley de Goodhart explica que la gente...

Hilo largo. 15/

G/ La optimización predictiva no tiene en cuenta el comportamiento estratégico.

La ley de Goodhart explica que la gente suele adaptarse de formas estratégicas ante ciertos contextos normativos. Para reducir la población de cobras, el gobierno colonial británico pagaba una recompensa por cobra: la gente empezó a criar cobras en casa. Así, si sabemos cómo funciona, somos muy capaces de adaptarnos a lo que el algoritmo necesita para darnos buena nota, y esto destruye la precisión del mismo. 🐍

Hilo largo. 14/F/ Proporcionar mecanismos de impugnabilidad socava fatalmente los (supuestos) beneficios.Dado que son inherentemente...

Hilo largo. 14/

F/ Proporcionar mecanismos de impugnabilidad socava fatalmente los (supuestos) beneficios.

Dado que son inherentemente imperfectos, cuando se implementan algoritmos decisorios en contextos humanos, han de incluir mecanismos accesibles para poder entender e impugnar esas decisiones. Dada su complejidad, incluir estos mecanismos requeriría una gran cantidad de recursos humanos y técnicos, cosa que cuestiona a priori la mayor eficiencia de estos sistemas. Ninguno de los ejemplos analizados en el péiper implementan mecanismos de impugnabilidad.

Hilo largo. 13/E/ Las discrepancias en el desempeño entre grupos sociales no pueden ser resueltas con intervenciones algorítmicas.Un...

Hilo largo. 13/

E/ Las discrepancias en el desempeño entre grupos sociales no pueden ser resueltas con intervenciones algorítmicas.

Un sistema que toma decisiones teniendo en cuenta únicamente el grado actual de similaridad o diferencia entre la gente, sin tener en cuenta las razones detrás de esas diferencias, ha de ser forzosamente injusto. Además, la definición de justicia es resbaladiza y no es formalizable (un sistema "justo" en términos estadísticos puede perfectamente amplificar desigualdades). La mejor intervención en una situación dada suele no ser algorítmica (¡contratad más profes, en vez de gastar el dinero en IAs!).

Hilo largo. 12/D/ Las cuestiones sociales no se pueden predecir fiablemente (con o sin aprendizaje automático).Estos sistemas solo tienen...

Hilo largo. 12/

D/ Las cuestiones sociales no se pueden predecir fiablemente (con o sin aprendizaje automático).

Estos sistemas solo tienen éxito si sus predicciones son precisas. Pero hay muchos motivos por los que tienen que ser imperfectas: prácticos (límites a la capacidad de observar las vidas de las personas afectadas) y más fundamentales, como el hecho de que los delitos son a veces actos irreflexivos que es imposible predecir.

Hilo largo. 11/C/ Los datos de entrenamiento rara vez coinciden con los que luego están disponibles.La población usada para entrenar es,...

Hilo largo. 11/

C/ Los datos de entrenamiento rara vez coinciden con los que luego están disponibles.

La población usada para entrenar es, frecuentemente, distinta de la población objetivo. Esto lastra fatalmente la precisión de los modelos de aprendizaje automático. Puede ser porque solo hay datos de un subconjunto de personas, o porque la población evoluciona o, peor, porque las decisiones automáticas la hacen evolucionar. Así, no podemos evaluar correctamente el desempeño del algoritmo.

Hilo largo. 10/B/ Es difícil medir aquello que nos preocupa.Generalmente, lo que queremos predecir no es directamente observable (es un...

Hilo largo. 10/

B/ Es difícil medir aquello que nos preocupa.

Generalmente, lo que queremos predecir no es directamente observable (es un "constructo"), de modo que, en su lugar, se elijen variables disponibles que pueden, de forma indirecta, aproximar al constructo. Ejemplos: medir la probabilidad de reincidencia usando arrestos, en vez de condenas; medir el desempeño de un profesional con base en las puntuaciones de los clientes, o en el volumen de ventas... Obvio: la precisión está en entredicho si no podemos medir el constructo.

Hilo largo. 9/A/ Intervenciones vs. predicciones: buenas predicciones no tienen por qué llevar a buenas decisiones.Algunas personas pueden...

Hilo largo. 9/

A/ Intervenciones vs. predicciones: buenas predicciones no tienen por qué llevar a buenas decisiones.

Algunas personas pueden reaccionar de forma distinta a la misma intervención, cosa que el algoritmo ignora. Además, las intervenciones pueden afectar a lo predicho: una fianza mayor (basada en la reincidencia prevista) puede aumentar el riesgo de reincidencia. Finalmente, la agregación de predicciones individuales óptimas no tiene por qué llevar a una decisión global óptima.

Hilo largo. 8/Y, por otro lado, ¿cuáles son las taras de la optimización predictiva? El artículo presenta 7 objeciones inherentes a este...

Hilo largo. 8/

Y, por otro lado, ¿cuáles son las taras de la optimización predictiva? El artículo presenta 7 objeciones inherentes a este tipo de aplicación de la IA, y argumentan que no son fácilmente solventables.

Además, proponen, con mucho juicio, que la conjunción de las 7 taras erosionan de forma insalvable la legitimidad de estas aplicaciones. Veámoslas:

Hilo largo. 7/¿Qué dicen las empresas que venden aplicaciones de optimización predictiva? Tras una revisión de 387 documentos, en el...

Hilo largo. 7/

¿Qué dicen las empresas que venden aplicaciones de optimización predictiva? Tras una revisión de 387 documentos, en el artículo retienen 47 aplicaciones distintas que cumplen con la definición. Un patrón común de todas ellas es cómo la publicidad las presenta como capaces de predicciones "altamente precisas", "imparciales" con respecto a grupos demográficos y que conllevan una gran "eficiencia" por reducir el tiempo necesario para tomar decisiones (por tanto reduciendo costes).

Hilo largo. 6/3) Un modelo de IA para ordenar a los institutos en función del rendimiento universitario predicho, y admitir estudiantes de...

Hilo largo. 6/

3) Un modelo de IA para ordenar a los institutos en función del rendimiento universitario predicho, y admitir estudiantes de ciertos institutos en función de ese ranking. Según la definición, este algoritmo no sería de optimización predictiva porque no trata con datos personales individuales (pero, a mi juicio, compartiría los graves problemas de la optimización predictiva y la definición debería incluirlo).

4) Un modelo de IA para predecir la nota de cada estudiante al final de su primer año de universidad a partir de los datos que consigne en su solicitud, con el objetivo de seleccionar candidaturas que tengan altas probabilidades de éxito (medido por la nota). Este es un ejemplo claro de optimización predictiva.

Hilo largo. 5/Para entender mejor el concepto, dan cuatro ejemplos de un hipotético algoritmo para gestionar las admisiones a la...

Hilo largo. 5/

Para entender mejor el concepto, dan cuatro ejemplos de un hipotético algoritmo para gestionar las admisiones a la universidad (al "college" de las películas, para entendernos: el trabajo es bastante USA-céntrico, he ahí una segunda crítica, aunque es algo que reconocen). Estos ejemplos serían:

1) Un conjunto de reglas fijadas a mano: la uni acepta candidaturas que superen un cierto umbral de nota y que participen en al menos una actividad extracurricular (ya sabéis, que jueguen al béisbol o, ejem, estén en el equipo de animadoras). No es optimización predictiva porque no usa aprendizaje automático.

2) Un modelo de IA entrenado con las decisiones que hasta la fecha han tomado las responsables de admisión, quienes incorporaron un cierto margen de factores explícitos e implícitos en su decisión. Esto tampoco sería optimización predictiva ya que no se intenta predecir un evento futuro, sino más bien replicar decisiones pasadas.

(sigue)

Hilo largo. 4/En todo caso, para @randomwalker et al. la región más evidentemente problemática de la aplicación de la IA es lo que...

Hilo largo. 4/

En todo caso, para @randomwalker et al. la región más evidentemente problemática de la aplicación de la IA es lo que llaman "optimización predictiva", que, en su definición, ha de cumplir tres características: (1) usa aprendizaje automático para (2) predecir características futuras y (3) toma decisiones sobre individuos con base en esas predicciones.

Una crítica que es posible hacer a esta definición es que está limitada a "decisiones sobre individuos". Evidentemente, las decisiones sobre colectivos son enormemente problemáticas también, como vamos a ver enseguida.

Hilo largo. 3/Como nota al margen, hay cierto alivio en ver cómo, de forma más o menos intuitiva (y gracias a la ayuda de mi gente, que...

Hilo largo. 3/

Como nota al margen, hay cierto alivio en ver cómo, de forma más o menos intuitiva (y gracias a la ayuda de mi gente, que son las mejores y más listas personas), a lo largo de mi trabajo como diseñador de modelos de IA para la predicción de series temporales siempre me he mantenido en el sector que queda fuera de la toma de decisiones automáticas sobre personas. Y es por algo.

Hilo largo. 2/Lo primero que hacen en el artículo es una taxonomía. En tanto que categorías generales, la automatización de decisiones...

Hilo largo. 2/

Lo primero que hacen en el artículo es una taxonomía. En tanto que categorías generales, la automatización de decisiones sobre personas, las aplicaciones de aprendizaje automático y los sistemas predictivos forman tres conjuntos disjuntos. Pero hay una zona de solape muy preocupante: cuando se usa aprendizaje automático para predecir características futuras de las personas con el fin de tomar decisiones automáticamente sobre ellas.

[CW: Justicia algorítmica. Hilo largo.]¿Qué queremos decir cuando quienes nos dedicamos a ello decimos que estamos enormemente...

[CW: Justicia algorítmica. Hilo largo.]

¿Qué queremos decir cuando quienes nos dedicamos a ello decimos que estamos enormemente preocupadis por la aplicación generalizada de la #IA en procesos decisorios que tienen que ver con personas? ¿Puede ser una IA justa, imparcial, ecuánime, limpia? ¿Existe la #JusticiaAlgorítmica? ¿Podemos aspirar a algoritmos que no ahonden las desigualdades?

Un péiper reciente de @randomwalker et al. consigue arrojar buena luz sobre el asunto. Veamos. 🧵