Pensilvania ha presentado una demanda contra una empresa de inteligencia artificial a la que acusa de desarrollar chatbots que se hacen pasar ilegalmente por m�dicos y que est�n enga�ando a los usuarios del sistema haci�ndoles creer que reciben asesoramiento m�dico de un profesional colegiado.

La demanda, presentada el viernes, solicita al tribunal estatal competente que ordene a Character Technologies Inc., la empresa desarrolladora de Character.AI, que deje de permitir que sus chatbots "incurran en pr�cticas m�dicas y quir�rgicas ilegales".

La demanda podr�a plantear la cuesti�n de si se puede acusar a la inteligencia artificial de ejercer la medicina, en lugar de limitarse a reproducir contenido procedente de internet.

Y, ante el creciente n�mero de demandas por negligencia o mala praxis contra empresas de IA, el litigio podr�a contribuir a que los tribunales se pronuncien sobre si los chatbots est�n protegidos por una ley federal que, por lo general, exime a las empresas de internet de responsabilidad por el contenido que publican los usuarios en sus servicios.

La oficina del gobernador Josh Shapiro calific� la demanda como "la primera actuaci�n de este tipo" y se produce en un contexto de creciente presi�n por parte de los estados sobre las empresas tecnol�gicas para que controlen los mensajes potencialmente peligrosos de sus chatbots, especialmente cuando van dirigidos a menores de edad.

La demanda se�ala que un investigador del organismo estatal encargado de conceder licencias a profesionales cre� una cuenta en Character.AI, busc� la palabra "psiquiatr�a" y encontr� una gran cantidad de personajes, incluido uno descrito como "doctor en psiquiatr�a".

Ese personaje se presentaba como capaz de evaluar al investigador "como un m�dico" colegiado en Pensilvania, seg�n la demanda.

"Los habitantes de Pensilvania merecen saber con qui�n —o con qu�— est�n interactuando en internet, especialmente cuando se trata de su salud", declar� Shapiro en un comunicado. "No permitiremos que las empresas desplieguen herramientas de IA que induzcan a las personas a creer que est�n recibiendo asesoramiento de un profesional m�dico colegiado".

Character.AI indic� el martes en un comunicado que da prioridad al desarrollo responsable de sus productos y al bienestar de sus usuarios. Publica avisos legales para informar de que los personajes de su sitio web no son personas reales y que todo lo que dicen "debe tratarse como ficci�n".

Dichos avisos tambi�n se�alan que los usuarios no deben confiar en los personajes para obtener asesoramiento profesional.

Derek Leben, profesor asociado de �tica en la Universidad Carnegie Mellon especializado en IA, destac� que las cuestiones �ticas a las que se enfrenta Character.AI podr�an ser distintas a las de otras plataformas como ChatGPT o Claude. Esto se debe a que Character.AI se presenta expl�citamente como una plataforma de juego de rol de ficci�n, y no como un chatbot de prop�sito general, explic� Leben.

Aun as�, la demanda de Pensilvania plantea la cuesti�n de si se puede acusar a los chatbots de ejercer la medicina, subray� Leben. Y, a medida que aumentan las demandas contra empresas de IA, los tribunales tratan de determinar si los desarrolladores deben ser responsables de lo que dicen estos sistemas.

"Esa es precisamente la cuesti�n que se est� debatiendo en estos casos en este momento", afirm� Leben.

Las empresas de IA se defienden cada vez m�s de estas acusaciones alegando que simplemente proporcionan informaci�n disponible en otros lugares de internet, coment� Leben, y el debate podr�a centrarse en si se benefician de las protecciones de una ley federal que tambi�n ampara a las redes sociales.

Incluso antes de esta demanda, responsables pol�ticos estatales ya hab�an expresado su preocupaci�n por los chatbots que se hacen pasar por profesionales sanitarios.

Legisladores de California aprobaron el a�o pasado un proyecto de ley respaldado por la Asociaci�n M�dica de California que permite a las agencias estatales sancionar a sistemas de IA, como chatbots, que se presenten como profesionales de la salud. Una iniciativa similar est� pendiente en Nueva York.

Los estados se muestran esc�pticos respecto a la autorregulaci�n de la IA, afirm� Amina Fazlullah, directora de pol�ticas tecnol�gicas de Common Sense Media, organizaci�n que promueve la protecci�n de los menores en internet.

"No hemos visto que funcione especialmente bien con las redes sociales, en particular en lo que respecta a los menores", se�al� Fazlullah.

Fiscales generales de 39 estados y Washington D. C. enviaron una carta en diciembre pasado a Character Technologies y a otras 12 empresas tecnol�gicas —incluidas Anthropic, Meta, Apple, Microsoft, OpenAI, Google y xAI— para advertirles del aumento de mensajes enga�osos y manipuladores por parte de chatbots que podr�an vulnerar las leyes estatales.

Afirmaron que "es ilegal proporcionar asesoramiento en salud mental sin la correspondiente licencia m�dica, y hacerlo puede mermar la confianza en la profesi�n, adem�s de disuadir a las personas de acudir a profesionales reales".

Character Technologies ya se ha enfrentado a varias demandas relacionadas con la seguridad infantil.

En enero, Kentucky present� una demanda de protecci�n al consumidor contra la empresa, mientras que Google y Character Technologies acordaron resolver extrajudicialmente una demanda presentada por una madre que aleg� que un chatbot indujo a su hijo adolescente a quitarse la vida.

Character.AI prohibi� a finales del a�o pasado el uso de sus chatbots a menores de edad.