Cómo hacer que la IA funcione en sus 22 idiomas

Vineet Sawant ha pasado los últimos dos años navegando por las calles de Mumbai en un scooter como conductor de entrega.

“Estar en el camino siempre es muy estresante y especialmente en ciudades como Mumbai”, dice.

Pero cuando comenzó las barreras lingüísticas, era un problema adicional.

Su primer idioma es Marathi y Sawant habla “muy poco” inglés. “Puedo entender, pero es muy difícil de leer”, explica.

Esto causó problemas en su nuevo trabajo.

Él dijo: “Al principio fue difícil. Todo estaba en inglés, y puedo entender un poco, pero me siento más cómodo en marathi. Solía ​​pedirle a otra entrega que me ayudara a descubrir qué hacer”.

Su empleador, Zepto, promete “la entrega de supermercados más rápido de la India más rápido”. Por lo tanto, tener a los conductores luchando contra las instrucciones de entrega no era ideal.

Para suavizar este proceso hace un año, Zepto se ha asociado con Reverie Language Technologies para introducir el servicio de traducción de IA a sus conductores.

Desde entonces, sus conductores de entrega han podido elegir entre seis idiomas en la aplicación Zepto.

“Ya no necesito adivinar”, dice Sawant.

“Anteriormente, me tomé más tiempo para leer y, a veces, incluso cometí errores. Ahora, si el cliente escribe ‘Bell Ring’, recibo esta instrucción en marathi. Entonces, no tengo que preguntar o verificar nuevamente. Todo está claro”.

Las dificultades del Sr. Sawant son comunes.

“India tiene 22 idiomas oficiales y cientos de dialectos”, dice el profesor Pushpak Bhattacharyya de IIT Mumbai, uno de los principales expertos de la India en el uso de IA en idiomas indios.

“Sin tecnología, esto comprende y habla estos idiomas, millones están excluidos de la revolución digital, especialmente en educación, gobernanza, salud y bancos”, dice.

El lanzamiento de nuevos sistemas AI -Generales, como ChatGPT, hizo que la tarea fuera más urgente.

Se utilizan grandes cantidades de datos como páginas web, libros o transcripciones de video para capacitar a una IA.

En idiomas ampliamente hablados como hindi e inglés, es relativamente fácil de obtener, pero para otros es más difícil.

“El principal desafío para crear modelos de idiomas indios es la disponibilidad de datos. Estoy hablando de datos refinados. Los datos de calidad gruesa están disponibles. Pero estos datos no son de alta calidad, necesita filtración”, dice el profesor Bhattacharyya.

“La pregunta en India es para muchos idiomas indios, especialmente los dialectos tribales y regionales, estos datos simplemente no existen o no están digitalizados”.

Reverie Language Technologies ahora está implementando su tecnología de traducción orientada a la IA para una variedad de empresas indias.

El cofundador Vivekananda Pani dice que, si bien la tecnología de traducción facilita la comunicación, existe “potencial para que se dejen de lado los dialectos menos comunes”.

“El desafío será garantizar que los asombrosos beneficios de los avances del lenguaje orientados a la IA no disminuyan accidentalmente la rica variedad de lenguaje humano”.

Para ayudar a enfrentar el problema, el profesor Bhattacharyya tiene Contribuido a BhashiniUn proyecto gubernamental para desarrollar los conjuntos de datos de alta calidad necesarios para capacitar a una IA.

Además de los conjuntos de datos, Bhashini ha creado modelos de idiomas y servicios de traducción en 22 idiomas.

Comenzó en 2022, es una gran empresa, pero ha hecho mucho progreso.

Actualmente, Bhashini alberga 350 modelos de lenguaje basados ​​en AI que procesaron más de mil millones de tareas.

Más de 50 departamentos gubernamentales trabajan con Bhashini, así como 25 gobiernos estatales.

Por ejemplo, Bhashini Tech se usa en chatbots multilingües para servicios públicos y para traducir esquemas gubernamentales en idiomas locales.

“Bhashini asegura que la representación lingüística y cultural de la India construya modelos de IA específicos de la India en lugar de depender de las plataformas globales”, dice Amitabh Nag, CEO de Digital India, División Bhashini.

Espera que, en los próximos dos o tres años, los usuarios rurales tengan acceso de voz a los servicios de voz a gubernamental, herramientas financieras y sistemas de información en sus idiomas nativos.

Esperamos que estos conjuntos de bases de datos centrados en la India brindan a las personas que desarrollan modelos basados ​​en IA para que las herramientas para que la adaptación sea mucho más fácil para toda la población.

Actualmente, proyectar cualquier programa de IA para tratar procesos complejos como la salud puede ser extremadamente desafiante.

Kshitij Jadhav, profesor asociado en el Centro Koita de Salud Digital de IIT Mumbai, está trabajando en un programa de IA que ayudaría a las personas a dejar de fumar.

Explica que las personas en diferentes etapas del proceso necesitan consejos diferentes y, por lo general, necesitan un humano bien tratado para hacer esta evaluación.

Pero hay un número limitado de profesionales que pueden ayudar, especialmente aquellos que pueden operar en varios idiomas, por lo que el profesor Jadhav espera que su modelo de IA llene el vacío.

AI “Primero identificará el tipo de conversación que la persona necesita y, por lo tanto, dará forma a las preguntas, mostrará empatía, emociones”, dice el profesor Jadhav.

Y con suerte, todo esto terminará haciendo en 22 idiomas. Los experimentos iniciales están en marcha en inglés e hindi.

“Será muy personalizado, no será algo fuera del estante”, dice.

De vuelta a las calles de la ciudad, Vineet Sawant aumentó el número de cuotas que ofrece de diez a 30 por día, ha ayudado en parte por la función de traducción en la aplicación de entrega.

Él piensa que ayudará a más personas como él.

“Esto nos hace sentir que pertenecemos. No todos entienden el inglés. Cuando la aplicación habla nuestro idioma, nos sentimos más seguros y trabajamos mejor”.