Штучний інтелект навчили розпізнавати діалекти та сленг

У Стенфордському університеті створили алгоритм, який вміє розпізнавати регіональні діалекти, сленг і мовні звороти інтернет-користувачів. Про винахід повідомляє VentureBeat.

Новий інструмент під назвою Equilid, за даними розробників, є більш точним, ніж наявні у використанні засоби ідентифікації langid.py і CLD2 від Google. Equilid навчали на Вікіпедії, Urban Dictionary, Twitter, і новинних сайтах. Він може розпізнавати майже 98 млн твітів від 1,5 млн користувачів 53 мовами, передає Еспресо.

На думку розробників, більш ефективна ідентифікація мови може допомогти виявляти навіть небезпечні тенденції в розвитку інфекційних захворювань.

Крім того, алгоритм підвищує точність розпізнавання мови і може знаходити закономірності - наприклад, ідентифікувати упередження проти раси або статі.

Нагадаємо, вчені розробили алгоритм, що розпізнає сарказм краще за людину.