谢菲尔德大学的研究人员正在开发可用于自动检测和反击社交媒体上的滥用行为的新工具。

由大学计算机科学系的Kalina Bontcheva教授领导的这项研究正在开发新的人工智能(AI)和自然语言处理(NLP)方法，这些方法可用于负责任地处理在线虐待和仇恨言论。

该项目是与加拿大西蒙菲沙大学的Wendy Hui Kyong Chun协作发起的，研究的是AI方法，该方法目前用于检测两个区域内的在线滥用和仇恨言论。游戏行业以及社交媒体上针对政客的信息。

该研究的研究人员打算利用他们的发现来开发有效，公平且公正的新AI算法。该系统将具有上下文意识，并尊重基于种族，种族，性别和性别的社区内的语言差异。

研究人员将研究当前内容审核系统中嵌入的偏见，这些偏见经常使用严格的定义或确定辱骂性语言。这些当前的系统经常自相矛盾地基于身份，包括性别，性别，种族，文化，宗教，政治背景或其他因素，造成新形式的歧视或偏见。

研究团队旨在通过产生更多情境感知的动态检测系统来解决这些影响。

此外，该项目还希望通过使新工具开源来增强用户能力，以便将其嵌入新策略中，以民主方式解决在线滥用和仇恨言论。它们也可以用作基于社区的护理和应对措施的一部分。

Kalina Bontcheva教授说：“近年来，网上滥用和仇恨言论的数量急剧增加，这使得政府和社交媒体平台都在努力应对后果。

“在线滥用和仇恨言论的大量增加引发了公众的愤慨，人们要求政府和社交媒体公司为解决这个问题付出更多的努力，但是目前尚无有效或技术性的流程可以负责任或民主的方式解决这个问题。

“我们正在开发新颖的AI和NLP方法来解决该问题，同时还为学者和早期职业研究人员制定了一项重要的培训计划，以培养这一关键研究领域的能力和专业知识。”

谢菲尔德大学与西蒙·弗雷泽大学(Simon Fraser University)共同领导了“负责任的包容性民主社会的人工智能：一种跨学科的在线检测和打击辱骂性语言的方法”项目。它是英国研究与创新(UKRI)资助的10个英国-加拿大项目之一，以支持负责任的AI开发，包括确保社会所有成员信任AI并从中受益。