Detection of Bot Accounts in a Twitter Corpus: Author Profiling of Social Media Users as Human vs. Nonhuman

Abstract

This paper presents a successful series of experiments on the detection of SPAMBOTS in Twitter, based on the use of linguistic features. For these experiments, we built a small corpus and classified its contents with the help of human annotators, who achieved a high rate of agreement. We identified linguistic features previously tested in the literature and adapted them to the language and contents of our database. High accuracy, (90%), was achieved in the spambot detection task. Our best results were obtained with a very small feature set produced with automatic reduction techniques. This outcome supports our contention that feature reduction is crucial in text classification tasks. All experiments were conducted by means of software packages with GUIs that do not require programming skills. Our results highlight the fact that language experts can, with a little training, utilize their knowledge and expertise in the very important fight against malicious technologies.

Este artículo presenta una exitosa serie de experimentos sobre la detección de BOTS DE SPAM en Twitter, que parten del uso de características lingüísticas. Para estos experimentos, construimos un corpus de corta extensión y clasificamos su contenido con la ayuda de anotadores humanos, quienes alcanzaron un alto nivel de acuerdo. Identificamos características lingüísticas probadas previamente en la literatura y las adaptamos al idioma y al contenido de nuestra base de datos. De esta manera, se obtuvieron resultados de exactitud prometedores, (90%), en la tarea de detección de bots. Nuestros mejores resultados se lograron con un conjunto de rasgos muy limitado, producido con técnicas de reducción automática. Estos resultados apoyan la idea de que la reducción de rasgos es crucial en las tareas de clasificación de texto. Más aún, todos los experimentos se llevaron a cabo usando paquetes de software con interfaces gráficas que no requieren de conocimientos de programación. Esto muestra que los expertos en el lenguaje tienen conocimientos y experiencia que, con un poco de entrenamiento, pueden aplicar en la importante lucha contra las tecnologías maliciosas