Haseeb Ullah ORCID iD Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University Pakistan
Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University, Dera Ismail Khan, Khyber Pakhtunkhwa, Pakistan.
h2seeb@gmail.com,
https://orcid.org/0009-0003-4259-7298
Husnain Saleem ORCID iD Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University Pakistan
Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University, Dera Ismail Khan, Khyber Pakhtunkhwa, Pakistan.
jilani.husnain@yahoo.com, https://orcid.org/0009-0001-7513-1086
Asia Kanwal ORCID iD University of Agriculture Pakistan
Department of Artificial Intelligence, University of Agriculture, Dera Ismail Khan, Khyber Pakhtunkhwa, Pakistan. aassia.baloch@gmail.com, https://orcid.org/0009-0004-2548-5582
Muhammad Javed ORCID iD Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University Pakistan
Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University, Dera Ismail Khan, Khyber Pakhtunkhwa, Pakistan. javed_gomal@gu.edu.pk, https://orcid.org/0000-0001-6884-6641
Hamid Masood Khan ORCID iD Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University Pakistan
Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University, Dera Ismail Khan, Khyber Pakhtunkhwa, Pakistan.
hamidmasoodkhan@gu.edu.pk, https://orcid.org/0000-0001-9235-9886
Kiran Hanif ORCID iD Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University Pakistan
Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University, Dera Ismail Khan, Khyber Pakhtunkhwa, Pakistan.
safdarkiran3@gmail.com,
https://orcid.org/0009-0000-7573-7515
User
p-ISSN: 2068 - 0473 e-ISSN: 2067 - 3957
DOI:
10.18662/brain
DOI prefix: 10.70594/brain (currently edited by EduSoft) | 10.18662/brain (when was edited by Lumen)
Frequency:
4 issues/year (occasional additional issues)
Abstracting & Indexing
Web of Science (ESCI, IF 0.6), EBSCO, Google Scholar etc.
Haseeb Ullah -
Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University (PK),
Husnain Saleem -
Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University (PK),
Asia Kanwal -
University of Agriculture (PK),
Muhammad Javed -
Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University (PK),
Hamid Masood Khan -
Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University (PK),
Kiran Hanif -
Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University (PK),
Selección híbrida de características léxico-semánticas basada en PSO y marco de aprendizaje por ensamblaje para la detección de discurso de odio en urdu
Autores:
Haseeb Ullah - Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University (PK)
Husnain Saleem - Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University (PK)
Asia Kanwal - University of Agriculture (PK)
Muhammad Javed - Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University (PK)
Hamid Masood Khan - Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University (PK)
Kiran Hanif - Gomal Research Institute of Computing (GRIC), Faculty of Computing, Gomal University (PK)
Resumen
La detección automatizada del discurso de odio en urdu sigue siendo un desafío debido a la escasez de recursos anotados, la variabilidad ortográfica y la dependencia del significado dañino tanto de señales léxicas como contextuales.
Este estudio evalúa un marco léxico-semántico seguro frente a fugas de información que combina características TF-IDF de palabras y bigramas de 5.000 dimensiones con representaciones multilingües de oraciones de 768 dimensiones, seguido de optimización binaria por enjambre de partículas (BPSO) y aprendizaje clásico por ensamblaje.
Los experimentos utilizaron el texto en urdu y las etiquetas binarias del conjunto MMHS11K: 8.800 registros equilibrados para entrenamiento y un conjunto de prueba equilibrado e intacto de 2.200 registros.
BPSO seleccionó 2.849 de las 5.768 dimensiones híbridas, reduciendo la dimensionalidad en un 50,61 %.
En el conjunto oficial de prueba, el método Stacking con la representación híbrida completa alcanzó Macro-F1 = 0,8468 y ROC-AUC = 0,9265; la representación seleccionada mediante PSO alcanzó Macro-F1 = 0,8391 y ROC-AUC = 0,9196.
Tras la selección de características, el tiempo de ajuste de los clasificadores disminuyó en un 52,24 %, excluyendo la extracción de representaciones de oraciones y la búsqueda mediante BPSO.
La validación anidada de cinco pliegues, diseñada para evitar fugas de información, mostró una compensación similar: el tiempo de ajuste disminuyó en un 52,64 %, con Macro-F1 = 0,8444 ± 0,0066 después de PSO frente a 0,8492 ± 0,0110 sin PSO.
Soft Voting y Stacking mostraron un rendimiento estadísticamente comparable con las características seleccionadas.
Los modelos Transformer agregados sobre tres semillas aleatorias obtuvieron mejores resultados: Urdu-RoBERTa alcanzó el mayor Macro-F1 (0,8836) y XLM-R el mayor ROC-AUC (0,9529).
Las pruebas exactas de McNemar con corrección de Holm confirmaron que los agregados Transformer superaron significativamente a Stacking con PSO.
En conjunto, BPSO reduce aproximadamente a la mitad el tamaño de la representación y el tiempo de ajuste de los modelos clásicos posteriores, con una pequeña disminución predictiva que no fue estadísticamente significativa en comparación con Stacking sobre la representación híbrida completa después de aplicar la corrección.
Hybrydowa selekcja cech leksykalno-semantycznych oparta na optymalizacji rojem cząstek (PSO) oraz model uczenia zespołowego do wykrywania mowy nienawiści w języku urdu
Autorzy:
Haseeb Ullah, Husnain Saleem, Asia Kanwal, Muhammad Javed, Hamid Masood Khan, Kiran Hanif
Streszczenie:
Automatyczne wykrywanie mowy nienawiści w języku urdu pozostaje wyzwaniem ze względu na ograniczoną dostępność oznaczonych zbiorów danych, zróżnicowaną pisownię oraz fakt, że szkodliwe znaczenie wypowiedzi zależy zarówno od cech leksykalnych, jak i kontekstowych.
W niniejszym badaniu oceniono odporny na wyciek danych model leksykalno-semantyczny, łączący 5000-wymiarowe cechy TF-IDF oparte na słowach i bigramach z 768-wymiarowymi wielojęzycznymi reprezentacjami wektorowymi zdań. Następnie zastosowano binarną optymalizację rojem cząstek (BPSO) oraz klasyczne metody uczenia zespołowego.
Eksperymenty przeprowadzono na tekstach w języku urdu oraz etykietach klasyfikacji binarnej pochodzących ze zbioru danych MMHS11K. Wykorzystano 8800 zrównoważonych rekordów treningowych oraz niezależny, zrównoważony zbiór testowy obejmujący 2200 rekordów, który pozostał niewykorzystany podczas trenowania i selekcji cech.
Algorytm BPSO wybrał 2849 spośród 5768 wymiarów reprezentacji hybrydowej, zmniejszając jej wymiarowość o 50,61%.
W oficjalnym zbiorze testowym metoda Stacking, wykorzystująca pełną reprezentację hybrydową, osiągnęła Macro-F1 = 0,8468 oraz ROC-AUC = 0,9265. Natomiast reprezentacja z cechami wybranymi za pomocą PSO uzyskała Macro-F1 = 0,8391 oraz ROC-AUC = 0,9196.
Po przeprowadzeniu selekcji cech czas dopasowania klasyfikatora zmniejszył się o 52,24%, z wyłączeniem czasu potrzebnego na uzyskanie reprezentacji wektorowych zdań oraz przeprowadzenie procesu optymalizacji BPSO.
Pięciokrotna zagnieżdżona walidacja krzyżowa, zapobiegająca wyciekowi danych, wykazała podobny kompromis między wydajnością obliczeniową a skutecznością predykcyjną. Czas dopasowania modelu zmniejszył się o 52,64%, przy wartości Macro-F1 = 0,8444 ± 0,0066 po zastosowaniu PSO, w porównaniu z 0,8492 ± 0,0110 bez zastosowania PSO.
Metody Soft Voting i Stacking wykazały porównywalną skuteczność statystyczną w przypadku wyselekcjonowanych cech.
Lepsze wyniki osiągnęły modele oparte na architekturze Transformer, których rezultaty zagregowano z trzech uruchomień z różnymi wartościami ziarna losowego. Model Urdu-RoBERTa uzyskał najwyższą wartość Macro-F1 (0,8836), natomiast XLM-R osiągnął najwyższą wartość ROC-AUC (0,9529).
Dokładne testy McNemara z korektą Holma potwierdziły, że zagregowane modele Transformer osiągnęły statystycznie istotnie lepsze wyniki niż metoda PSO Stacking.
Ogólnie rzecz biorąc, zastosowanie BPSO pozwala zmniejszyć o około połowę wymiarowość reprezentacji danych oraz czas dopasowania klasycznych modeli uczenia maszynowego.
Towarzyszy temu niewielki spadek skuteczności predykcyjnej, który po zastosowaniu korekty statystycznej nie był istotny w porównaniu z metodą Stacking wykorzystującą pełną reprezentację hybrydową.
Automated Urdu hate-speech detection remains challenging because annotated resources are limited, orthography varies, and harmful meaning depends on both lexical and contextual cues. This study evaluates a leakage-safe lexical-semantic framework combining 5,000-dimensional word/bigram TF-IDF features with 768-dimensional multilingual sentence embeddings, followed by binary particle swarm optimisation (BPSO) and classical ensemble learning. Experiments used the Urdu text and binary labels from MMHS11K: 8,800 balanced training records and an untouched balanced test set of 2,200 records. BPSO selected 2,849 of 5,768 hybrid dimensions, reducing dimensionality by 50.61%. On the official test set, Stacking with the complete hybrid representation achieved Macro-F1 = 0.8468 and ROC-AUC = 0.9265; the PSO-selected representation achieved Macro-F1 = 0.8391 and ROC- AUC = 0.9196. After mask selection, classifier fitting time decreased by 52.24%, excluding sentence-embedding extraction and BPSO search. Leakage-safe nested five-fold validation showed a similar trade-off: fitting time decreased by 52.64%, with Macro-F1 = 0.8444 ± 0.0066 after PSO versus 0.8492 ± 0.0110 without PSO. Soft Voting and Stacking were statistically comparable on selected features. Three-seed transformer aggregates performed better: Urdu-RoBERTa achieved the highest Macro-F1 (0.8836), and XLM-R achieved the highest ROC-AUC (0.9529). Holm-corrected exact McNemar tests confirmed that transformer aggregates significantly outperformed PSO Stacking. Overall, BPSO approximately halves representation size and downstream classical-model fitting time, with a small predictive decrease that was not statistically significant relative to complete-hybrid Stacking after correction.
Academic discipline and sub-disciplines:
Artificial Intelligence; Education; Linguistics