Automatic cheating detection system.

I've already cited the example of two weekly tournaments where the winners were banned after the end - https://lichess.org/forum/lichess-feedback/can-a-closed-account-be-banned?page=1

Unfortunately, this is not uncommon and happens every time, even in very large and long-running arenas. It doesn't necessarily apply to winners. These can be different venues with different numbers of games. Someone might win, say, five games unfairly and retire to avoid attracting too much attention.
Such a player will fall far behind in the tournament, but because they're banned after the finish, it won't affect anyone who qualified higher – they won't be promoted, and their tournament points will remain lost.

As far as I understand, no automatic detection system exists. If no one complains, even 95%+ accuracy in every game, or nine out of ten, will go unnoticed. I know of a case where a cheater used the lichess engine during a tournament, and it was recorded directly in his game history, but he only played for a few hours.

Maybe they've fixed it now. This won't work.

I suggest automatically monitoring accounts with a small number of games (less than 500 total).
If such a player regularly demonstrates high accuracy in a major tournament (weekly, monthly, Battle for Shield, etc.) (for example, 95% accuracy in five out of seven games against equally strong or stronger opponents), then a notification about him would be sent to the moderators. Don't rely solely on user complaints.

It's essentially the same thing, only more reliable. Because in this case, a complaint will definitely be sent, promptly and accurately, with sufficiently strong arguments. The cheater will still be banned sooner or later, the goal is to increase efficiency to the point where the offender is removed before the tournament is over.

Разделю ответ на три части:

• автоматическое выявление читерства
• проблемы предложенной системы
• почему пользователи, которые кажутся тебе читерами, остаются безнаказанными

Автоматическое определение читерства
На Личессе существует автоматическая система определения читеров. Для этого используются две модели машиннного обучения:

• Irwin (ищет признаки использования шахматных движков (характерные для ИИ ходы, точность, время на ход)
• Kaladin (анализирует статистические и поведенческие паттерны игры)
• Могут использоваться дополнительные модели или специфичные настройки упомянутых выше моделей, которые не раскрываются публике, чтобы помешать читерам обходить данные системы

Так же автоматически определяется топорное читерство в случае если аккаунт одновременно использует встроенный анализ с движком во время игры, что легко детектируется сервером.

Таким образом существует несколько сценариев, когда аккаунт может помечаться как нарушитель правил Личесс:

• в случае топорного читерства, когда аккаунт одновременно использует встроенный анализ с движком во время игры, особенно если позиция совпадает с позицией на вкладке анализа с одного и того же аккаунта, тогда аккаунт помечается как нарушивший пользовательское соглашение
• в случае, если после анализа нескольких партий модели на основе ряда признаков возвращают значение вероятности читерства выше заданного порогового значения, то аккаунт так же помечается как нарушивший пользовательское соглашение

Таким образом это происходит автоматически, без необходимости пользователям отправлять жалобы на игрока.

Но если явных признаков нет или выборка недостаточна и случай спорный, то тут уже модераторы Личесса лично рассматривают каждый отдельный случай.

Проблемы предложенной системы
Данная система принесёт мало пользы при высокой цене ложных срабатываний, что существенно увеличит нагрузку на модерацию Личесс по нескольким причинам:

1. Два признака [мало игр; точность выше 95% в нескольких партиях подряд против равных и более сильных игроков] не являются достаточным основанием для обвинения человека в читерстве. Существует ряд причин, согласно которым может произойти такая ситуация, которые не требуют помощь со стороны компьютера (или других источников):

• аккаунт мог быть создан давно и человек просто не участвовал в турнирах и практиковался или на другом аккаунте или на другом сайте или в анонимных играх
• аккаунт может быть специально созданным для игр в турнирах Личесс, а основной аккаунт у человека на другой платформе
• у игрока хорошая форма
• сильные игроки могут показывать точность выше 95 процентах в ряде партий при благоприятном стечении обстоятельств
• это может быть дополнительным аккаунтом сильного игрока, который хочет отработать секретные схемы (Lichess допускает дополнительные аккаунты в некоторых указанных в ToS случаях, при этом там же указано, что создание более трёх аккаунтов обычно считается избыточным и не допускается)

2. Все сильные новые игроки попадут под подозрение, даже честные игроки.
3. На данный момент даже в случае жалоб на подозрительного игрока при отсутствии весомой аргументации в пользу читерства игрок считается честным. Если же жалобы будут приходить на всех сильных игроков с малым количеством игр, то после проверки они всё так же продолжат играть, так как будут отсутствовать существенные признаки читерства, но нагрузка на модерацию Личесс возрастёт, что приведёт к более медленной обработки аккаунтов, которые с большей вероятностью являются читерами.
4. В случае наличия сразу нескольких существенных признаков уже есть система, которая автоматически отслеживает данные аномалии и при превышении порогового значения применяет санкции к аккаунту.

Почему пользователи, которые кажутся тебе читерами, остаются безнаказанными
Даже слабые игроки иногда могут сыграть сильно. Если у человека ниже рейтинг и мало игр и он тебя выиграл, это не делает его читером. А при хорошей форме средние игроки могут показывать хороший результат даже в нескольких партиях подряд против равных и более сильных игроков. Если тебе кажется, что кто-то читерил, это ещё не значит, что это так.

Личесс использует более объективный подход и в случае сомнений округляет в сторону невиновности игрока, чтобы максимально избежать случае обвинения в читерстве невиновных сильных игроков.

ENG

I will divide my reply into three parts:

• automatic cheat detection
• problems with the proposed system
• why players who seem like cheaters to you remain unpunished

Automatic cheat detection
Lichess has an automatic cheat detection system. Two machine learning models are used for this purpose:

• Irwin (looks for signs of chess engine usage (engine-like moves, accuracy, move timing))
• Kaladin (analyzes statistical and behavioral patterns of play)
• Additional models or specific configurations of the above systems may also be used, which are not publicly disclosed in order to prevent cheaters from bypassing these systems

Blatant cheating is also detected automatically when an account uses the built-in engine analysis during an ongoing game, which is easy for the server to detect.

As a result, there are several scenarios in which an account may be flagged as violating Lichess rules:

• in cases of blatant cheating, when an account uses the built-in engine analysis during a live game, especially if the game position matches the position shown in the analysis tab on the same account, the account is marked as violating the Terms of Service
• if, after analyzing multiple games, the models return a cheating probability above a predefined threshold based on a set of indicators, the account is also marked as violating the Terms of Service

This process happens automatically, without requiring users to submit reports against a player.

However, if there are no clear indicators or the sample size is insufficient and the case is borderline, Lichess moderators review such cases manually.

Problems with the proposed system
This system would provide little benefit at a high cost in terms of false positives, which would significantly increase the workload on Lichess moderation for several reasons:

1. The two criteria [low number of games; accuracy above 95% in several consecutive games against equal or stronger opponents] are not sufficient grounds to accuse someone of cheating. There are many reasons why such a situation can occur without any computer assistance (or other external help):

• the account may have been created a long time ago, and the player simply did not participate in tournaments and instead practiced on another account, another platform, or in anonymous games
• the account may have been created specifically for playing Lichess tournaments, while the player's main account is on another platform
• the player may be in good form
• strong players can reach accuracy above 95% in a series of games under favorable circumstances
• it may be a secondary account of a strong player used to practice specific opening ideas (Lichess allows additional accounts in certain cases specified in the ToS, while also stating that creating more than three accounts is usually considered excessive and not allowed)

2. All strong new players would become suspicious by default, including honest ones.
3. At the moment, even when reports are submitted against a suspicious player, if there is no strong evidence of cheating, the player is considered innocent. If reports start being generated for all strong low-game-count players, after review they will still continue playing due to the lack of substantial cheating indicators, while the moderation workload will increase, which will slow down the processing of accounts that are more likely to be cheating.
4. When multiple strong indicators are present, there is already a system that automatically tracks such anomalies and applies sanctions once the predefined threshold is exceeded.

Why players who seem like cheaters to you remain unpunished
Even weak players can sometimes play very strong games. If someone has a lower rating and few games and beats you, that alone does not make them a cheater. When in good form, average players can also produce strong results even across several consecutive games against equal or stronger opponents. If it seems to you that someone cheated, that does not necessarily mean that this is actually the case.

Lichess follows a more objective approach and, in doubtful cases, errs on the side of presuming the player's innocence in order to minimize false cheating accusations against legitimate strong players.