> А почему вообще производительность должна сильно различаться?

Потому что разные люди пишут разные алгоритмы.
Например, есть задача "проверить, является ли число 1000001 простым".

Кто-то напишет:
x = 1000001; for (i = 2; i < x; i ++) { ... }
Тупо проверка числа на делимость каждого числа с перебором по одному.

Кто-то немного подумает и напишет:
x = 1000001; for (i = 3; i < x; i +=2) { ... }
Ибо проверять делимость на четные числа смысла нет.

А кто-то ещё больше подумает и напишет:
x = 1000001; for (i = 3; i <= sqrt(x); i +=2) { ... }
Ибо проверять имеет смысл только до корня числа.

А кто-то поищет в интернете и найдет ещё более эффективный алгоритм.

Каждый из этих алгоритмов может дать точный ответ - является число простым, или нет.
Но первый это будет делать N секунд, второй N/2 секунд, а третий - корень из N, деленый на 2.
Вот так и получается, у разных алгоритмов производительность может сильно отличаться.
Как пример, почему отличается производительность ядер/софта.
Других причин тоже навалом.