Розробка C-розширень для Python: Інтеграція Cython та PyBind11

Python, хоч і неймовірно універсальний та простий у використанні, іноді поступається, коли йдеться про завдання, критичні до продуктивності. Саме тут на допомогу приходять C-розширення. Написавши частини коду на C або C++, ви можете значно підвищити продуктивність і використовувати існуючі бібліотеки. Ця стаття присвячена двом популярним інструментам для створення C-розширень Python: Cython та PyBind11. Ми розглянемо їхні сильні та слабкі сторони, а також як обрати правильний інструмент для вашого проєкту.

Навіщо використовувати C-розширення?

Перш ніж заглиблюватися в особливості Cython та PyBind11, давайте згадаємо, навіщо взагалі можуть знадобитися C-розширення:

• Продуктивність: C та C++ пропонують значно вищу продуктивність, ніж Python, для обчислювально інтенсивних завдань.
• Доступ до низькорівневих API: C-розширення надають прямий доступ до API системного рівня та апаратних ресурсів.
• Інтеграція з існуючими бібліотеками C/C++: Безшовна інтеграція вашого коду на Python з існуючими бібліотеками C/C++. Багато наукових та інженерних інструментів написані цими мовами, що робить модулі розширень мостом до Python.
• Керування пам'яттю: Детальний контроль над керуванням пам'яттю може бути вирішальним у певних застосунках.

Знайомство з Cython

Cython — це одночасно мова програмування та компілятор. Це надмножина Python, яка додає підтримку статичної типізації та прямих викликів коду C/C++. Компілятор Cython перетворює код Cython на оптимізований код C, який потім компілюється в модуль розширення Python.

Ключові особливості Cython

• Синтаксис, подібний до Python: Синтаксис Cython дуже схожий на синтаксис Python, що робить його відносно легким для вивчення розробниками Python.
• Статична типізація: Додавання декларацій статичних типів до вашого коду Cython дозволяє компілятору генерувати більш ефективний код C.
• Безшовна інтеграція з C/C++: Cython надає механізми для легкого виклику функцій C/C++ та використання структур даних C/C++.
• Автоматичне керування пам'яттю: Cython автоматично керує пам'яттю за допомогою збирача сміття Python, але також дозволяє ручне керування пам'яттю за потреби.

Простий приклад Cython

Розглянемо простий приклад використання Cython для оптимізації функції, що обчислює послідовність Фібоначчі:

fibonacci.pyx:

            def fibonacci(int n):
    a, b = 0, 1
    for i in range(n):
        a, b = b, a + b
    return a
            

              
                Copy
              
            
          

Щоб скомпілювати цей код Cython, вам знадобиться файл setup.py:

setup.py:

            from setuptools import setup
from Cython.Build import cythonize

setup(
    ext_modules = cythonize("fibonacci.pyx")
)
            

              
                Copy
              
            
          

Скомпілюйте розширення:

            python setup.py build_ext --inplace
            

              
                Copy
              
            
          

Тепер ви можете імпортувати та використовувати функцію fibonacci у вашому коді Python:

            import fibonacci

print(fibonacci.fibonacci(10))
            

              
                Copy
              
            
          

Плюси та мінуси Cython

Плюси:

• Легкий у вивченні: Синтаксис, подібний до Python, робить його простим для розробників Python.
• Хороша продуктивність: Статична типізація може призвести до значного покращення продуктивності.
• Широко використовується: Cython — це зрілий і широко використовуваний інструмент з великою спільнотою та обширною документацією.

Мінуси:

• Вимагає компіляції: Код Cython потрібно скомпілювати в код C, а потім скомпілювати в модуль розширення Python.
• Специфічний синтаксис Cython: Хоча й подібний до Python, Cython вводить власний синтаксис для статичної типізації та інтеграції з C/C++.
• Може бути складним для просунутого C++: Інтеграція зі складним кодом C++ може бути непростим завданням.

Знайомство з PyBind11

PyBind11 — це легка бібліотека, що складається лише із заголовних файлів, яка дозволяє створювати прив'язки Python до коду C++. Вона використовує метапрограмування на шаблонах C++ для виведення інформації про типи та генерації необхідного "клеючого" коду для безшовної інтеграції між Python та C++.

Ключові особливості PyBind11

• Бібліотека лише із заголовних файлів: Немає потреби збирати та встановлювати окрему бібліотеку; просто підключіть заголовний файл.
• Сучасний C++: Використовує сучасні можливості C++ (C++11 і новіші) для чистого та більш виразного коду.
• Автоматичне перетворення типів: PyBind11 автоматично обробляє перетворення типів між типами даних Python та C++.
• Обробка винятків: Підтримує обробку винятків між Python та C++.
• Підтримка класів та об'єктів: Легко експонувати класи та об'єкти C++ у Python.

Простий приклад PyBind11

Давайте реалізуємо функцію послідовності Фібоначчі за допомогою PyBind11:

fibonacci.cpp:

            #include <pybind11/pybind11.h>

namespace py = pybind11;

int fibonacci(int n) {
    int a = 0, b = 1;
    for (int i = 0; i < n; ++i) {
        int temp = a;
        a = b;
        b = temp + b;
    }
    return a;
}

PYBIND11_MODULE(fibonacci, m) {
    m.doc() = "pybind11 example plugin"; // optional module docstring

    m.def("fibonacci", &fibonacci, "A function that calculates the Fibonacci sequence");
}
            

              
                Copy
              
            
          

Щоб скомпілювати цей код C++ у модуль розширення Python, вам потрібно буде використати компілятор C++ (наприклад, g++) і з'єднатися з бібліотекою Python. Команда компіляції буде відрізнятися залежно від вашої операційної системи та інсталяції Python. Ось типовий приклад для Linux:

            g++ -O3 -Wall -shared -std=c++11 -fPIC fibonacci.cpp -I/usr/include/python3.x -I/usr/include/python3.x/ -lpython3.x -o fibonacci.so
            

              
                Copy
              
            
          

(Замініть python3.x на вашу версію Python.)

Потім ви можете імпортувати та використовувати функцію fibonacci у вашому коді Python, так само як у прикладі з Cython.

Плюси та мінуси PyBind11

Плюси:

• Сучасний C++: Використовує сучасні можливості C++ для чистого та виразного коду.
• Легка інтеграція з C++: Спрощує процес експонування коду C++ у Python.
• Лише заголовні файли: Легко підключити до ваших проєктів.

Мінуси:

• Вимагає знань C++: Вам потрібно добре володіти C++, щоб використовувати PyBind11.
• Складність компіляції: Компіляція коду C++ у модуль розширення Python може бути складнішою, ніж компіляція коду Cython, особливо при роботі зі складними проєктами C++, які використовують системи збірки, як-от CMake.
• Менш зрілий, ніж Cython: Хоча PyBind11 активно розвивається і широко використовується, його спільнота та екосистема не такі великі, як у Cython.

Cython проти PyBind11: Детальне порівняння

Тепер, коли ми познайомилися з Cython та PyBind11, давайте порівняємо їх детальніше за кількома ключовими аспектами:

Синтаксис

• Cython: Використовує синтаксис, подібний до Python, з розширеннями для статичної типізації та інтеграції з C/C++. Це робить його відносно легким для вивчення розробниками Python. Однак специфічний синтаксис Cython може стати перешкодою для розробників, які з ним не знайомі.
• PyBind11: Використовує стандартний C++ з невеликою кількістю шаблонного коду для визначення прив'язок Python. Це вимагає глибокого розуміння C++, але дозволяє уникнути вивчення нової мови.

Продуктивність

• Cython: Може досягти відмінної продуктивності, особливо при інтенсивному використанні статичної типізації. Компілятор Cython може генерувати високооптимізований код C.
• PyBind11: Також забезпечує відмінну продуктивність. Його методи метапрограмування на шаблонах генерують ефективний код для перетворення типів та викликів функцій. У деяких випадках PyBind11 може навіть перевершити Cython, особливо при роботі зі складними структурами даних та алгоритмами C++.

Інтеграція з існуючим кодом C/C++

• Cython: Надає механізми для виклику функцій C/C++ та використання структур даних C/C++. Однак інтеграція зі складним кодом C++ може бути складною. Можливо, вам доведеться писати функції-обгортки для адаптації API C++ до очікувань Cython.
• PyBind11: Розроблений спеціально для безшовної інтеграції з кодом C++. Він може автоматично обробляти перетворення типів і експонувати класи та об'єкти C++ у Python з мінімальними зусиллями. Зазвичай вважається, що його легше інтегрувати з сучасним кодом C++.

Простота використання

• Cython: Легший для вивчення розробниками Python завдяки синтаксису, подібному до Python. Процес компіляції відносно простий за допомогою setup.py.
• PyBind11: Вимагає хорошого розуміння C++. Компіляція коду C++ у модуль розширення Python може бути складнішою, особливо при роботі зі складними проєктами C++, які використовують системи збірки, як-от CMake.

Керування пам'яттю

• Cython: В основному покладається на збирач сміття Python для керування пам'яттю. Однак він також дозволяє ручне керування пам'яттю за допомогою виділення пам'яті в стилі C (malloc, free).
• PyBind11: Також покладається на збирач сміття Python. Він надає механізми для керування життєвим циклом об'єктів C++, які експонуються в Python. Ви можете використовувати розумні вказівники (std::shared_ptr, std::unique_ptr) для забезпечення належного керування пам'яттю.

Спільнота та екосистема

• Cython: Має більшу та більш зрілу спільноту з великою документацією та широким спектром доступних ресурсів.
• PyBind11: Має зростаючу спільноту та активно розвивається. Хоча його спільнота менша, ніж у Cython, вона дуже активна та чутлива.

Вибір між Cython та PyBind11

Вибір між Cython та PyBind11 залежить від ваших конкретних потреб та пріоритетів:

• Обирайте Cython, якщо:
  • Ви переважно розробник Python з обмеженим досвідом роботи з C++.
  • Вам потрібно оптимізувати критичні до продуктивності ділянки коду Python з мінімальними зусиллями.
  • Ви хочете поступово вводити статичну типізацію у свій код.
  • Ваш проєкт не сильно залежить від складних можливостей C++.
• Обирайте PyBind11, якщо:
  • Ви добре володієте C++ і хочете безшовно інтегрувати свій код Python з існуючими бібліотеками C++.
  • Ви хочете експонувати складні класи та об'єкти C++ у Python.
  • Ви віддаєте перевагу використанню сучасних можливостей C++.
  • Продуктивність є критично важливою, і ви готові витратити час на оптимізацію свого коду C++.

Приклади з реального світу

Розглянемо деякі реальні сценарії, щоб проілюструвати випадки використання Cython та PyBind11:

• Наукові обчислення: Багато бібліотек для наукових обчислень, таких як NumPy та SciPy, використовують Cython для оптимізації критичних до продуктивності процедур. Числові розрахунки, що використовуються, наприклад, у моделюванні клімату, значно виграють від C-розширень. Швидша швидкість виконання дозволяє проводити симуляції в розумні терміни.
• Машинне навчання: Бібліотеки, як-от scikit-learn, часто використовують Cython для реалізації ефективних алгоритмів для завдань машинного навчання. Навчання великих мовних моделей часто вимагає кастомних ядер C++, які експонуються на рівень Python за допомогою pybind11.
• Розробка ігор: Ігрові рушії, такі як Godot, використовують Cython для інтеграції з ігровою логікою та рушіями рендерингу на C++.
• Фінансове моделювання: Фінансові установи часто використовують C++ для високопродуктивних додатків фінансового моделювання. PyBind11 може використовуватися для експонування цих моделей у Python для написання скриптів та аналізу. Наприклад, при розрахунку Value at Risk (VaR) для складного портфеля, приріст продуктивності може бути значним.
• Обробка зображень та відео: OpenCV використовує суміш Cython та PyBind11 для прискорення складних маніпуляцій із зображеннями.

За межами основ: Просунуті техніки

І Cython, і PyBind11 пропонують розширені функції для більш складних сценаріїв інтеграції:

Просунуті техніки Cython

• Використання класів C++ у Cython: Ви можете оголошувати та використовувати класи C++ безпосередньо в коді Cython за допомогою синтаксису cdef extern from.
• Робота з вказівниками: Cython дозволяє працювати з сирими вказівниками та виконувати ручне керування пам'яттю.
• Обробка винятків: Cython підтримує обробку винятків між Python та C/C++. Ви можете використовувати конструкцію except для обробки винятків, що виникають у коді C/C++.
• Використання об'єднаних типів (fused types): Об'єднані типи дозволяють писати загальний код, який працює з кількома числовими типами без дублювання коду, що призводить до підвищення продуктивності.

Просунуті техніки PyBind11

• Експонування шаблонів C++: PyBind11 може експонувати шаблонні класи та функції C++ у Python.
• Робота з розумними вказівниками: Використовуйте std::shared_ptr та std::unique_ptr для керування життєвим циклом об'єктів C++, експонованих у Python.
• Користувацькі перетворення типів: Визначте власні правила перетворення типів для відображення між типами даних Python та C++.
• Автоматична генерація прив'язок: Інструменти, такі як `cppyy`, можуть автоматично генерувати прив'язки PyBind11 із заголовних файлів C++, що значно спрощує процес інтеграції для великих проєктів.

Найкращі практики для розробки C-розширень

Ось деякі найкращі практики, яких слід дотримуватися при розробці C-розширень для Python:

• Починайте з простого: Почніть з невеликої, чітко визначеної проблеми та поступово збільшуйте складність.
• Профілюйте свій код: Визначте вузькі місця продуктивності у вашому коді Python перед написанням C-розширень. Використовуйте інструменти профілювання, такі як cProfile, щоб точно визначити ділянки, що потребують оптимізації.
• Пишіть юніт-тести: Ретельно тестуйте свої C-розширення, щоб переконатися, що вони працюють коректно і не вносять жодних помилок.
• Використовуйте контроль версій: Використовуйте систему контролю версій, таку як Git, для відстеження змін та співпраці з іншими.
• Документуйте свій код: Документуйте свої C-розширення чітко та лаконічно, щоб інші (і ви в майбутньому) могли їх розуміти та використовувати.
• Враховуйте кросплатформну сумісність: Переконайтеся, що ваші C-розширення працюють на різних операційних системах (Windows, macOS, Linux).
• Ретельно керуйте залежностями: Пам'ятайте про залежності, необхідні для ваших C-розширень, і переконайтеся, що вони належним чином керовані.

Висновок

Cython та PyBind11 — це потужні інструменти для створення C-розширень для Python. Cython є хорошим вибором для розробників Python, які хочуть оптимізувати продуктивність з мінімальними зусиллями, тоді як PyBind11 краще підходить для інтеграції зі складним кодом C++. Ретельно зваживши плюси та мінуси кожного інструменту та дотримуючись найкращих практик, ви зможете ефективно використовувати C-розширення для покращення продуктивності та можливостей ваших додатків на Python.

Незалежно від того, чи створюєте ви високопродуктивні наукові симуляції, інтегруєтеся з існуючими бібліотеками C++ або просто оптимізуєте критичні ділянки вашого коду Python, оволодіння розробкою C-розширень за допомогою Cython або PyBind11 значно розширить ваші можливості як розробника Python.