линуксоидам: Python 3.7 на Dell gpu+cuda

[kyk]

Задача установить Python 3.7 (именно 3.7) c поддержкой GPU+cuda на Dell c нуля. Сейчас там только Win-10.

Дело осложняется тем, что версия 3.7 настолько состарилась, что её везде убрали и команда

Код: Выделить всё

!sudo apt install -y python3.7

её уже не находит.

Команды

Код: Выделить всё

!sudo apt install -y software-properties-common
!sudo add-apt-repository -y ppa:deadsnakes/ppa
!sudo apt-get update
!sudo apt install -y python3.7

тоже уже не помогают.

В интернете я нагуглил следущее:

Код: Выделить всё

!sudo apt install -y build-essential libssl-dev zlib1g-dev libncurses5-dev libncursesw5-dev libreadline-dev libsqlite3-dev libgdbm-dev libdb5.3-dev libbz2-dev libexpat1-dev liblzma-dev tk-dev libffi-dev wget
!wget https://www.python.org/ftp/python/3.7.4/Python-3.7.4.tgz
!sudo ./configure --enable-optimizations --with-ensurepip=install
!sudo make -j $(nproc)
!sudo make altinstall

Потом буду устанавливать следущее:

Код: Выделить всё

spacy
scispacy
tensorflow
tensorflow_hub
torch
transformers
scikit_learn
sentence_transformers
amrlib==0.7.0
boto3==1.9.118
bert-extractive-summarizer
joblib
keybert
numpy
pandas
pdftotext
Pillow==9.1.1
PyMuPDF
pdfminer3k
requests
scholarly
sentencepiece
setuptools
https://s3-us-west-2.amazonaws.com/ai2-s2-scispacy/releases/v0.5.0/en_core_sci_scibert-0.5.0.tar.gz
https://s3-us-west-2.amazonaws.com/ai2-s2-scispacy/releases/v0.5.0/en_core_sci_lg-0.5.0.tar.gz
tabula
tabula_py
unicodedata2

Как с наименьшими страданиями всё это установить с нуля?
С линуксом и юниксом знаком слабо, по наслышке.

Питон тоже с грехом пополам, учил-учил, но не выучил, старый уже.

[Bobeg]

Низнаю. Надо билдать фром соурс видимо.
Ин азер вордз - придеца стродать!

[kyk]

Ин азер вордз - придеца стродать!

https://github.com/tensorflow/tensorflo ... 1050117324

[Bobeg]

ebonat? Lol

[Uzito]

А почему именно 3.7?

[Женя Стоунер]

Это что за энвайронмент - дев, прод? Виртуальная машина?

Моя команда для дев использует asdf, чтобы питоны в разных версиях сосуществовали. Зависимости устанавливаются через requirements.txt. Конфигурация проектов изолирована один от другого venv.

Сам я к этому не прикасаюсь, и на дополнительные вопросы вряд ли отвечу.

[Mad Hatter]

Kyk, I feel your pain
Приходится эту чёртову змеюку под Windows гонять. Без 3.7 никак? Устарело ведь.
Я не так давно ставил именно Anaconda 3.9 с поддержкой CUDA на Dell (Windows). Геморройно, но работало.
Там кстати закончилась поддержка бинарников под Windows CUDA ML. Следующие версии только под Linux.

[Mad Hatter]

Как с наименьшими страданиями всё это установить с нуля?
С линуксом и юниксом знаком слабо, по наслышке.

Питон тоже с грехом пополам, учил-учил, но не выучил, старый уже.

Ну вроде научный мир в Data Science очень хорошо знаком с Linux. Тем более с Питоном,хотя R очень популярен.

[Bobeg]

Так это ты себе ставишь, да еще и на виндозе?
Попробуй посмотри на анаконде. Анакода она такая, помогает конфигурировпть под виндозе всякие питоны.

[Mad Hatter]

Под Windows только Анаконду, иначе ничего работать не будет. Проблема с дипенденси.
Мне то как раз советовать не надо, я её ставил под Винду много раз, в разных позах

[elpresidente*]

1. Установите Win 11, у Dell скорее всего будет бесплатный Win 10 -> Win 11 upgrade
2. Сконфигурируйте WSL2 с Ubuntu 22.04
3. NVIDIA CUDA WSL2 drivers или тут
4. venv
5. Ставьте любую версию Python, 3.7 100% есть на deadsnakes

Код: Выделить всё

sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt update
sudo apt install python3.7

[Mad Hatter]

всё же мне интересно, зачем 3.7?

[Mad Hatter]

2. Сконфигурируйте WSL2 с Ubuntu 22.04

эх.... счастливый человек на рабочем лептопе я не могу использовать WSL2 вообще из-за дурацких политик
Отсюда и "богатый опыт" устновки Anaconda+CUDA под "чистый Windows"

[elpresidente*]

всё же мне интересно, зачем 3.7?

Видимо старая библиотека? Которая скорее всего не будет работать с CUDA...

[Mad Hatter]

всё же мне интересно, зачем 3.7?

Видимо старая библиотека? Которая скорее всего не будет работать с CUDA...

Возможно....

[kyk]

5. Ставьте любую версию Python, 3.7 100% есть на deadsnakes

Код: Выделить всё

sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt update
sudo apt install python3.7

К сожалению, Python, 3.7 совсем недавно у брали с Deadsnakes
Поэтому только хардкор

Код: Выделить всё

!sudo apt install -y build-essential libssl-dev zlib1g-dev libncurses5-dev libncursesw5-dev libreadline-dev libsqlite3-dev libgdbm-dev libdb5.3-dev libbz2-dev libexpat1-dev liblzma-dev tk-dev libffi-dev wget
!wget https://www.python.org/ftp/python/3.7.4/Python-3.7.4.tgz
!sudo ./configure --enable-optimizations --with-ensurepip=install
!sudo make -j $(nproc)
!sudo make altinstall

[kyk]

1. Установите Win 11, у Dell скорее всего будет бесплатный Win 10 -> Win 11 upgrade

а можно ли обойтись без Win 11 upgrade, (хотя бы и бесплатного)?

2. Сконфигурируйте WSL2 с Ubuntu 22.04

будет ли это работать с Win-10 WSL2+Ubuntu 22.04 out-of-the box?

3. NVIDIA CUDA WSL2 drivers или тут

будет ли это работать с Win-10 WSL2+Ubuntu 22.04 out-of-the box?

4. venv

вместо venv, я использую

Код: Выделить всё

pip install virtualenv
cd /working
virtualenv myvenv -p $(which python3.7)
source  /working/myvenv/bin/activate

Я в курсе, что 'venv' может то самое, но мне важно использовать именно 'virtualenv' для совместимости с будущим удалённым HPC кластером, в котором свои библиотеки и можно пользовать только $pip install и $virtualenv

[Uzito]

1. Установите Win 11, у Dell скорее всего будет бесплатный Win 10 -> Win 11 upgrade

а можно ли обойтись без Win 11 upgrade, (хотя бы и бесплатного)?

WSL2 ставится на Win10 без проблем.

Я ваще, если придёт конец десятой винде, раньше переметнусь на линукс чем поставлю 11.

[elpresidente*]

Про Win 10 и WSL2 ничего не знаю, очень давно было.
В те времена мы делали Hyper-V и ставили на него Ubunty 20.04 GUI
https://github.com/brokeDude2901/dxgkrnl_ubuntu

[elpresidente*]

3. NVIDIA CUDA WSL2 drivers или тут

будет ли это работать с Win-10 WSL2+Ubuntu 22.04 out-of-the box?

Нет, без cuda драйверов GPU акселерация работать не будет.