Публикации по теме 'multiprocessing'
Многопоточность против многопроцессорности: решение проблемы параллелизма
Введение. В области параллельного программирования разработчики часто сталкиваются с необходимостью одновременного выполнения нескольких задач. Многопоточность и многопроцессорность — два распространенных подхода к параллельному выполнению. В этой статье мы углубимся в ключевые различия между многопоточностью и многопроцессорностью, рассмотрим их соответствующие преимущества и проблемы, а также предоставим рекомендации о том, когда использовать каждый подход.
Понимание многопоточности...
Многопоточность против многопроцессорности в Python
Это немного запутанная тема, если вы знакомы с потоками и mprocessing в C/C++/Java, поэтому я надеюсь, что после прочтения это станет для вас ясным.
Несколько реализаций Python?
Python имеет разные реализации на протяжении многих лет. Наиболее часто используется CPython, который реализуется разработчиками ядра Python и сообществом Python при поддержке Python Software Foundation . Именно эту версию вы можете скачать с www.python.org . Очевидно, что CPython реализован на C...
Веб-воркеры за 8 минут
Теперь, несмотря на то, что javascript является однопоточным, он хорошо обрабатывает асинхронные операции, не блокируя основной поток, благодаря синергии между стеком вызовов, веб-API, очередью обратного вызова и циклом обработки событий . Но что, если код, блокирующий основной поток, не является асинхронной операцией? Что, если есть цикл while с пограничным случаем, который заставляет его работать вечно? Ваш стек вызовов всегда будет занят этой циклической операцией, и если в очереди..
Ускорение и совершенствование вашей работы с помощью параллельных вычислений
Подробное руководство по многопроцессорности Python и PySpark mapPartition
В науке за каждым достижением стоит кропотливая работа. И вряд ли удача с одной попытки. Как специалист по данным, вы, вероятно, имеете дело с огромным объемом данных и вычислений, проводите повторяющиеся тесты и эксперименты в своей повседневной работе. Хотя вы не хотите превращать свою полезную, стимулирующую работу в утомительную, ожидая, что трудоемкая операция будет повторяться снова и снова, наблюдение за..
Эффективно обучайте нейронные сети на GPU
Сколько нейронных сетей глубокого обучения можно эффективно запустить на одном графическом процессоре?
Во-первых, на этот вопрос нет простого ответа. Некоторые большие модели могут не работать на среднем графическом процессоре с 11–12 ГБ ОЗУ даже по отдельности. Однако предположим, что ваша модель относительно мала, например. это классификатор со следующим количеством переменных: 1e5–1e6. Такая модель будет использовать очень мало оперативной памяти графического процессора, а..
Вопросы по теме 'multiprocessing'
RPC для многопроцессорной обработки, вопросы дизайна
какой хороший способ сделать rpc через multiprocessing.Process?
Я также открыт для рекомендаций по проектированию следующей архитектуры: процесс A * 10, процесс B * 1. Каждый процесс A должен проверять с процессом B, нужно ли запрашивать конкретный...
2139 просмотров
schedule
10.12.2023
многопроцессорный пул python2.5
У меня есть python2.5 и многопроцессорность (получить с http://code.google.com/p/python-multiprocessing/ )
Этот простой код (взять из docs), время от времени работает очень странно, иногда нормально, но иногда выкидывает таймаут ex или зависает...
712 просмотров
schedule
24.03.2024
Параллельная обработка в очереди (с использованием пула в Celery)
Я использую Celery для постановки в очередь заданий из CGI-приложения, которое я создал . Как я это настроил, Celery заставляет каждое задание выполняться по одному или по два за раз, устанавливая CELERYD_CONCURRENCY = 1 или = 2 (чтобы они не...
2291 просмотров
schedule
15.08.2022
Безопасно ли иметь несколько процессов, записывающих в один и тот же файл одновременно? [ЦентОс 6, доб4]
Я создаю систему, в которой несколько подчиненных процессов взаимодействуют через сокеты домена unix и одновременно записывают в один и тот же файл . Я никогда не изучал файловые системы или эту конкретную файловую систему (ext4), но мне кажется,...
59492 просмотров
schedule
28.10.2023
В многоядерной/многопроцессорной архитектуре какая часть системы синхронизирует процессоры для работы в режиме MIMD?
Когда многопроцессорная система выполняет инструкции (например, четырехъядерный AMD Opteron), какое-то встроенное устройство должно обеспечивать синхронизацию ядер, выполняющих загрузку инструкций из соответствующих ячеек памяти.
Но что это за...
1193 просмотров
schedule
03.01.2024
Python: многопоточность или многопроцессорность?
Вопрос
Мне нужно делать короткую запись в файл каждые 15 секунд (и спать в остальное время)... мне кажется, что многопоточность или многопроцессорность были бы полезны для решения этой проблемы, имея выделенный поток или процесс для выполнения файл...
573 просмотров
schedule
15.06.2024
процесс не может остановиться в многопроцессорном пуле python
У меня есть программа, использующая многопроцессорность Python. Я обнаружил, что весь процесс, созданный в основных программах, может быть завершен, но основные программы всегда ждут возвращаемых значений и не могут остановиться. Может ли кто-нибудь...
3377 просмотров
schedule
26.10.2023
Многопроцессорный пул Python.map вызывает IndexError
Я разработал утилиту с использованием python/cython, которая сортирует CSV-файлы и генерирует статистику для клиента, но вызов pool.map, похоже, вызывает исключение до того, как моя сопоставленная функция сможет выполниться. Сортировка небольшого...
16540 просмотров
schedule
18.07.2022
при загрузке с помощью Python следует использовать многопоточность или многопроцессорность?
Недавно я работаю над программой, которая может скачивать мангу с онлайн-сайта манги. Она работает, но немного медленнее, поэтому я решил использовать многопоточность / обработку для ускорения загрузки. Вот мои вопросы:
какой из них лучше? (это...
2063 просмотров
schedule
30.07.2022
Многоядерное использование Gevent
Я только начал работать с python gevent, и мне было интересно узнать об использовании библиотеки cpu/mulitcore.
Попробовав несколько примеров, выполняющих много запросов через urllib с исправлением обезьяны, я заметил, что они работают только на...
10472 просмотров
schedule
24.08.2022
Как правильно завершить дочерние процессы с многопроцессорностью в python
У меня есть несколько функций обратного вызова, и я хотел бы запустить их как несколько процессов, и все они завершатся с помощью сигнала от родительского процесса.
Мой текущий способ сделать это — создать общий c_bool с multiprocessing.Value и...
5364 просмотров
schedule
19.10.2023
проблема с работой с многопроцессорным программированием и open mp
Посылаю вам игрушечную программу о многопроцессорном программировании. программа работает хорошо или нет я могу получить на 50% больше производительности. Однако, если я ввожу # pragma parallel, программа больше не работает. Как можно улучшить...
93 просмотров
schedule
04.02.2024
межпроцессное взаимодействие в python
У меня есть облачный процесс, который загружает определенные файлы в облако. Как я могу сообщить моему материнскому процессу об успешном или неудачном выполнении некоторых работ по очистке, если это необходимо?
Должен ли я использовать семафоры?...
427 просмотров
schedule
08.10.2022
Как запустить функцию в новом процессе?
Теперь я нахожусь в одном из потоков процесса A , мне нужно создать новый процесс B в текущем потоке и запустить в процессе B функцию MyFunc() . Как мне это сделать ? Я нашел, как создать дочерний процесс из текущего процесса: нажмите . Но...
8803 просмотров
schedule
19.10.2023
Параллельный запуск отдельных процессов - Python
Я использую модуль python multiprocessing для запуска отдельных процессов на нескольких ядрах, но я хочу запускать несколько независимых процессов параллельно.
Например, процесс один анализирует большие файлы, процесс два находит шаблоны в разных...
30123 просмотров
schedule
09.11.2023
Протокол MESI, понимающий переходы состояний
На диаграмме перехода состояний, показанной ниже для протокола Illinois MESI, почему появляется сигнал Flush' при переходе из состояния S в состояние I и сигнал Flush при переходе из состояния E в состояние I при наблюдении сигнала BusRdX. Разве...
1223 просмотров
schedule
26.06.2022
Многопроцессорность с серийным объектом в качестве параметра
У меня проблема с Python и я передаю серийный объект в качестве параметра отдельному процессу. Программа запускается в Windows 8, поэтому использование глобальных переменных не вариант.
from multiprocessing import Queue
from multiprocessing...
2612 просмотров
schedule
12.11.2023
многопроцессорный графический интерфейс блока apply_async в wxPython
Некоторые из моих методов включают os.chdir. При использовании в нескольких потоках chdir будут влиять друг на друга.
Итак, я попробовал multiprocess.Pool для вызова этих методов в другом процессе, и это сработало. Пока я не вызову эти методы в...
192 просмотров
schedule
01.05.2024
Сколько ядер ЦП используется для классов экземпляров Google App Engine
Есть ли какая-либо техническая документация и сведения о количестве ядер ЦП, используемых для различных классов экземпляров Google App Engine (B1–B8)?
Если некоторые классы экземпляров используют несколько ядер ЦП, это можно принять во внимание,...
3241 просмотров
schedule
28.01.2024
Неустранимая ошибка (INFADI) Отсутствует каталог - ошибка многопроцессорного скрипта python arcgis
Я написал сценарий, который использует pool.map для обработки нескольких файлов netCDF и сохранения информации в таблице. Каждый процесс запускает функцию для обработки одного года. Каждый год имеет свою собственную файловую базу геоданных, таблицу...
427 просмотров
schedule
04.04.2024
