Я работаю над проектом, в котором у меня есть большие входные файлы, полученные из численных решений pdes. Формат данных следующий. x \t y \t f(x,y) Для каждого значения y у нас есть несколько значений x и значение функции, оцениваемое в...

Я собираю большой объем данных, который, скорее всего, будет иметь следующий формат: Пользователь 1: (a,o,x,y,z,t,h,u) Где все переменные динамически меняются во времени, кроме u — это используется для хранения имени пользователя. Что я...

Я пытаюсь хранить записи с набором двойных и целых чисел (около 15-20) в mongoDB. Записи большей частью (99,99%) имеют одинаковую структуру. Когда я храню данные в root , который является очень структурированным хранилищем данных формат файла...

Я пытаюсь вычислить быстрое преобразование Фурье большого фрагмента данных, импортированных из текстового файла размером около 16 ГБ. Я пытался придумать способ вычислить его fft в Matlab, но из-за памяти моего компьютера (8 ГБ) он дает мне ошибку...

У меня есть таблица MyISAM (10 млн строк, 3,5 ГБ, планирую достичь ~80 М), и мне всегда не удается преобразовать ее в InnoDB. Я пытался : ALTER TABLE - Потеря связи через 2 минуты. Может быть, я делаю это неправильно. mysqldump -...

Initial представляет собой CSV-файл с большим количеством (178) столбцов и более чем 2-миллиметровыми строками, размером около 2 ГБ, поэтому read.csv определенно не работает в пригодный для использования период времени. В нем есть куча пустых мест и...

У меня 75 миллионов записей в моем MongoDB . Мне нужно прочитать все данные партиями (скажем, 100 000), сохранить их в каком-то потоке/очереди. Как только в потоке появятся данные, скрипт Python прочитает их и обработает данные. В основном я...

Рассмотрим этот набор данных: > DATA <- data.frame(Agreement_number = c(1,1,1,1,2,2,2,2), + country = c("Canada","Canada", "USA", "USA", "Canada","Canada", "USA", "USA"), + action = c("signature",...

Я пытаюсь создать логический массив (B) для использования в логической индексации на основе значений от .1 до .999 в массиве (EP_G2), используя пару разных методов 1) где цикл 2) ЛЮБОЙ. program flux_3d implicit none INTEGER :: RMAX, YMAX, ZMAZ,...

Мне нужно работать над обработкой большого CSV-файла (~ 1 ГБ), который выглядит, как показано ниже, с использованием java. Trans1, 1, 2, 3, 4 Trans1, 2, 3, 4, 5 Trans1, 4, 5, 2, 1 Trans2, 1, 2, 3, 4 Trans2, 2, 3, 4, 5 Trans2, 4, 5, 2, 1 Trans2, 1,...

Попытка передать данные хэш-карты с использованием дополнительных намерений другому действию приводит к слишком большой ошибке исключения транзакции (пакет данных 2076400 байт). это код для передачи данных карты другому действию, которое получает...

У меня есть большое количество CSV-файлов/кадров данных, которые слишком велики для хранения вместе в памяти. Однако я заметил, что размер столбцов различается между этими кадрами данных. Мои столбцы представляют собой перестановки «ACGT»...

У меня есть задача извлечь данные из базы данных Oracle, и я пытаюсь извлечь огромные данные> 6MM записей со 100 столбцами для обработки. Необходимо преобразовать данные в карту. Мне удалось успешно обработать их для 350 тыс. записей менее чем за...