Операции в MultiIndex DataFrames

Я работаю с мультииндексным DataFrame и хочу выполнить несколько операций, с которыми я борюсь:

а) Я хотел бы применить несколько операций к списку (по элементам) без использования циклов for

б) я хотел бы извлечь значения индексов моего DataFrame и сравнить эти значения; прежде чем они должны быть преобразованы из объекта в int или float

c) Я хочу сравнить значения в DataFrame (без использования циклов for) и выбрать значения из любого столбца в зависимости от значения этого сравнения

========================================================================

import pandas as pd
import numpy as np

idx = pd.IndexSlice
ix = pd.MultiIndex.from_product(
    [['2015', '2016', '2017', '2018'],
     ['2016', '2017', '2018', '2019', '2020'],
     ['A', 'B', 'C']],
    names=['SimulationStart', 'ProjectionPeriod', 'Group']
)

df = pd.DataFrame(np.random.randn(60, 1), index=ix, columns=['Origin'])
origin = df.loc[idx[:, :, :], 'Origin'].values

increase_over_base_percent = 0.3
increase_over_base_abs = 10
abs_level = 1
min_increase = 0.001

'Is there a way to do this comparison without using for loops?'
# The truth value of an array with more than one element is ambiguous. Use a.any() or a.all()
change = pd.Series(np.nan)
i = 0
for element in origin:
    change[i] = max(
        min(element * (1 + increase_over_base_percent),
            element + increase_over_base_abs,
            abs_level),
        element + min_increase)
    i += 1

print(change)


# Write results to a new column in the DataFrame ('Change')
df.loc[idx[:, :, :], 'Change'] = change

# Add data on 'Group' level
group_qualifier = [0, 0, 1]

# Is there a way to apply the group_qualifier to the group level without having to slice each index?
# Note: the formula does not work yet (results are to be reported in a new column of the DataFrame)
df.loc[idx[:], 'GroupQA'] = group_qualifier

'This is the part I am struggling with most (my index values are objects, not integers or floats;'
'and the comparison of values within the DataFrame does not work either)'
# Create new column 'Selected'; use origin values for all combinations where
# projectionPeriod < simulationStart & group_qualifier value == 0;
# use change values for all other combinations
values = df.index.get_level_values
mask = (values('ProjectionPeriod') - values('SimulationStart')) <= 1
mask = mask * df.loc[idx[:], 'GroupQA'].values
selected = df.loc[mask]
df.loc[idx[:, :, :], 'Selected'] = selected

python pandas
person Andreas    schedule 04.11.2016    source источник
comment
Что касается (а), я не вижу цикла for, которого вы хотите избежать.   -  person IanS    schedule 04.11.2016
comment
@IanS - извините за путаницу. Я отредактировал код, чтобы отразить цикл for, о котором я говорил.   -  person Andreas    schedule 04.11.2016
comment
Спасибо, что приняли мой ответ. Вам нужна помощь с другими предметами?   -  person IanS    schedule 07.11.2016
comment
@IanS Спасибо, что спросили. Я решил большинство из вышеперечисленных вопросов методом проб и ошибок :-)   -  person Andreas    schedule 07.11.2016

Ответы (1)


arrow_upward
2
arrow_downward

Частичный ответ на а):

df['Change'] = pd.concat([
    pd.concat([
        df.loc[:, 'Origin'] * (1 + increase_over_base_percent),
        df.loc[:, 'Origin'] + increase_over_base_abs,
    ], axis=1).min(axis=1).clip(upper=abs_level),
    df.loc[:, 'Origin'] + min_increase
], axis=1).max(axis=1)

Идея состоит в том, чтобы использовать функции min и max панд непосредственно в серии Origin (с небольшим поворотом, используя clip для abs_level).

Поскольку операции pandas сохраняют индекс, вы можете напрямую присвоить результат столбцу.

Редактировать: если вы предпочитаете, вы можете использовать подход combine, описанный в конце этот вопрос.

person IanS    schedule 04.11.2016