Почему Python .decode('cp037') не работает с определенным двоичным массивом?

Обратите внимание, что ошибка связана с кодированием в ASCII, а не с декодированием из cp307. Но вы не просите его где-либо кодировать, так почему же это происходит?

Что ж, на самом деле есть два возможных места, где что-то может пойти не так, и мы не можем знать, в каком из них, без вашей помощи.

Во-первых, если ваш result[2] уже является объектом unicode, вызов decode('cp037') для него сначала попытается encode с sys.getdefaultencoding(), который обычно равен 'ascii', чтобы было что декодировать. Таким образом, вместо того, чтобы получить сообщение об ошибке «Эй, бозо, я уже декодирован», вы получаете сообщение об ошибке кодирования в ASCII. (Это может показаться очень глупым, но это полезно для нескольких кодеков, которые могут декодировать unicode->unicode или unicode->str, таких как ROT13 и quoted-printable.)

Если это ваша проблема, решение состоит в том, чтобы не звонить decode. Вероятно, вы уже расшифровали данные где-то на пути к этому моменту, так что не пытайтесь делать это снова. (Если вы декодировали его неправильно, вам нужно выяснить, где вы его декодировали, и исправить это, чтобы сделать это правильно; повторное декодирование уже не поможет.)

Во-вторых, передача строки Unicode в print автоматически попытается encode использовать (в зависимости от вашей версии Python) либо sys.getdefaultencoding(), либо sys.stdout.encoding. Если Python не смог угадать правильную кодировку для вашей консоли (довольно распространено в Windows) или если вы перенаправляете стандартный вывод вашего скрипта в файл вместо вывода на консоль (это означает, что Python не может угадать правильную кодировку) , вы можете получить 'ascii' даже в sys.stdout.encoding.

Если это ваша проблема, вы должны явно указать правильную кодировку для вашей консоли (если вам повезет, она будет в sys.stdout.encoding) или кодировку, которую вы хотите для текстового файла, на который вы перенаправляете (вероятно, 'utf-8', но это до вам), и явно encode все, что вы print.

Итак, как узнать, какой из них он?

Простой. print type(result[2]) и посмотреть, unicode или str. Или разбейте его на две части: x = result[2].decode('cp037'), а затем print x и посмотрите, какой из двух повышает. Или запустить в отладчике. У вас есть всевозможные варианты отладки, но вы должны что-то делать.

Конечно, также возможно, что, как только вы исправите первое, вы сразу же столкнетесь со вторым. Но теперь вы знаете, как с этим бороться.

Также обратите внимание, что cp037 — это EBCDIC, одна из немногих известных Python кодировок, которая не совместима с ASCII. На самом деле '\xe3' — это EBCDIC для буквы T.

Кажется, что ваш result[2] уже юникод:

>>> u'\xe3'.decode('cp037')
Traceback (most recent call last):
   ...
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe3' in position 0: ordinal not in range(128)
>>> u'\xe3'.encode('cp037')
'F'

На самом деле, как указал @abarnert в комментариях, в python 2.x decode, вызываемый для объекта unicode, выполняется в два этапа:

• кодирование в строку с sys.getdefaultencoding(),
• затем декодирование обратно в юникод

т. е. ваше утверждение переводится как:

>>> import sys
>>> sys.getdefaultencoding()
'ascii'
>>> u'\xe3'.encode('ascii').decode('cp037')

и вы получаете ошибку из первой части выражения, u'\xe3'.encode('ascii')

Хорошо, как установил @abarnert, у вас действительно нет проблемы с Unicode как таковой. Юникод входит в картинку только при попытке print. Посмотрев на ваши данные, я вижу, что на самом деле в там, но и произвольные двоичные данные. Данные определенно кажутся столбчатыми, поэтому у нас, вероятно, есть набор подполей, упакованных в поле под названием F00002 в вашем примере. Программисты RPG назвали бы это структурой данных; это похоже на C struct.

Столбцы F00001 и K00001, вероятно, работали нормально, потому что они содержат только символьные данные EBCDIC.

Поэтому, если вы хотите извлечь полные данные из F00002, вам придется выяснить (через документацию или у кого-то, кто обладает знаниями), что это за подполя. Как правило, после того, как вы обнаружите это, вы можете просто использовать модуль Python struct для быстрой и простой распаковки данных, но, поскольку данные поступают из IBM i, вы можете столкнуться с преобразованием его собственных типов данных в типы Python. (Наиболее распространенным из них является упакованный десятичный формат для числовых данных.)

На данный момент вы все еще можете извлекать части символов F00002 путем декодирования, как и раньше, но затем явно выбирая новую кодировку, которая работает с вашим выводом (отображением или файлом), как предложил @abarnert. Я рекомендую записывать значения в файл, используя result[2].decode('cp037').encode('utf-8') (что создаст кучу явно неудобочитаемых данных, вкрапленных в текст; вы можете использовать это как есть, или вы можете использовать его, по крайней мере, для сказать вам, где находятся части текста для дальнейшей обработки).

Изменить:

У нас нет времени делать за вас всю вашу работу и исследования. Вещи, которые вам нужно просто прочитать и поработать над собой:

• Упакованный десятичный формат IBM (ускоренный курс: каждая цифра занимает 4 бита с использованием основного шестнадцатеричного; с дополнительными 4 битами справа для знака, то есть «F» для положительного и «D» для отрицательного; все это дополнено нулями слева, если необходимо заполнить целое число байтов; десятичный разряд подразумевается)
• Зонированный десятичный формат IBM (ускоренный курс: каждая цифра занимает 1 байт и идентична представлению соответствующего символа в формате EBCDIC; за исключением того, что в самой правой цифре старшие 4 бита используются для знака, «F» для положительного и «D» ' для отрицательного; подразумевается десятичный разряд)
• Модуль Python struct (не обрабатывает вышеуказанные типы автоматически; вы должны использовать необработанные байты для всего (тип 's') и обрабатывать по мере необходимости)
• Возможно, вы почерпнете некоторые идеи (и код) для обработки упакованных и зонированных десятичных знаков IBM из дополнительного модуля api2. для iSeriesPython 2.7 (в частности, обратите внимание на класс iSeriesStruct, который является подклассом struct.Struct, учитывая, что весь модуль предназначен для работы на iSeries с использованием iSeriesPython, и, таким образом, не обязательно использовать как есть из обычного Python, взаимодействующего с iSeries через pyodbc).