[python] 파이썬 객체 직렬화 (Serialization)

데이터 분석 할 때도 그렇고, 최근까지 졸업프로젝트로 추천시스템 할 때도 그렇고 큰 크기의 데이터프레임을 다룰 때가 많다.
그 때 그 때 일일이 불러와서 처리하기엔 시간도 많이 걸리고,,, 너무 비효율적이다.
이럴 땐 직렬화해서 처리한 데이터를 구조 그대로 저장해 놓는게 유용해서 한 번 정리를 해 보았다.

직렬화 - 역직렬화 / Serialization - Deserialization

• 데이터의 구조나 오브젝트의 상태를 메모리, 파일, 데이터베이스 등에 저장하거나 네트워크를 통해 전송하기 위해 특정 포맷으로 변환하는 과정.
• 반대로 직렬화했던 데이터 포맷을 저장했던 그 상태로 복원하는 과정을 역직렬화라고 한다.

출처:  https://ichi.pro/ko/jiglyeolhwa-pilteoling-javaui-jiglyeolhwa-haeje-chwiyagseong-boho-57845558473750

• 데이터를 연속적인 바이트 스트림으로 변환하기 때문에 직렬화라는 이름이 붙었다.
• 변환된 Byte Stream은 플랫폼에 종속되지 않기 때문에 다른 플랫폼에서 역직렬화가 가능하다.
• 파이썬에서는 pickle 모듈을 이용해 직렬화를 할 수 있다.

pickle

• pickle 모듈을 이용하면 파이썬 객체를 직렬화할 수 있다.

pickle로 직렬화 가능한 type들

• None, True 와 False
• 정수, 실수, 복소수
• 문자열, 바이트열, 바이트 배열(bytearray)
• 튜플, 리스트, 집합과 딕셔너리
• 내장함수, 정의된 함수
• 클래스
  (사실 웬만하면 다 가능... 세부적인 기준이 있긴 하지만 공식 문서를 참고하면 좋을 듯하다.)

‼️ 직렬화 불가능한 타입의 경우 PicklingError 예외 발생!
데이터의 구조가 재귀로 되어있으면 RecursionError도 발생할 수 있다고 한다.

pickle 예시

import pickle
data = ['pickle', 'pizza', 'cheeze', 'potato']

# 데이터 쓰기
# 바이트 타입으로 쓰기 때문에 wb
with open ('file_name.bin', 'wb') as f:
    pickle.dump(data, f)

# 데이터 읽기
with open ('file_name.bin', 'rb' as f:
    read_data = f.load(f)

• 바이트 타입으로 저장할 때는 .bin 확장자를 쓰면 된다. (Binary text type)

# 데이터를 바이트 객체로 변환
obj = pickle.dumps(data)

# 데이터 복원
origin_data = pickle.loads(obj)

• 직렬화한 객체를 파일에 쓰지 않고 bytes 객체로 반환할 수도 있다.

pickle vs marshal

직렬화 할 때 marshal 모듈을 사용할 수도 있지만, 공식 문서에서는 pickle을 더 추천하고 있다.
대표적인 차이는 다음과 같다

• marshal은 파이썬 버전 별 호환이 되지 않는다.
• pickle과는 다르게 marshal은 사용자 정의 클래스와 인스턴스는 직렬화할 수 없다.

pickle vs json

대표적인 직렬화 방법으로 json 타입이 있는데 차이점을 알아두면 좋을 것 같다.

• json은 텍스트를 직렬화하는 것이고 사람이 읽을 수 있다.
  but pickle을 이용한 직렬화는 바이트 타입 직렬화라 사람이 읽을 수 없다.
• json은 외부 시스템들과의 호환이 되지만 (외부 표준을 따름) pickle은 파이썬 시스템에서만 가능
  대신 외부표준을 따라야하는 만큼 json은 표시할 수 있는 자료형이 한정되어있고, pickle은 다양한 파이썬 자료형을 나타낼 수 있다 (그래서 데이터프레임 같은 것도 피클을 이용하는 듯!)

 

Reference

pickle — 파이썬 객체 직렬화 — Python 3.10.0 문서