Журналы, отчеты, конфигурация, экспорт: рано или поздно каждый скрипт затрагивает файловую систему. Обработка файлов в Python поначалу проста, но несколько деталей решают, надежен ли ваш код или незаметно уничтожает данные.

В этом руководстве рассматриваются текстовые файлы, CSV, JSON, двоичные данные и пути с упором на безопасные привычки. Мы запускали эти примеры на Python 3.13 во временной папке, и показанный результат получен в результате этого запуска.

Открывайте файлы с помощью open() и с помощью

Встроенная функция open() возвращает файловый объект. Используйте его внутри блока with:

with open("notes.txt", "w", encoding="utf-8") as file:
    file.write("first line\n")
    file.write("second line\n")

print(file.closed)

# True

Когда блок заканчивается, Python закрывает файл, даже если внутри него произошла ошибка. Без with вам придется вызывать close() самостоятельно, и исключение может пропустить эту строку. Использование файла после его закрытия вызывает ошибку:

file.read()

# ValueError: I/O operation on closed file.

Режимы файлов

Второй аргумент open() говорит о том, что вы планируете делать:

Добавьте b для двоичных данных, как в "rb" или "wb". Текст используется по умолчанию, его также можно записать явно как t.

Напишите и добавьте

write() не добавляет разрыв строки, поэтому включите \n самостоятельно. Добавление сохраняет то, что уже есть:

with open("notes.txt", "a", encoding="utf-8") as file:
    file.write("third line\n")

Сравните это с режимом "w", в котором наши три строки были заменены одной без какого-либо предупреждения:

with open("notes.txt", "w", encoding="utf-8") as file:
    file.write("replaced\n")

# notes.txt now contains only: replaced

Если вы не должны что-то перезаписывать, используйте "x". В нашем тесте он вызвал FileExistsError, поскольку notes.txt уже существовало.

Чтение файла

Существует несколько способов чтения, правильный выбор зависит от размера файла:

with open("notes.txt", encoding="utf-8") as file:
    print(repr(file.read()))

# 'first line\nsecond line\n'

with open("notes.txt", encoding="utf-8") as file:
    for line in file:
        print(line.strip())

# first line
# second line
# third line

Обратите внимание на символы \n в необработанной строке. strip() удаляет их. Файловый объект также запоминает свою позицию, поэтому чтение продолжается с того места, где оно было остановлено:

with open("notes.txt", encoding="utf-8") as file:
    print(file.readline().strip())
    print(file.readlines())

# first line
# ['second line\n', 'third line\n']

Циклический просмотр файла — ключевой метод для больших журналов и экспорта. Он считывает построчно, поэтому файл размером в несколько гигабайт не обязательно помещается в памяти.

Обработка ошибок файлов

Файлы могут отсутствовать, быть заблокированными или нечитаемыми, поэтому запланируйте следующее:

try:
    with open("missing.txt", encoding="utf-8") as file:
        data = file.read()
except FileNotFoundError as error:
    print(error)

# [Errno 2] No such file or directory: 'missing.txt'

Попробуйте открыть файл и обнаружить ошибку, вместо того, чтобы сначала проверять с помощью exists(), так как между проверкой и открытием файл может исчезнуть. Наше руководство по обработке исключений Python описывает этот подход.

CSV-файлы

Не разделяйте строки CSV самостоятельно запятыми, поскольку значения в кавычках могут содержать запятые. Эти правила обрабатываются стандартным модулем csv. DictWriter и DictReader — наиболее читаемые варианты:

import csv

with open("orders.csv", "w", newline="", encoding="utf-8") as file:
    writer = csv.DictWriter(file, fieldnames=["id", "customer", "total"])
    writer.writeheader()
    writer.writerow({"id": 1, "customer": "Asha", "total": 1200})
    writer.writerow({"id": 2, "customer": "Ben", "total": 300})

with open("orders.csv", newline="", encoding="utf-8") as file:
    rows = list(csv.DictReader(file))

print(rows[0])
print(sum(int(r["total"]) for r in rows))

# {'id': '1', 'customer': 'Asha', 'total': '1200'}
# 1500

Две детали имеют значение. Передайте newline="" при открытии файлов CSV, как рекомендует документация, чтобы предотвратить появление пустых строк в Windows. И каждое значение возвращается в виде строки, четных чисел, поэтому нам понадобилось int() в сумме. Для работы с большими объемами данных лучше подойдет такая библиотека, как pandas.

JSON-файлы

JSON — это обычный формат конфигурации и данных API. Он аккуратно сопоставляется с словарями Python и содержит:

import json

config = {"debug": True, "retries": 3, "hosts": ["a", "b"]}

with open("config.json", "w", encoding="utf-8") as file:
    json.dump(config, file, indent=2)

with open("config.json", encoding="utf-8") as file:
    print(json.load(file)["retries"])

# 3

Помните об именах: dump и load работают с файлами, а dumps и loads — со строками. Такие типы, как даты, невозможно сохранить напрямую, поэтому вам необходимо сначала преобразовать их в строки.

Работайте с путями с помощью pathlib

Склеивание путей со строками не работает в разных операционных системах. Стандартный модуль pathlib обрабатывает разделители и предлагает удобные сочетания клавиш:

from pathlib import Path

path = Path("data") / "reports" / "summary.txt"
path.parent.mkdir(parents=True, exist_ok=True)
path.write_text("all good\n", encoding="utf-8")

print(path.read_text(encoding="utf-8").strip())   # all good
print(path.suffix, path.stem, path.exists())      # .txt summary True
print(sorted(p.name for p in Path(".").glob("*.csv")))
# ['orders.csv']

Последнее решает обычную головную боль. Относительные пути определяются от того места, где вы запустили сценарий, а не от того, где он находится, поэтому построение путей из Path(__file__).parent позволяет избежать многих сюрпризов, связанных с тем, что файл не найден.

Бинарные файлы

Изображения, PDF-файлы и ZIP-файлы не являются текстом. Откройте их с помощью b, и вы сможете читать и писать bytes без какого-либо кодирования:

with open("pixel.bin", "wb") as file:
    file.write(bytes([255, 0, 128]))

with open("pixel.bin", "rb") as file:
    print(file.read())

# b'\xff\x00\x80'

Сафер пишет

Если программа выйдет из строя на полпути записи важного файла, вы можете получить испорченный результат. Обычное решение — сначала записать временный файл, а затем заменить его на место:

temp = Path("settings.tmp")
temp.write_text("new", encoding="utf-8")
temp.replace("settings.txt")

print(Path("settings.txt").read_text(), temp.exists())

# new False

replace() перезаписывает место назначения. В одной и той же файловой системе переименование обычно является атомарным, поэтому читатели видят либо старый файл, либо новый, а не наполовину написанную смесь.

Практический пример: суммирование журнала

Этот короткий сценарий объединяет несколько идей. Он читает журнал по одной строке за раз, поэтому его размер не имеет значения, подсчитывает каждый уровень с помощью Counter и записывает сводку в новый файл:

from collections import Counter

counts = Counter()
with open("app.log", encoding="utf-8") as file:
    for line in file:
        counts[line.split()[0]] += 1

with open("summary.txt", "w", encoding="utf-8") as out:
    for level, total in counts.most_common():
        out.write(f"{level}: {total}\n")

# summary.txt
# ERROR: 2
# INFO: 2
# WARN: 1

В нашем образце журнала было пять строк. Пустая строка будет разрывать line.split()[0], поэтому реальные сценарии должны сначала пропускать пустые строки.

Распространенные ошибки

• Используйте "w", когда вы имели в виду "a". Ваши существующие данные сразу же открываются, даже если вы никогда ничего не пишете.
• Кодировка пропущена. Значение по умолчанию зависит от системы, поэтому сценарий, работающий в Linux, может не работать в Windows с акцентированным текстом или эмодзи.
• Вызов read() для огромных файлов. Это может исчерпать память, поэтому вместо этого перебирайте строки.
• Если забыть int() о значениях CSV. "10" + "20" дает "1020".
• Отсутствует newline="" для CSV. В Windows могут появиться неожиданные пустые строки.
• Не тестируется файловый код. Используйте приспособление pytest tmp_path, чтобы тесты никогда не касались реальных файлов. См. наше руководство по pytest.

Итоги

Несколько привычек охватывают здесь почти все: используйте with, установите кодировку, дважды подумайте о "w" и позвольте csv, json и pathlib выполнять сложную часть. Для практики напишите небольшой скрипт, который читает CSV, суммирует один столбец и сохраняет сводку JSON в новую папку.

Часто задаваемые вопросы

Продолжайте учиться