python logging 重复写日志问题解决办法详解

1. 问题背景

在使用Python进行日志记录时，经常会遇到日志重复写入的问题。这种问题通常发生在多线程或多进程环境中，由于线程/进程之间共享了同一个logger对象，导致在多个线程/进程中同时写入了相同的日志内容，造成了日志的重复写入。

2. 问题分析

造成日志重复写入的原因主要有两个：

2.1 多线程/多进程共享同一个logger对象

在多线程/多进程环境中，如果多个线程/进程共享了同一个logger对象，那么它们会同时向该logger对象写入日志，从而导致日志的重复写入。

2.2 日志的重复输出

另外，有时候日志会重复输出多次的原因是由于在代码中重复调用了记录日志的方法，例如在循环中或多次调用了同一个函数，导致同一条日志被写入多次。

3. 解决办法

针对以上问题，我们可以采取以下几种解决办法来解决日志重复写入的问题。

3.1 使用threading.local()创建线程本地变量

在多线程环境中，我们可以使用threading.local()创建线程本地变量，确保每个线程都有一个独立的logger对象。这样每个线程只会向自己的logger对象写入日志，而不会影响其他线程的日志输出。

import logging
import threading
def worker():
    logger = threading.local().logger
    logger.info('This is a log message')
threads = []
for i in range(5):
    t = threading.Thread(target=worker)
    threads.append(t)
for t in threads:
    t.start()
for t in threads:
    t.join()

3.2 使用multiprocessing中的Queue进行进程间通信

在多进程环境中，我们可以使用multiprocessing中的Queue进行进程间通信。每个进程将日志写入到自己的Queue中，然后由一个单独的进程负责从Queue中取出日志，并写入到日志文件中。

import logging
import multiprocessing
def worker(queue):
    logger = logging.getLogger()
    logger.info('This is a log message')
    queue.put('This is a log message')
if __name__ == '__main__':
    queue = multiprocessing.Queue()
    logger = logging.getLogger()
    logger.setLevel(logging.INFO)
    # 将日志写入到文件中
    file_handler = logging.FileHandler('log.txt')
    file_handler.setFormatter(logging.Formatter('%(asctime)s - %(levelname)s - %(message)s'))
    logger.addHandler(file_handler)
    processes = []
    for i in range(5):
        p = multiprocessing.Process(target=worker, args=(queue,))
        processes.append(p)
    for p in processes:
        p.start()
    for p in processes:
        p.join()
    while not queue.empty():
        logger.info(queue.get())

3.3 使用日志过滤器

另一种解决日志重复写入的方法是使用日志过滤器。通过设置过滤器，可以控制日志的输出，从而避免重复写入相同的日志内容。

import logging
class DuplicateFilter(logging.Filter):
    def __init__(self, name=''):
        super(DuplicateFilter, self).__init__(name)
        self.log_records = set()
    def filter(self, record):
        if record.msg in self.log_records:
            return False
        self.log_records.add(record.msg)
        return True
logger = logging.getLogger()
logger.setLevel(logging.INFO)
# 将日志写入到文件中
file_handler = logging.FileHandler('log.txt')
file_handler.setFormatter(logging.Formatter('%(asctime)s - %(levelname)s - %(message)s'))
logger.addHandler(file_handler)
duplicate_filter = DuplicateFilter()
logger.addFilter(duplicate_filter)
logger.info('This is a log message')
logger.info('This is a log message')

4. 结论

在多线程/多进程环境中，解决日志重复写入的问题非常重要。通过使用线程本地变量、进程间通信和日志过滤器等方法，我们可以有效地避免日志的重复写入，确保日志记录的准确性和可靠性。