Python中logging的使用

python中logging用于记录日志,记录一下该模块的用法

logging日志级别分为6种,从低到高分别为NOTSET、DEBUG、INFO、WARNING、ERROR、CRITICAL,logging执行时会输出大于等于设置级别的信息。默认的设置级别是WARNING。

首先import logging
然后logging.basicConfig(filename=”xxx.log”, filemode=”w”, format=”%(asctime)s %(name)s:%(levelname)s:%(message)s”, datefmt=”%d-%M-%Y %H:%M:%S”, level=logging.DEBUG)
然后就可以在需要输出日志信息的地方加入下面的语句
logging.debug(‘This is a debug message’)
logging.info(‘This is an info message’)
logging.warning(‘This is a warning message’)
logging.error(‘This is an error message’)
logging.critical(‘This is a critical message’)

其中,format中的内容格式如下

生成的日志文件xxx.log,内容如下:

19-11-18 21:10:32 root:DEBUG:This is a debug message
19-11-18 21:10:32 root:INFO:This is an info message
19-11-18 21:10:32 root:WARNING:This is a warning message
19-11-18 21:10:32 root:ERROR:This is an error message
19-11-18 21:10:32 root:CRITICAL:This is a critical message

摘抄自 https://cloud.tencent.com/developer/article/1354396

linux 解压、压缩

tar
-c:建立压缩档案
-x:解压
-t:查看内容
-r:向压缩归档文件末尾追加文件
-u:更新原压缩包中的文件
这五个是互斥的参数,必须用且仅能用其中一个,可以和其它参数连用。

-z: gzip相关
-j: bz2相关
-Z:compress相关
-v:显示所有过程
根据需要在压缩或者解压时选择

-f: 使用档案名字。该参数必须为最后一个参数。后面加上文件名

tar –xvf file.tar //解压 tar包
tar -xzvf file.tar.gz //解压tar.gz
tar -xjvf file.tar.bz2   //解压 tar.bz2
tar –xZvf file.tar.Z   //解压tar.Z
unrar e file.rar //解压rar
unzip file.zip //解压zip

tar -cvf xx.tar *.txt //将目录里所有txt文件打包成xx.tar
tar -czf xx.tar.gz *.txt //将目录里所有txt文件打包并用gzip压缩,得到xx.tar.gz
tar -cjf xx.tar.bz2 *.txt //将目录里所有txt文件打包并用bzip2压缩,得到xx.tar.bz2

Python2和Python3中 / 的差异

今天用python2的时候,发现a=19/25,a竟然为0!搜了一下才知道python2中,一个整数被另一个整数除,结果只保留整数部分。类似python3中//的操作。想得到预期中的小数形式,可以将参与运算的其中一个数字变为小数。

>>>1.0/2
0.5

如何在TensorFlow中添加自定义数据显示在tensorboard中

以在tensorboard中添加训练过程中网络的损失值为例。

在网络构建阶段,
L = xxnet.loss(output, label)
tf.summary.scalar("Training loss", L)
然后添加一个op
summary_op = tf.summary.merge_all()

在会话中,定义一个SummaryWriter
summary_writer = tf.summary.FileWriter(logdir, sess.graph)
在每一训练步骤中,
summary_str = sess.run(summary_op)
summary_writer.add_summary(summary_str, step)

然后当训练开始后,就可以在tensorboard中看到损失值了。不过,这种方式缺乏灵活性。更推荐使用下面的方式

summary_writer = tf.summary.FileWriter(logdir)
summary = tf.Summary(value=[
    tf.Summary.Value(tag="Training loss", simple_value=L),
    tf.Summary.Value(tag="Validation loss", simple_value=L_val)])
summary_writer.add_summary(summary, step)

或者:

summary_writer = tf.summary.FileWriter(logdir)
summary = tf.Summary()
summary.value.add(tag="Training loss", simple_value=L)
summary.value.add(tag="Validation loss", simple_value=L_val)
summary_writer.add_summary(summary, step)

C/C++中的mmset函数

void * memset(void *buffer, int c, int count)
将buffer所指位置后面的count个字节用c代替,并返回buffer。c实际值应该在0到255之间

在一段内存块中填充某个给定的值,是对较大的结构体或者数组进行 清零操作的最快方法。

对一个数组清零示意

char buf[20];
mmset(buf, 0, sizeof(char)*20);

Python使用progressbar模块实现显示进度条功能

首先用pip安装progressbar。pip install progressbar

用法一

import time 
from progressbar import * 
total=1000 
def dosomework():
     time.sleep(0.01) 
progress =ProgressBar() 
for i in progress(range(1000)): 
    dosomework()

显示效果:

 5% |###                                                                      |
100% |######################################################################|

用法二

from __future__ import division
import sys, time
from progressbar import *
total=1000
def dosomework():
    time.sleep(0.01)
pbar = ProgressBar().start()
for i inrange(1000):
    pbar.update(int((i /(total -1)) *100))
    dosomework()
pbar.finish()

用法三

import time
from progressbar import *
total=1000
def dosomework():
    time.sleep(0.01)
widgets =['Progress: ',Percentage(), ' ', Bar('#'),' ', Timer(),' ', ETA(), ' ', FileTransferSpeed()]
pbar=ProgressBar(widgets=widgets, maxval=10*total).start()
for i inrange(total):
    pbar.update(10*i +1)
    dosomework()
pbar.finish()

显示效果:

Progress:   3% |###                                                                                | Elapsed Time: 0:00:15 ETA: 0:09:02 919.67  B/s
Progress: 100% |###################################################################################| Elapsed Time: 0:10:10 Time: 0:10:10 917.42  B/s

widgets可选参数含义:

‘Progress: ‘ :设置进度条前显示的文字
Percentage() :显示百分比
Bar(‘#’) : 设置进度条形状
ETA() : 显示预计剩余时间
Timer() :显示已用时间

在pycharm中使用时,需要在Run —>Edit Configurations里勾上Emulate terminal in output console

Python 中使用tqdm增加进度条

首先from tqdm import tqdm,然后在程序中即可使用for i in tqdm(iterator, desc=”description”): 这种形式增加进度条。desc参数为进度条前的说明。

from tqdm import tqdm

with open("xxxx.txt", "r") as file:
    for line in tqdm(file.readlines(), desc="processing"):
        pass #

上面的程序为处理一个文本并显示处理进度的示例。更多有关tqdm的内容参考: https://pypi.org/project/tqdm/

Vim常用命令(一)

插入

  • I 在当前行首插入
  • A在当前行尾插入

查找

  • /text 查找text,按n查找下一个,N查找上一个
  • 光标处有词时,按*或者#,查找该词
  • :set hlsearch 高亮搜索结果
  • :set nohlsearch 关闭高亮搜索显示
  • :set incsearch 逐步搜索模式,对当前键入字符进行即时搜索,而不用等待键入完成

排版

在命令状态下,按==,对当前行自动排版。n==,表示对下面n行进行排版。gg=G,对整篇代码进行排版

选中文本

  • v 从光标当前位置开始,光标经过的地方都会被选中,再按一下v结束
  • shift+v, 从光标当前行开始,经过的行都会被 选中,再按一下shift+v结束
  • Ctrl+v,从光标当前位置开始,光标移动的起点和终点构成的矩形区域被选中,再按下Ctrl+v结束
  • ggVG,选中全部文本

选中文本后,复制 粘贴

  • y 复制 yy 复制一整行
  • “+y 复制到系统剪贴板
  • p 粘贴
  • “+p 从系统剪贴板粘贴

光标跳转位置

  • ctrl + o 返回光标之前位置; ctrl + i 再跳转回去