看到ChatGPT的华丽诞生，心情很复杂，既高兴、惊喜，也感到恐慌，高兴和惊喜的是没有预料到这么快就见证了自然语言处理（NLP）技术的重大突破，体验到通用技术的无限魅力。恐慌的是ChatGPT几乎可以高质量地完成NLP中的大多数任务，逐渐认识到很多NLP的研究方向遇到了极大挑战。总体而言，ChatGPT最令人非常惊艳的...
关于ChatGPT八个技术问题的猜想
分词数据集
分词数据集1. SIGHAN 2005数据集数据集简介：SIGHAN 2005数据集国际中文自动分词评测（简称SIGHAN评测）整合多个机构的分词数据集构成。该数据集由中国微软研究所、北京大学、香港城市大学、台湾中央研究院联合发布，用以进行中文分词模型的训练与评测。其中 AS 和 CityU 为繁体中文数据集，PKU ...
unilm
UniLM论文全名为Unified Language Model Pre-training for Natural Language Understanding and Generation，译为自然语言理解与生成的统一预训练语言模型，来自于微软研究院。论文地址：paper论文代码：code前一段时间一直再撸这篇论文的...
nn-sdk
Project descriptionnn-sdk是一个基于tensorflow(v1 ,v2)和onnx神经网络推理开发包nn-sdkhttps://pypi.org/project/nn-sdk/python demo# -*- coding: utf-8 -*-from nn_sdk import *config...
load and save tf weight
ckpt = tf.train.Checkpoint(model=encoder)ckpt.restore(checkpoint_from_path).expect_partial()tf1_var_dict = {}for weight in encoder.weights:var_name = weight.nam...
文本检测TIoU--metric
Tightness-aware Evaluation Protocol for Scene Text DetectionKeyWords Plus: CVPR2019 Curved Text metric 一种新的评价指标改进了以为评价指标的一些缺陷paper ：PaperGithub: GithubIntroduct...
ckpt加载
import tensorflow as tffrom bert import modelingimport os# 这里是下载下来的bert配置文件bert_config = modeling.BertConfig.from_json_file("chinese_L-12_H-768_A-12/bert_config...
tf.estimator.Estimator类的用法
官网链接：https://www.tensorflow.org/api_docs/python/tf/estimator/Estimator Estimator - 一种可极大地简化机器学习编程的高阶 TensorFlow API。Estimator 会封装下列操作： 训练评估预测导出以供使用 您可以使用官方提供的预...
BERT代码剖析
BERT (Bidirectional Encoder Representations from Transformers) 官方代码库 包含了BERT的实现代码与使用BERT进行文本分类和问题回答两个demo。本文对官方代码库的结构进行整理和分析，并在此基础上介绍本地数据集使用 BERT 进行 finetune 的操...
Cross-entropy
我们希望并期望我们的网络能够从他们的错误中学习的很快，首先看一个小例子。 我们将训练这个神经元做一些非常简单的事情:把输入的1转换成输出的0。当然，如果我们不是用学习算法，可以很容易地计算出一个适当的权重w和偏差b。但是我们为了说明一些问题，就使用梯度下降法来学习权重和偏差，这对于后面的学习很有启发性。让我们来看看神经...
编程语言自举
1. 自举的含义自举（bootstrapping）字面理解就是自己能把自己给举起来，换做编程语言来讲就是，自己编译自己，可以看看（wiki上面的解释）（https://en.wikipedia.org/wiki/Bootstrapping_(compilers)）那么语言自举过程到底是个怎么样的过程？下面选取了来自知乎...
Focal loss论文详解
Focal Loss for Dense Object DetectionICCV2017 RBG和Kaiming大神的新作。论文目标我们知道object detection的算法主要可以分为两大类：two-stage detector和one-stage detector。前者是指类似Faster RCNN，RFCN...
Focal Loss tensorflow 实现
def focal_loss(pred, y, alpha=0.25, gamma=2): r"""Compute focal loss for predictions. Multi-labels Focal loss formula: FL = -al...
机器学习——softmax计算
概念与应用Softmax是机器学习中一个非常重要的工具，他可以兼容 logistics 算法、可以独立作为机器学习的模型进行建模训练、还可以作为深度学习的激励函数。softmax的作用简单的说就计算一组数值中每个值的占比，公式一般性描述为：设一共有个用数值表示的分类，其中表示分类的个数。那么softmax计算公式为：。...
Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解
引言 在使用pytorch深度学习框架，计算损失函数的时候经常会遇到这么一个函数：nn.CrossEntropyLoss() 该损失函数结合了nn.LogSoftmax()和nn.NLLLoss()两个函数。它在做分类（具体几类）训练的时候是非常有用的。在训练过程中，对于每个类分配权值，可选的参数权值应该是...
共22条记录
没mac版本。