您的位置： 专家智库 > >

张学颖

作品数：8 被引量：0H指数：0
供职机构：北大方正集团有限公司更多>>
相关领域：自动化与计算机技术更多>>

合作作者

文献类型

  • 8篇中文专利

领域

  • 3篇自动化与计算...

主题

  • 5篇调度
  • 4篇分布式
  • 3篇爬虫
  • 3篇网络
  • 2篇登录
  • 2篇调度方法
  • 2篇调度模块
  • 2篇有效管理
  • 2篇网络爬虫
  • 2篇网页
  • 2篇链接
  • 2篇集群
  • 2篇分布式采集
  • 2篇分布式网络
  • 2篇并发
  • 2篇存储介质
  • 1篇调度机制
  • 1篇信息采集
  • 1篇信息发布
  • 1篇有效数据

机构

  • 8篇北京北大方正...
  • 8篇北大方正集团...
  • 1篇北京大学

作者

  • 8篇张学颖
  • 4篇张丹
  • 1篇于晓明
  • 1篇杨建武

年份

  • 1篇2023
  • 3篇2020
  • 3篇2018
  • 1篇2016
共 8 条 记 录，以下是 1-8
全选 清除 导出
排序方式：
信息采集方法和信息采集装置
本发明提出了一种信息采集方法和信息采集装置，其中，所述信息采集方法包括：在登录网页版的应用之后，获取所述应用的Cookie、和使用目标账号在所述应用上发布的数据的列表页链接；根据所述Cookie和所述列表页链接获取列表页...
张学颖张丹于晓明杨建武
文献传递
分布式网络爬虫任务的调度方法及装置
本发明提供一种分布式网络爬虫任务的调度方法及装置，方法包括：获取分布式网络中每个爬虫节点的处理能力；按照预设的优先级顺序并根据每个爬虫节点的处理能力为每个爬虫节点分配相应的待处理任务，以使得爬虫节点对所分配的待处理任务进...
张学颖张丹于晓明曹六一
文献传递
一种无线传感网安全评价方法及装置
本发明公开了一种无线传感网安全评价方法及装置，该方法主要包括：建立无线传感网安全指标体系，记录所述无线传感网安全指标体系的第一指标层的正常运行指标值和被攻击时的攻击指标值；根据所述第一指标层的正常运行指标值、所述攻击指标...
张学颖于晓明杨建武
文献传递
数据采集系统和方法
本发明实施例提供一种数据采集系统和方法，该系统包括：爬虫管理模块，采集集群模块和数据落地模块；所述爬虫管理模块中部署有多个爬虫线程，不同爬虫线程对应的数据采集方式不同；所述爬虫管理模块用于：基于调度机制，控制相应爬虫线程...
张学颖曹六一杨飞
文献传递
集群任务的处理方法、装置、设备和存储介质
本申请提供一种集群任务的处理方法、装置、设备和存储介质。该方法包括：上层调度模块通过获取从第一时刻至当前的任务失败量，判断在该时段中，任务失败量是否满足第一预设条件，进而，动态调整最大允许并发量，实现对对采集任务的合理调...
张学颖曹六一张丹
网络信息的发布方法和网络信息的发布装置
本发明提出了一种网络信息的发布方法和网络信息的发布装置，其中，所述网络信息的发布方法包括：接收发布网络信息的请求，其中，所述请求包括：发布所述网络信息的网站和网页链接、登录所述网站的用户名和密码、以及所述网络信息的内容；...
张学颖张丹于晓明杨建武
文献传递
集群任务的处理方法、装置、设备和存储介质
本申请提供一种集群任务的处理方法、装置、设备和存储介质。该方法包括：上层调度模块通过获取从第一时刻至当前的任务失败量，判断在该时段中，任务失败量是否满足第一预设条件，进而，动态调整最大允许并发量，实现对对采集任务的合理调...
张学颖曹六一张丹
文献传递
分布式网络爬虫任务的调度方法及装置
本发明提供一种分布式网络爬虫任务的调度方法及装置，方法包括：获取分布式网络中每个爬虫节点的处理能力；按照预设的优先级顺序并根据每个爬虫节点的处理能力为每个爬虫节点分配相应的待处理任务，以使得爬虫节点对所分配的待处理任务进...
张学颖张丹于晓明曹六一
文献传递
全选 清除 导出
共1页<1>
聚类工具0