显示下一条  |  关闭

kaineci的博客

机器学习 信息检索 数据挖掘 历史 音乐 电影 睡觉

 
 
 
 
 
 

分布式流数据实时计算引擎和平台:iprocess

2011-6-1 17:26:16 阅读377 评论3 12011/06 June1


最近半年大部分精力都在这个产品上,大家都很给力,阶段性的成果终于出来了。

iprocess是一个分布式流数据实时计算引擎和平台。基于该引擎的应用系统可以建模为有向图(非DAG),其中“每个节点”为一个用户编写的插件,而”边“为插件定义的事件,基于iprocess的服务为:一张流程图,以及对应的节点插件和注册事件。iprocess保证了上层系统的可扩展性,一致性和高可用性,并实现了实时计算,增量/批量,全量计算的并行和一致性。目前可支持常驻任务,迭代任务等,支持多场景,多任务隔离,层级目录结构,每个目录结构都可以定制一致性策略和事务类型。可支持增量MAP/REDUCE,支持灵活的事务冲突管理机制,分布式跨行跨表事务。支持物化视图和二级索引,支持高效的增量JOIN。iprocess的内核实现高度的插件化,后续的系统功能扩充只需编

作者  | 2011-6-1 17:26:16 | 阅读(377) |评论(3) | 阅读全文>>

ego

2008-5-6 17:52:51 阅读162 评论1 62008/05 May6

In psychodynamics, the Id, Ego, and Super-Ego are the divisions of the psyche according to psychoanalyst Sigmund Freud's "structural theory." In 1923, Freud introduced new terms to describe the division between the conscious and unconscious: 'id,' 'ego,' and 'super-ego.' He thought these terms offered a more compelling description of the dynamic relations between the conscious and the unconscious.

作者  | 2008-5-6 17:52:51 | 阅读(162) |评论(1) | 阅读全文>>

对新奇无休止的迷恋

2008-4-18 13:23:16 阅读151 评论0 182008/04 Apr18


 选自王力雄散文集《自由人心路》  
  
俄罗斯著名作家索尔仁尼琴在去年获美国国家艺术俱乐部文学荣誉奖章时,发  
表的演讲题目是:“对新奇无休止的迷恋——我们这个世纪的劫难”. 在演讲中,  
索尔仁尼琴抨击了本世纪以来俄罗斯乃至全世界文学艺术领域的以“迫不及待的喧  
闹为特征”、置身于“自编自演式的自我欺骗”中的种种“未来派”、“前卫主义”  
和“后现代派”. 他认为那些主义安身立命的基础是“对于新奇的无休无止的追求”  
.对此,他表示了不加掩饰的反感。他如是说:“这种认为艺术并不需要优美和纯粹,  
只要它不停地革新、革新、再革新的观念,它们所掩藏的,是一种不屈不挠并且由  

作者  | 2008-4-18 13:23:16 | 阅读(151) |评论(0) | 阅读全文>>

disk as the new RAM

2008-4-8 14:59:00 阅读137 评论0 82008/04 Apr8

Northeastern Professor Gene Cooperman recently gave a curious Google engEdu tech talk, "Disk-Based Parallel Computation, Rubik's Cube, and Checkpointing".

Gene's starting point is that "disk is the new RAM" and the "disks of a cluster can serve as if they were RAM" because the bandwidth to 50 disks is 5G/second, same as the bandwidth

作者  | 2008-4-8 14:59:00 | 阅读(137) |评论(0) | 阅读全文>>

内存池

2008-3-31 18:11:20 阅读317 评论0 312008/03 Mar31

 一个内存池的实现实例

内部构造

内存池类MemoryPool的声明如下:

class MemoryPool{private: MemoryBlock* pBlock; USHORT nUnitSize; USHORT nInitSize; USHORT nGrowSize;public: MemoryPool( USHORT nUnitSize, USHORT nInitSize = 1024, USHORT nGrowSize = 256 ); ~MemoryPool(); void* Alloc(); void Free( void* p );};

MemoryBlock为内存池中附着在真正用来为内存请求分配内存的内存块头部的结构体,它描述了与之联系的内存块的使用信息:

作者  | 2008-3-31 18:11:20 | 阅读(317) |评论(0) | 阅读全文>>

查看所有日志>>

 
 
 
 
 
 
 
日志评论
评论列表加载中...
 
 
 
 
 
 

日历

 
 
模块内容加载中...
 
 
 
 
 

天气

 
 
模块内容加载中...
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2012

   
创建博客 登录  
 关注