奇趣编程|大案牍术——古代的大数据统计学

某部国产剧里虚构的“大案牍术”,相当于今天的大数据、统计学、概率论、人工智能、统计与决策,它是通过对数据的收集、整理、分析,预测事情的起因、发展和趋势。

“大案牍术”是虚构的,但唐代的数据统计技术却是真实的。今天奇趣编程腾讯qq在线和大家说说古代的统计。在唐代的《国计簿》里有这样的记载:

史官李吉甫撰《元和国计簿》,总计天下方镇凡四十八,管州府二百九十五,县一千四百五十三,户二百四十四万二百五十四…… 吉甫都纂其事,成书十卷。

《旧唐书·本纪十四》

可见这些官方文献已经有了基础的大数据功能,是官方有组织地收集、整理、分析出来的数据,统计了地域、人口、经济、产量等国家整体的情况。

国家统计这些有什么用?

一是战争。战争就是国家人力、物力、财力、生产能力、技术的大比拼,一场战争有多少胜算,是开战前就能通过对战争各项影响因素统计就能分析出来的。

二是税收。有多少人口,产量如何,能收上多少税,要不要加税减税,这些都要有统计数据作为决策依据。

三是政策的调整。人口有越来越少的趋势,就要鼓励生育;生产能力低力,就是出激励政策;技术发展停滞,就要培育人才。

还有其它很多方面都需要统计来辅助决策,欢迎大家补充。

奇趣编程|利用随机数大数定律和小数定律的偏态打法

什么是大数定律?

大数定律就是在随机事件的大量重复出现中必然出现的规律。简单点说就是随机数大数据里呈现出来的规律。

什么是小数定律?

小数定律是人类往往把大数据呈现出来的规律套用到小样本中的不理性行为。简单点说就是随机数大数据里才有的规律在少量的随机数里是体现不出来的。

比如说,抛1万次硬币,它的正反面出现次数接近50%,这是大数定律,数据量足够大才有的规律。接下来还抛10次,如果前面五次抛出来的都是正面,就断定后面的五次都是反面,肯定是错误的,这就是小数定律,数据量不够,所以是小数定律,只抛10次并不能体现出抛1万次的规律。

那怎么解决这个问题呢?奇趣编程腾讯qq在线和大家分享一下。

前面抛一万次出现的规律,后面还要用相同的次数才能体现出来。也就是说,前面抛1万次出现的规律是正反面出现的次数是各50%,那后面不能只抛10次,而要继续抛1万次,才能用上“正反面出现的次数是各50%”这个规律,否则就会陷入小数定律的陷阱。

现在你知道那些打短线、中线、加仓减仓的人是怎么亏损的了。

要想稳定,就只有打长线、仓位固定。

奇趣编程|随机漫步的随机数曲线怎么预测趋势?

如果把随机数以曲线的形式表现出来,那未来即将发生的随机数是呈现随机漫步的特点的,就像一个醉汉,他的下一步是随机的。那么有什么办法可以预测趋势呢?今天奇趣编程腾讯qq在线和大家一起分享。

随机数曲线的下一个随机数,是随机漫步的,所以只针对未来的一个随机数,是无法准确预测的,但是从随机数曲线整体上来看,它是呈现出一定的规律性的。

在股票中,股票的价格曲线虽然是随机漫步的,但它本质上是多空双方的资金博弈,股票价格会走向阻力小的一方,股票的曲线,就是最小阻力路线,所以股票中有阻力位和支撑位的概念。

但股票的价格并不是纯由随机数驱动的数据,它有很多现实因素决定着它的价格趋势。比如说,公司的所处行业环境、国际环境、产能、盈利水平、技术更新、人事调动、新闻事件等,都会对股票的价格曲线造成影响。

我们奇趣编程只研究单纯的只有随机数这一个因素影响的曲线,所以对这种随机数曲线趋势的预测,不需要像股票那样考虑太多太复杂的东西,只考虑纯数学意义上的东西就行,用统计学、概率论等就能为我们提供很多预测趋势的方法。

奇趣编程|腾讯qq在线|怎么用中心极限定理寻找随机数规律?

随机数有规律吗?怎么发现规律?怎么能直观地看到随机数的规律?随机数的规律是什么?今天奇趣编程腾讯qq在线和大家分享。

对于随机数的规律,在统计学概率论上有一个“中心极限定理”,它是指在适当的条件下,大量相互独立随机变量的均值经过适当标准化后呈现正态分布。

举一个例子。

假设有100个随机数,随机数的取值范围是0-100之间,那么平均值是50。然后对这100个随机数进行抽样统计,将每次抽样的平均值和总体平均值进行对比。假如说抽样1000次,每次从这100个随机数里随机抽出固定的N个随机数来计算出本次抽样的平均值,把所有的抽样平均值都记录下来,形成图表,我们可以发现抽样均值的分布形成了一条钟形曲线,呈现正态分布的特点,抽样的均值接近总体的均值。

在统计学概率论所有的定理中,中心极限定理是最重要的定理之一。真正理解这个定理,就能把它应用到股票、博弈、概率、决策树、人工智能等项目中。

我们可以利用这个规律来作什么呢?利用有限的已知的随机数来推断出整体的平均值。比如说,我只有1万个随机数,我怎么推断出整体的100个随机数的平均值呢?

在1万个随机数里进行多次抽样,把每次的抽样平均值都记录下来,形成的钟形曲线如果呈正态分布,那抽样的平均值就是整体的平均值。

奇趣编程|胜率是怎么计算出来的?

有很多朋友问奇趣编程关于胜率的问题,很多时候他们分不清概念,我在这里作一个统一的回答腾讯qq在线,欢迎加我交流探讨。

胜率有两种,一种是针对过去而言的。比如过去A和B下棋1000盘,A赢了600盘,B赢了400盘,则A过去的胜率是60%,B过去的胜率是40%。

一种是针对未来的。

已经A过去的胜率是60%,B过去的胜率是40%,那AB再下一盘,A的胜率是多少?B的胜率是多少?

我们可以想到,A的下棋水平应该是稳定的,不会突然智商下线,所以A未来的一盘对战胜率仍然会有60%。

已经A过去的胜率是60%,B过去的胜率是40%,那AB再下1000盘,A的胜率是多少?B的胜率是多少?我们认为A在未来的1000盘里胜率仍然是60%,也就是会赢600盘左右,因为A的水平是稳定的。

假如A的水平是不稳定的,或是B作弊,或者是有其它人在决定输赢结果,那胜率就无法计算。

任何一个问题的结果,都是由大量影响结果的因素来决定的,只要影响结果的因素没变,结果的胜率就不会变。

奇趣编程|随机数也有统计规律性?怎么样才能看到?

一般认为,少量的、个别的随机数是没有规律性的,但是大量的随机数里有没有统计规律性呢?今天奇趣编程腾讯qq在线和大家分享下。

任何事物,既有其偶然的一面,也有其必然的一面,大量的偶然就存在着必然。大量的随机数,通过试验、观察、统计、分析,我们发现它有频率的稳定性,即某一个随机数发生的频率经常在某个固定的值附近出现,并且观察的数据量越大,规律越明显,这种规律我们将它叫做统计规律性。

统计规律性具有以下几个特点:

1、随机数的数据量要大。

2、数据量越大,规律性越明显。

3、存在涨落现象。

我们可以用生活中抛硬币的例子来说明。

如果我们一个硬币抛十次,是找不到规律的。如果我们拿十个硬币抛一次,也是找不到规律的。

假如我们拿一个硬币抛一万次,规律就出来了,我们会发现硬币的正面和反面出现的次数是比较接近的。假如我们拿一万个硬币来抛一次,也是正面和反面出现的次数比较接近。数据量越大,每个面出现的次数越是接近平均数。这就说明它存在统计规律性。

统计规律性

我们还可以用伽耳顿板来做实验证明大量随机数的统计规律性。咖耳顿板是在一块竖木板上规则地钉上很多铁钉,木板下部用竖直隔板隔成许多等宽的槽板,用玻璃作面板以便观察。当把大量小球从顶的顶部落下时,小球与钉子多次碰撞落到底部的槽位里。

当放入少量的小球时,各个槽位里的小球数量是没有规律的。当放入大量的小球时,各个槽位里的小球数量就出现明显的规律了:

伽耳顿板
伽耳顿板

我们可以看到,底部的小球是呈钟形正态分布的。反复做这个实验,可以观察到虽然各槽位的小球数量有轻微变化,但整体上的分布情况仍然符合正态分布。也就是说,对于任意一个小球或少量的小球是随机的偶然事件,但对于大量小球来说,是一个必然事件,这就是统计学概率论中的统计规律性。

奇趣编程|涨跌过程中要不要用凯利公式加仓减仓?

趋势曲线永远都处在涨涨跌跌的过程中,因为了有涨跌,所以有了盈利和亏损。那么,在涨跌的过程中,是否应该用凯利公式加仓减仓?目前有两种观点,今天奇趣编程和大家分享一下,腾讯qq在线,欢迎大家加我交流探讨。

先看加仓减仓的观点。

这一派认为,在涨的过程中说明跟对了趋势,应该加仓以便增加利润积累速度,在跌的过程中说明跟反了趋势,应该减仓以避免更大的损失。在概率论中,确实是存在凯利公式,当在期望净收益为正的时候,按一定的比例加仓确实可以便增长率达到最大化,当期望净收益为零或负数时,凯利公式得出的结果是减仓、停止操作、及时撤退。

再看不加仓减仓的观点。

这一派认为,凯利公式是建立在期望净收益为正的确定性上的,但实际中期望值总是处在变化之中,并不能确定期望净收益是正还是负,所以凯利公式派不上用场,如果都能确定必涨或必跌了,那就应该全仓或空仓而不是按比例加仓减仓。

公说公有理,婆说婆有理。奇趣编程是怎么看这个问题的?

奇趣编程认为,实际上,双方的争论归根到底还是在对趋势的判断上。假如能百分百的确定趋势是一定会涨,那肯定是应该全仓才能达到利润最大化。如果没能确定趋势是涨还是跌,那加仓还是减仓也是可以考虑的一种操作。

但是,如果在涨跌过程中加仓减仓,说明人要盯盘打短线,既然人工盯盘,肯定会耗费时间和精力,并且还会受到各种因素的影响频繁操作,这样就会一路加仓减仓,一路后悔和庆幸,严重影响情绪波动。

所以奇趣编程认为,不要去操作短线,而要操作长线,这样能避免长时间盯盘浪费时间精力和影响情绪,不要在涨跌中途加仓减仓,而要始终保持仓位不变。

也就是说,打长线不存在加仓减仓的问题,也不存在大涨大跌的问题,因为打长线是用时间来消除风险换取稳定,趋势过程中的波动已经被长线平摊掉了。

奇趣编程|怎么使用“模拟退火算法”来优化排列组合?

模拟退火算法,顾名思义,就是模拟生活中的固体退火的原理来设计出来的一种算法,是统计概率学中的一种算法。今天奇趣编程向大家分享这个算法的原理,腾讯qq在线,欢迎加我交流探讨。

生活中的“退火”,是先将固体加温到一定程度,然后让它自然缓慢降温冷却,从而改变固体的粒子秩序。在加温的过程中,固体内部的粒子随着温度的升高而活跃变得无序,而在缓慢冷却的过程中固体内部的粒子逐步变得不活跃而有序,最后冷却到常温时,固体内部的粒子全部都变成有序状态。

模拟退火算法,就是模拟这种过程,通过迭代和随机寻优,最终寻找出排列组合的最优解。

模拟退火算法是一种通用的随机搜索算法,目前人工智能神经网络中有广泛应用。它能有效避免局部最优而全局非最优的陷阱,最终算出一个不仅局部最优并且全局也最优的排列组合。

奇趣编程|普遍可预测论的发展和随机数的预测

从普遍可预测论的角度来看,所有的事物只要能监测到所有的影响因素的变化和有足够强大的计算机就可以预测。

但关键就是监测所有的影响因素这一点很难实现,以目前的科学技术手段,很多事物只能监测到关键的影响因素,还有很多影响不明显的因素无法监测或未知的因素尚未发现。

普遍可预测理论,帮助了科学家和工程师把卫星送上指定轨道、把人送上月球、把探测器送上火星。这一切都是基于能够收集到足够的信息、计算机的强大运算能力、正确运用科学知识而实现的。

那么腾讯qq在线随机数可以预测吗?奇趣编程认为,在未来,量子计算机肯定会出现,计算能力将会远超现在的水平,所产生的应用也是难以估量,肯定会有越来越多的当前不能预测的事物在未来能被预测。

正如天气预报,过去几千年都是凭肉眼对风和云的观察而判断第二天的天气,预测结果还不准确,而现在都是用各种气象探测器和计算机模拟,实现对未来几十天气象的精准预测。未来虽尚未到来,但已经不远,值得期待。

奇趣编程|怎么用旋转矩阵实现最小成本获得最大收益?

旋转矩阵的作用是用最小的成本获得最大的收益,那么它的工作原理是怎么样的?今天奇趣编程和大家一起研究。

旋转矩阵是由澳大利亚的数学家底特罗夫研究出来的,它可以帮助你从一堆数字里挑选出最优的排列组合方式,旋转矩阵在数学上就是组合优化的设计。它在统计学概率论中有着广泛的应用,比如股票、期货、随机数统计分析等。作者奇趣编程腾讯qq在线欢迎读者加好友交流探讨。

举一个例子,假设有1-15共十五个数字,三个数字为一组,共分五组,再分成A-G七阶,则如何排列组合才能使每两个数字都在七阶里恰好出现一次?

答案就是:

A:(1,2,3),(4,8,12),(5,10,15),(6,11,13),(7,9,14)
B:(1,4,5),(2,8,10),(3,13,14),(6,9,15),(7,11,12)
C:(1,6,7),(2,9,11),(3,12,15),(4,10,14),(5,8,13)
D:(1,8,9),(2,12,14),(3,5,6),(4,11,15),(7,10,13)
E:(1,10,11),(2,13,15),(3,4,7),(5,9,12),(6,8,14)
F:(1,12,13),(2,4,6),(3,9,10),(5,11,14),(7,8,15)
G:(1,14,15),(2,5,7),(3,8,11),(4,9,13),(6,10,12)

利用这个算法,我们就可以实现用最小的成本来实现最大的覆盖,从而收获最大的收益。