神奇!微软用AI让网页设计手稿自动转成HTML页面
2018-08-29 18:41:59爱云资讯
微软在其AI.lab网站发表了Sketch2Code专案,并且于GitHub中开源,使用者只要在白板或笔记本中画出网页的接口设计,Sketch2Code就能透过影像识别,将接口设计草稿转成HTML线框图,来帮助简化网页应用程式开发的流程。
微软指出,使用者接口设计需要许多创意以及时间,而在设计师绘制设计后,还要花费许多时间把草稿转为HTML线框图,以便在网页浏览器中开启,而这个过程需要花费一定的心力,同时也延迟了开发流程。因此微软想要用人工智能技术,来加速这个过程,他们建构了一个系统,能够理解设计师在白板上绘制的内容,并将这些理解转化成HTML,使得设计可以马上转为HTML页面呈现,以加速设计开发流程。
这个系统让用户可以上传图像,并从定制的视觉模型中,推测出图像中的HTML元素及其位置,并识别手写文字,推测元素内的文字,接着利用布局算法,推测元素的边界以生成格框结构等空间资讯,最后使用HTML生成引擎,综合上述各阶段的信息来产生HTML线框语法文件
要满足Sketch2Code系统的第一个阶段功能,识别设计师手绘草稿,需要建构一个定制模型,并使用手绘元素的图像进行训练,像是下拉选单、按钮或是文字输入格等HTML元素,Sketch2Code使用了微软定制视觉服务(Custom Vision Service)来制作定制模型,并执行物件侦测。
在获得HTML物件后,接着使用微软电脑视觉服务(Computer Vision Service)中的文字识别功能,来识别设计草稿上的手写文字。透过前两个阶段所获得的HTML元素及文字资讯,产生数个HTML片段,接着从已识别的元素位置,推断出整个设计的布局,并生成最终的HTML程序源码。
在整个识别与生成HTML程序源码的过程,系统会把图像、推测结果和布局分组等资讯储存在Azure Blob储存中,并以Azure Function作为后端进入点,透过与所有云服务交互沟通来协调生成的过程,产生的结果放置在Azure WebSite,作为与使用者互动的前端,供查看产生的HTML页面。
- 钛动科技成为微软广告官方代理商,数字媒体覆盖能力再飞跃
- Check Point 与微软展开新合作,Microsoft Azure OpenAI 与 Infinity AI Copilot强强联合
- AI大模型市场商业价值涌现,Google/微软/微美全息创投新机遇完善基建
- AIGC应用爆发式增长,微软/微美全息加入竞赛布局AI办公数字化新蓝海
- AI已成芯片行业复苏关键动力,Meta/微软/微美全息等全力押注进入成长快车道
- 微软携手小米:开启人工智能时代创新
- TCL空调发布小蓝翼P7,联手海思、微软定义新一代空调
- 2023世界互联网大会乌镇峰会:微软新必应特邀登场
- 创投变辩辨:苹果VS微软,谁决定MR的未来?
- 微软全面展望大模型语言技术,微美全息引领自然语言人机交互突破奋进AI时代
- 微软财报大超预期AI成主要驱动力,微美全息把握趋势加速AIGC技术商业化
- 数字人直播热潮涌动,微软/微美全息点燃热情共探AI+数字人发展范式
- 微软全球资深副总裁张祺:聚焦AI大航海时代新契机、新模式、新动能
- 假如“微软断供”,国产操作系统统信UOS能顶上吗?
- 奥比中光获微软授权Azure Kinect技术产品线,携手赋能全球开发者
- 金山办公旗下WPS已上线的单元格插入图片功能,微软刚开启测试